12
Symantec Advanced Threat Protection: Network DR150218C 2015 4 Miercom www.miercom.com

Symantec Advanced Threat Protection: Networkmiercom.com/pdf/reports/20150219.pdf · Symantec Advanced Threat Protection: Network DR150218C 2015 年 4 月 Miercom

  • Upload
    others

  • View
    13

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Symantec Advanced Threat Protection: Networkmiercom.com/pdf/reports/20150219.pdf · Symantec Advanced Threat Protection: Network DR150218C 2015 年 4 月 Miercom

Symantec Advanced Threat Protection: Network

DR150218C

2015 年 4 月

Miercom

www.miercom.com

Page 2: Symantec Advanced Threat Protection: Networkmiercom.com/pdf/reports/20150219.pdf · Symantec Advanced Threat Protection: Network DR150218C 2015 年 4 月 Miercom

Symantec ATP:N 2 DR150218C

Copyright © 2015 Miercom 2015 年 4 月 29 日

目次

1.0 要旨 .......................................................................................................................... 3

2.0 概要 .......................................................................................................................... 4

2.1 テスト対象製品 ..................................................................................................................................... 4

2.2. マルウェアサンプル .......................................................................................................................... 5

3.0 テスト方法 ............................................................................................................ 7

3.1 テストツール ......................................................................................................................................... 7

3.2 設定 ........................................................................................................................................................... 8

4.0 結果の概要 ............................................................................................................ 9

4.1 マルウェア検出率 ................................................................................................................................ 9

5.0 公正なテストに関する通知 ............................................................................ 12

6.0 Miercom について ......................................................................................... 12

7.0 このレポートの使用について ....................................................................... 12

Page 3: Symantec Advanced Threat Protection: Networkmiercom.com/pdf/reports/20150219.pdf · Symantec Advanced Threat Protection: Network DR150218C 2015 年 4 月 Miercom

Symantec ATP:N 3 DR150218C

Copyright © 2015 Miercom 2015 年 4 月 29 日

1.0 要旨

Miercom は Symantec Advanced Threat Protection: Network アプライアンス、Cisco SourceFire、FireEye 1310 について、独立した第三者による検証を実施しました。

セキュリティ有効性テストでは、従来型、Advanced Evasion Technique(AET)、Advanced Persistent Threat(APT)、ボットネット、RAT、アクティブな脅威、悪質なドキュメントなど、複数のマルウェア脅威に対して検出機能とブロック機能を検証しました。

Symantec ATP(SATP:N)ソリューションは、さまざまなタイプのマルウェア脅威を検出できる能力を示しました。競合ベンダーの製品と比較したところ、Symantec ATP:N ソリューションは 2 つの競合製品よりも 15% 以上優れた性能を示し、7 種類のマルウェアカテゴリのうち 6 種類に対して、平均をはるかに上回る保護性能を発揮しました。

主な調査結果:

• Symantec ATP:N はマルウェアセット全体の 90.3% を検出 • Advanced Persistent Threat(APT)型マルウェアを 100% 検出 • Advanced Evasive Threat(AET)型マルウェアを 97% 検出 • 競合製品よりも優れたマルウェア検出性能を実証

Symantec ATP:N ソリューションは、全体的に満足のいくマルウェア検出性能を示しました。特に、一般的なマルウェアだけでなく、未知のマルウェアまで効率的に検出して駆除できる点が優れています。

シマンテックのセキュリティソリューションの全体的な有効性に関する当テストチームの所見と推奨事項についても、このレポートに記載しています。

Symantec Advanced Threat Protection: Network ソリューションのマルウェアブロック機能の有効性については、総合的に満足できるものでした。Symantec Advanced Threat Protection は、Advanced Persistent Threats(APT)と Advanced Evasive Threat(AET)をブロックできる能力を備えていることで、Performance Verified Certification(パフォーマンス検証済み認定)を取得しました。

Miercom CEO Robert Smithers

Page 4: Symantec Advanced Threat Protection: Networkmiercom.com/pdf/reports/20150219.pdf · Symantec Advanced Threat Protection: Network DR150218C 2015 年 4 月 Miercom

Symantec ATP:N 4 DR150218C

Copyright © 2015 Miercom 2015 年 4 月 29 日

2.0 概要 現在のセキュリティの中心課題の 1 つは、マルウェアが最初に出現してから数カ月または数年経った後もセキュリティ防御を突破しようとしており、その方法を知ることです。その理由の 1 つは、この悪質なコンテンツの多くが、シグネチャベースのウイルス対策や静的なセキュリティゲートウェイ/ファイアウォールテクノロジを回避する方法を常に変化させているためです。

このレポートでは、アクティブで最も巧妙化しているマルウェアのいくつかが出現したときに Symantec ATP:N ソリューションがどのように動作したかを示します。このドキュメントに記載した結果は、Symantec ATP:N、Cisco SourceFire 侵入防止システム、FireEye セキュリティサービスの、複数のカテゴリに関する検出レベルを表しています。

2.1 テスト対象製品 Symantec Advanced Threat Protection

Symantec Advanced Threat Protection: Network はシマンテックの Cynic マルウェアサンドボックスおよびグローバルインテリジェンス、Vantage ネットワーク侵入検出、Insight レピュテーションベースセキュリティテクノロジを使用してネットワーク内の悪質なコンテンツを検出し、未知の活発な脅威を通知するソリューションです。

このテストでは、ソフトウェアバージョン 1.0.0.71 がプリロードされた Symantec ATP:N アプライアンスを使用しました。

Cisco SourceFire

初回検出を回避するマルウェアを継続的に監視、保存、再呼び出しする機能を使って保護します。このソリューションでは侵入しようとしているマルウェアとその悪質度、ふるまいを可視化します。これらの調査によってインテリジェンスを強化し、後続の攻撃に対するシステムリカバリをさらに改善します。

このテストでは、Cisco SourceFire バージョン 5.4 を使用しました。

FireEye 1310

他のセキュリティゲートウェイの背後にインラインに配置されるこのアプライアンスは、ファイアウォール、ウイルス対策、Web ゲートウェイ、侵入防止システムが見逃した脅威を捕捉します。このアプライアンスは送信トラフィックの前に立ちはだかることでデータの盗難やボットネットを防ぎます。また、さまざまな手法を用いて受信時に多角的な調査を行い、悪質なコンテンツを検出します。リアルタイム処理の誤検知分析、変化するアクティブな脅威のデータベースを継続的に拡張する機能、フィッシング攻撃をブロックする電子メール保護機能を備えています。

このテストでは、FireEye 1310 バージョン 7.5.1 を使用しました。

Page 5: Symantec Advanced Threat Protection: Networkmiercom.com/pdf/reports/20150219.pdf · Symantec Advanced Threat Protection: Network DR150218C 2015 年 4 月 Miercom

Symantec ATP:N 5 DR150218C

Copyright © 2015 Miercom 2015 年 4 月 29 日

2.2. マルウェアサンプル 悪質なソフトウェアやマルウェアは、コンピュータまたはネットワークの運用を阻害したり、機密情報の収集を行ったり、コンピュータシステムへのアクセスを試みるソフトウェアです。

従来型

従来型のサンプルには、30 日以上活動している既知のマルウェアの亜種を数百種類含めました。このマルウェア区分は主にウイルスとワームで構成されています。

Advanced Evasion Technique(AET)

Advanced Evasion Technique は、さまざまな既知の回避方法を組み合わせて新たな攻撃を作り、ネットワークの複数の階層を同時に攻撃するネットワーク攻撃の一種です。AET 自体のコードは必ずしも悪質なものではありませんが、危険なのは、攻撃者がネットワークに検出できない方法でアクセスできるようになる点です。現在、ベンダー製品で発見された既知の回避テクニックは約 200 種類あります。AET では、わずかに組み合わせるだけで新しい回避テクニックを文字どおり数百万種類も作り出すことができます。

Advanced Persistent Threat(APT)

Advanced Persistent Threat(APT)は人目を盗んで行われる連続したコンピュータハッキングプロセスで、多くの場合、特定の対象を狙う人物によって指揮されています。一般的に、APT はビジネスまたは政治的な動機から、企業や国家を対象としています。APT の例として挙げられるのは、アクティブ化されると攻撃者がシェルにアクセスできるように仕込まれたペイロードで構成されるマルウェアです。その後、攻撃者はコマンドラインから、脆弱なアプリケーションまたはサービスと同じ権限レベルでリモートのターゲットにアクセスできるようになります。これらのペイロードは多くの場合、ウイルス対策を迂回する回避テクニックやランダム化によって隠蔽されています。テストで使用した既知の APT サンプルには、Mandiant 社の Advanced Persistent Threat サンプルセットを利用しました。

ボットネット

ボットネットはインターネットに接続し、タスクを実行するために他の類似のプログラムと通信するプログラムの集合体です。ボットネットはコマンド & コントロールとして知られるテクニックを使用します。これは、ある中継点が攻撃者からの指令を受信し、そのコマンドを感染したすべてのホストに転送するというものです。ボットネットは一般的に、スパムや DDoS 活動で使用されます。このテストでは、高対話型ハニーポットで収集された Zeus および Citadel ボットネットの亜種を使用しました。

RAT

RAT(リモートアクセス型トロイの木馬)は普通のもの、または好ましいものを偽装した悪質なコードで、多くの場合、他の正規のソフトウェアの内部に隠れています。被害に遭ったホストでアクティブ化されると、そのホストを完全にリモートコントロールできるようになります。

Page 6: Symantec Advanced Threat Protection: Networkmiercom.com/pdf/reports/20150219.pdf · Symantec Advanced Threat Protection: Network DR150218C 2015 年 4 月 Miercom

Symantec ATP:N 6 DR150218C

Copyright © 2015 Miercom 2015 年 4 月 29 日

アクティブな脅威

アクティブ(未知)な脅威は、特別に作成したマルウェアサンプル、外部のリソースと非公開のハニーポットで採取した未検出のサンプル、ウイルス対策回避テクニック(暗号化、ブラックパッケージング、通常の許可された送信トラフィックを使用するペイロードなど)を含む APT で構成しました。

悪質なドキュメント

テストで使用した悪質なドキュメントのその他のサンプルセットは、既知のマクロウイルスが含まれている Microsoft Office ドキュメント(Word、PowerPoint、Excel ファイル)と、各種ウイルス、APT、ワームを含む PDF ファイルを組み合わせました。

Page 7: Symantec Advanced Threat Protection: Networkmiercom.com/pdf/reports/20150219.pdf · Symantec Advanced Threat Protection: Network DR150218C 2015 年 4 月 Miercom

Symantec ATP:N 7 DR150218C

Copyright © 2015 Miercom 2015 年 4 月 29 日

3.0 テスト方法

3.1 テストツール Miercom は業界最高水準のテストツール、スクリプト、データベースを使用して、可能な中で最も堅牢で包括的な、現実に即したテスト環境を実現しています。Miercom が行った Symantec ATP:N 製品のセキュリティ有効性分析では、『Miercom Advanced Threat Detection Industry Study(Miercom 高度脅威検出業界調査)』と同じテストサンプルを使用しました。

テストツールとソフトウェア

この分析では、次のセキュリティ機能を評価しました。

• 検出: 既知の脅威を特定する能力 • エミュレーション: 未知であるが疑わしいファイルをエミュレーションする能力 • 判定: 脅威のエミュレーション結果に基づいて、正しい結果が返ってきたかどうか

を判定 • フォレンジックレポート: インシデントへの対応後に提供する詳細情報のレベル

既知のマルウェアサンプルは低対話型と高対話型のハニーポットの両方で構成される Miercom のハニーポットから取得しました。Advanced Evasion Technique とアクティブな脅威のマルウェアサンプルは、Miercom がこのテストのために開発しました。従来型のサンプルを使用していますが、最新のサンプルに重点を置きました。

Page 8: Symantec Advanced Threat Protection: Networkmiercom.com/pdf/reports/20150219.pdf · Symantec Advanced Threat Protection: Network DR150218C 2015 年 4 月 Miercom

Symantec ATP:N 8 DR150218C

Copyright © 2015 Miercom 2015 年 4 月 29 日

3.2 設定 アプライアンスは管理コンソール内で提供されているすべてのセキュリティ関連カテゴリをブロックし、利用可能な防御をすべて利用するように設定しました。どの製品もデフォルト設定で設定しました。

製品の配備

Symantec ATP:N は TAP モードで配備しました。ネットワークパス内に直接配置してトラフィック調査を行うインライン配備と比べると、TAP モードはトラフィックを監視するという受動的なアプローチです。

TAP モードでは、アプライアンスがトラフィックとそのパケット情報を監視できるようになりますが、リアルタイムの保護を行うことはできません。トラフィックと悪質なデータはすべて監視され、第三者による調査に回されますが、攻撃がすでに発生していない限り、対応を始めるきっかけにはなりません。

FireEye 1310 も TAP モードで設定しました。Cisco SourceFire は TAP モードの機能を提供していないため、インライン構成でテストしました。

攻撃対象の環境

テストでは、VMware ESXi リリース 5.5 にホストされた仮想マシンを攻撃対象のコンピュータとしました。仮想マシンは悪質なサーバーからの攻撃を受けました。サーバーから攻撃対象のマシンにサンプルを転送したのち、セキュリティ製品のログファイルを確認しました。ログファイルでは、サンプルの検出有無、ダウンロードを最初にリクエストしてから検出までにかかった時間、セキュリティ製品が実施する検出後の修復ステップ(該当する場合)を確認しました。

Page 9: Symantec Advanced Threat Protection: Networkmiercom.com/pdf/reports/20150219.pdf · Symantec Advanced Threat Protection: Network DR150218C 2015 年 4 月 Miercom

Symantec ATP:N 9 DR150218C

Copyright © 2015 Miercom 2015 年 4 月 29 日

4.0 結果の概要

セキュリティ有効性検証テストは、テスト対象ユニットが実際の脅威を検出する能力を検証するために実施しました。このテストの基本的な観点は、プロアクティブなセキュリティを検証し、テスト対象の各セットに対してアプライアンスがどの程度の保護を提供するかを確認することでした。

企業のセキュリティ体制を改善するためには、脅威検出の精度、速度、軽減策が必要です。市場で提供されている多種多様なセキュリティ管理や、製品自体の有効性、企業インフラ内に実装した場合の有効性については、これまで大きく議論されています。

4.1 マルウェア検出率

それぞれの棒は、テストを実施したサンプルセット内の各マルウェアカテゴリに対して検出されたサンプルの割合を表しています。検出率は、サンプルの総数に対する特定されたサンプルの割合をパーセンテージで表したものとして定義されます。

図 1: 競合製品のマルウェア検出率

90.3 75.1

67.9

0102030405060708090

100

Symantec ATP Cisco SourceFire FireEye 1310

Perc

enta

ge D

etec

ted

(%)

出典: Miercom、2015 年 4 月

Page 10: Symantec Advanced Threat Protection: Networkmiercom.com/pdf/reports/20150219.pdf · Symantec Advanced Threat Protection: Network DR150218C 2015 年 4 月 Miercom

Symantec ATP:N 10 DR150218C

Copyright © 2015 Miercom 2015 年 4 月 29 日

図 2: 競合製品のマルウェア検出率

各ベンダーのカテゴリ別マルウェア検出実績シマンテックは全体的に 90.3% の実績となった

ベンダーの結果

図 3: シマンテックのマルウェア検出率

サンプルセットの各カテゴリに対する Symantec ATP:N の動作をテストしました。この製品パッケージは全体平均で 90.3% の成績となりました。

Symantec Advanced Threat Protection はこれまでのシマンテック製品と同様に、マル

ウェア検出において満足できる結果となりました。この製品の強みは AET と APT にあり

ます。これらは現在最も脅威となっているマルウェア攻撃タイプです。

0

10

20

30

40

50

60

70

80

90

100

Symantec Cisco SourceFire FireEye 1300

RATs

Modified

Malicious Documents

Legacy Malicious Files

Botnets

APTs

AETs

Perf

orm

ance

(%)

97.0 100.0 100.0 99.0

65.0

86.0 85.0 90.3

0102030405060708090

100

AETs APTs ボットネット 従来の悪質なファイル 悪質なドキュメント 変化 RAT 平均

Perc

enta

ge D

etec

ted

(%)

出典: Miercom、2015 年 4 月

0%

RAT

変化

悪質なドキュメント

従来の悪質なファイル

ボットネット

APT

AET

出典: Miercom、2015 年 4 月

FireEye 1310 Cisco SourceFire シマンテック

Page 11: Symantec Advanced Threat Protection: Networkmiercom.com/pdf/reports/20150219.pdf · Symantec Advanced Threat Protection: Network DR150218C 2015 年 4 月 Miercom

Symantec ATP:N 11 DR150218C

Copyright © 2015 Miercom 2015 年 4 月 29 日

図 4: Cisco SourceFire のマルウェア検出率

Cisco SourceFire アプライアンスではテスト対象のサンプルセットの各カテゴリにある脅威をあまり検出できなかったこの製品パッケージは全体平均で 75.1% の成績となりました。

図 5: FireEye 1310 のマルウェア検出率

FireEye 1310 アプライアンスは APT、ボットネット、従来型のマルウェアを 100% 検出しました。一方、悪質なドキュメントと変化する脅威については競合製品から後れを取っています。

5.0

100.0 100.0 96.0

60.0 70.0

95.0

75.1

0102030405060708090

100

AETs APTs ボットネット 従来の悪質なファイル 悪質なドキュメント 変化 RAT 平均

Perc

enta

ge D

etec

ted

(%)

0.0

100.0 100.0 100.0

35.0

50.0

90.0

67.9

0102030405060708090

100

AETs APTs ボットネット 従来の悪質なファイル 悪質なドキュメント 変化 RAT 平均

Perc

enta

ge D

etec

ted

(%)

出典: Miercom、2015 年 4 月

出典: Miercom、2015 年 4 月

Page 12: Symantec Advanced Threat Protection: Networkmiercom.com/pdf/reports/20150219.pdf · Symantec Advanced Threat Protection: Network DR150218C 2015 年 4 月 Miercom

Symantec ATP:N 12 DR150218C

Copyright © 2015 Miercom 2015 年 4 月 29 日

5.0 公正なテストに関する通知 このレポートで取り上げた製品のベンダー全社に対して、結果について意見を述べ、製品の性能を実証する機会をテストの前、途中、および後に与えました。Miercom が公開調査でテストを実施した製品のベンダーのうち Miercom の調査結果に異議がある会社には、無償で再テストを実施して製品の性能を実証する機会を与えています。

どのベンダーも、自社で性能を実証して Miercom に示すことができます。新しいデータがあれば、Miercom はこれらの結果を更新します。

6.0 Miercom について Miercom は主要な業界誌などの出版物で数百件のネットワーク製品分析を公開しています。Miercom は紛れもなく、トップクラスの独立系製品テストセンターであるという評価を受けています。

Miercom が提供する非公開のテストサービスには、競合製品分析や個別製品の評価などがあります。Miercom は Certified Interoperable(相互運用性認定)、Certified Reliable(信頼性認定)、Certified Secure(安全性認定)、Certified Green(環境認定)などの総合的な認定とテストプログラムを扱っています。また、製品の有用性と性能を評価する Performance Verified(パフォーマンス検証)プログラムで製品を評価することもできます。これは業界で最も徹底的であり、信頼されている評価プログラムです。

7.0 このレポートの使用について このレポートに記載したデータは正確を期すようあらゆる努力を行っていますが、誤りや見落としが発生する可能性があります。また、このレポートに記載した情報は各種テストツールに基づいたものであり、その精度については当社の管理外にあります。さらに、このドキュメントはベンダーからの説明に基づいており、その説明は Miercom にて妥当な検証を行っていますが、当社では 100% 確実であるかどうかを検証することはできません。

このドキュメントは Miercom から「現状有姿」で提供するもので、このレポートに記載された情報の正確性、完全性、有用性、適合性については、黙示的にも明示的にも、いかなる保証、表明、約束はいたしません。また、それに関して直接または間接を問わず、いかなる法的責任も負いません。

Miercom またはシマンテックの書面による許可がない限り、全部または一部にかかわらず、いかなる文書も複製することは禁じられています。この文書で使用している商標は各社の所有物です。利用者は、Miercom のものでないあらゆる活動、製品、またはサービスに関連して、または混乱、誤解、錯覚を起こす可能性のある方法、あるいは Miercom や Miercom の情報、プロジェクト、開発物の評価を下げる方法で、いかなる商標も利用者が所有する商標内で、あるいはその一部または全部として使用しないことに同意するものとします。