テクニカルホワイトペーパー

HPE EDGELINEおよびインテルのビジョン・プロセシング・ユニット・テクノロジーによる

エッジでの電力性能比に優れた

リアルタイムAI推論

Page 2

目次

はじめに 4

拡張性の高いビルディングブロック 5

インテル® Movidius™ Myriad™ X VPU 5

インテル® Movidius™ Myriad™ X VPU をベースとする HPE Edgeline VPU モジュール 5

OT Link VPU モジュールを搭載した HPE ProLiant サーバーブレード 6

HPE Edgeline VPU モジュールを搭載した HPE Edgeline 6

HPE Edgeline VPU モジュールと OpenVINO™ ツールキット 8

OpenVINO™ ツールキット、ドライバー、およびアプリケーション設計 8

OpenVINO™ ツールキットのサンプル 10

パフォーマンス分析と拡張性に関する調査 11

HPE Edgeline VPU モジュールを搭載した HPE Edgeline EL300 11

結論 13

テクニカルホワイトペーパー

Page 3テクニカルホワイトペーパー

概要

最新のディープラーニングフレームワークでの高速動画 /画像分析は、インテルのVPU テクノロジー組み込んだインテル® Movidius™ Myriad™ X VPUを搭載するHPE Edgeline VPU （Vision Processing Unit） モジュールを活用することで非常に低消費電力に実現できます。このモジュールにより、厳しい環境や消費電力に制約のある環境でも、耐久性の高いファンレスのHPE EdgelineシステムでAI対応アプリケーションを展開することが可能になります。

通知

本書で取り扱っているコンピューターソフトウェアは機密情報であり、それを所持、使用、または複製するにあたっては、ヒューレット・パッカード エンタープライズから使用許諾を得る必要があります。FAR 12.211および12.212の規定に従って、商業用コンピューターソフトウェア、コンピューターソフトウェアドキュメント、および商業用製品の技術データは、ベンダー標準の商業用ライセンス条件に基づいて米国政府にライセンスされています。

サードパーティのWebサイトへのリンクをクリックすると、ヒューレット・パッカード エンタープライズのWebサイト外に移動します。ヒューレット・パッカード エンタープライズは、自社のWebサイト外の情報を管理しておらず、それらについて一切の責任を負いません。

Page 4テクニカルホワイトペーパー

はじめに

今日では、 IoT（モノのインターネット） によって数十億台のカメラがオンライン化されており、動画は一般的にデータセンターではなくエッジで生成されています。カメラ、スマートフォン、ビデオレコーダー、動画管理システムから取得した何百万時間もの動画は、そのまま展開するのではなく、エッジでリアル

タイムに処理する方が効率的であり、そうすることで実用的かつ有益な情報を得られます。

動画技術と機械学習を組み合わせれば、幅広いアプリケーションドメインで新たな可能性を見出すことができます。組み込みコンピュータービジョンと

ディープニューラルネットワーク向けに設計された、インテル® Movidius™ Myriad ™ VPUは、消費電力を増やしたり、精度を低下させたりすることなく、少ない電力でAI（人工知能） 推論およびエッジサービスを高速化します。エッジで幅広く動画を処理すれば、重要かつ有益な情報を引き出して応答時間を短縮するとともにデータ転送のリスクを軽減し、より的確にビジネス上の意思決定を下せるようになります。また、 AI対応のエッジ動画分析は、レイテンシ、帯域幅、コスト、脅威、重複の低減といったメリットをもたらすうえ、信頼性とコンプライアンスの向上にも貢献します。

動画推論 （ディープニューラルネットワークモデルからのメタデータの生成）は、従来のCPU、高性能GPU（グラフィックスプロセッシングユニット）、FPGA （Field Programmable Gate Array）、およびカスタムビルドのASIC（特定用途向け集積回路）の一連のシリコンテクノロジーで実行できます。

インテル® Movidius™ テクノロジー採用のベクトルプロセッサーとして設計されたインテル® Movidius™ Myriad™ VPUは、低消費電力でパフォーマンスの高い推論を実現し、 TOPS/W（1Wの電力で可能な演算の効率） を向上させることを目的とするものです。

図1は、現在提供されている一般的な推論プロセッサーのオプションを示したものです。 FPGA、 DPU（ハードデータ処理ユニット）、そしてASICへと、右方向に進むほど効率（TOPS/W）は向上しますが、これらは柔軟性が低くなるか、適切なハードウェアの機能にマッピングされる、コンパイラ、量子化器、ランタイムなどのソフトウェアエンジニアリングリソースに対する多額の投資が必要になる傾向にあります。

本書では、低消費電力でハードウェアによる動画分析の高速化を実現する、インテル® Movidius™ Myriad™ X VPUを搭載したHPE Edgeline VPUモジュールの機能について説明します。また、 HPEコンバージドエッジシステムファミリの様々なプラットフォーム製品やOpenVINO™ （Open Visual Inferencing and Neural Network Optimization） ツールキットのソフトウェアスタックにおける、このモジュールの適用とユースケースを明らかにしていきます。OpenVINO™ ツールキットは、AIモデルオプティマイザーと推論エンジンで効率的な動画分析のパイプライン処理を実現します。

さらに本書では、 HPEの小売、製造、物理セキュリティに至るまでの幅広い業界のお客様がNVR （ネットワークビデオレコーダー）、 IPカメラ、および動画管理システムを迅速に統合して、エッジ向けの拡張性とエネルギー効率に優れたリアルタイム動画分析ソリューションを開発できるよう、 （HPE Edgeline OT Linkソフトウェアプラットフォームとともに）利便性を向上させてハードウェアとソフトウェアの緊密な統合を実現する、インテル® Movidius™ Myriad ™ X VPUを搭載したHPE Edgeline VPUモジュールの仕組みについても解説します。HPEコンバージドエッジシステムには、次のようなメリットがあります。

• 低レイテンシ

• スペース、エネルギー、 OPEX （運用コスト）の削減

• 複雑性の低減

• エッジでのAI対応動画分析アプリケーションの展開に必要な時間の短縮

CPU

柔軟性高 効率高

GPU FPGA VPU

図1. 推論プロセッサーのオプション

Page 5

拡張性の高いビルディングブロック

HPEは、ハードウェアとソフトウェアの両方で拡張性の高いビルディングブロックを使用して、 AIとハードウェアで動画分析を高速化するためのエッジソリューションを作成しました。このソリューションについては、 HPEのホワイトペーパー『HPEコンバージドエッジシステム動画分析 /管理ソリューション』 （英語） で説明しています。ハードウェアの効率とパフォーマンスを最大限まで高めるため、それぞれのビルディングブロックはソリューション内の各機能、または分析タイプに合わせて最適化されています。

本書のこのセクションでは、インテル® Movidius™ Myriad ™ X VPUベースのモジュールとHPE Edgelineコンバージドエッジシステムファミリの様々なプラットフォームへのモジュールの取り付けについて説明します。後続のセクションでは、OpenVINO™ ツールキットで利用できる様々なソフトウェア機能、およびユーザーがVPUモジュールを活用できるようにするHPEの統合ツールについて説明します。

インテル® Movidius™ Myriad™ X VPU

インテル® Movidius™ Myriad ™ X VPUのチップは、 16nm FinFETシリコンプロセスを使用した8mm x 8mm x 1mmの380ボールVFBGAパッケージで製造されます。このチップには、推論の実行中にニューラルネットワークモデルの重みデータと中間データを保持する、 1,600MHzのダイスタック型4Gb LP-DDR4メモリ（約512MB）が搭載されています。

インテル® Movidius™ Myriad™ X VPUのチップには、プログラム可能なベクトルの128ビットVLIW（Very Long Instruction Word）ストリーミングハイブリッドアーキテクチャー ベクトルエンジン （SHAVE v2.0） コア16基と、約100FPS（フレーム毎秒） の推論 （使用するニューラルネットワークにより異なる） が可能な最大処理能力1TOPS（Trillion Operations Per Second） の独立したNCE （ニューラルコンピューティングエンジン）が含まれています。また、複数の独立した電源で電力を管理することにより、処理を効率化してワットあたりのパフォーマンスを最大限まで高めることができます。

インテル® Movidius™ Myriad™ X VPUをベースとするHPE Edgeline VPUモジュール

HPE Edgeline VPUでは、1枚のM.2フォームファクターのアダプターカードに上記のインテル® Movidius™ Myriad™ X VPU 4個が搭載されており、各VPUで2つの1080p30ストリーム、または4つの1080p15ストリームを処理できます。USB 3.0を使用してホストシステムとやり取りするこのモジュールは、 USBコントローラーへのPCIe X1と電力管理インターフェイスチップで構成されています。このアーキテクチャーにより、各VPUモジュールがUSB周辺機器としてホストにアクセスできるようになっています。

テクニカルホワイトペーパー

VPUPCle USB VPU PMIC

110mm

22mm

VPU VPU PMIC

図2. インテル® Movidius™ Myriad™ X VPU

図3. 4個のインテル® Movidius™ Myriad™ X VPUで搭載された、HPE Edgeline VPUモジュール

Page 6テクニカルホワイトペーパー

VPUのリセットメカニズムは、 HPE iLO（Integrated Lights-Out） またはHPE iSM （Integrated System Manager）を介して提供されます。これらの機能は、 HPEのWebサイトにあるOpenVINO™ ツールキット用のSmartコンポーネントを介して提供される、 HPEのリセットユーティリティおよびライブラリで入手できます。HPEとインテルは、これをシームレスな統合プロセスにすべく共同で取り組みを進めてきました。

OT Link VPUモジュールを搭載したHPE ProLiant サーバーブレード

HPE ProLiantサーバーブレードは、 HPE Edgelineコンバージドエッジシステム向けのビルディングブロックを形成します。HPE Edgeline VPUモジュールは、 HPE ProLiant m510およびm710xサーバーブレード上で実行できるようになっており、 ProLiant m510ブレード（CPUコア8基、または16基）には2枚のVPUモジュールを、 ProLiant m710x（CPUコア4基） には最大4枚のVPUモジュールを搭載することが可能です。各モジュールは、 USB 3.0を使用してM.2コネクターでホストシステムとやり取りします。

HPE Edgeline VPUモジュールを搭載したHPE Edgeline

HPE Edgelineコンバージドエッジシステムは、リアルタイムのデータ収集、制御、エンタープライズクラスの分析、およびHPE iLOテクノロジーによるリモート管理を統合する、専用のエッジコンピューティングプラットフォームです。コンパクトでエネルギー効率と耐久性に優れたこのプラットフォームは、

エッジにおけるほぼすべての動画管理と動画分析のユースケースをサポートする、幅広いネットワーク接続、データ収集、および制御オプションを提供

します。動画フィードの正確な数と品質、および必要な処理と分析のレベルに合わせて、シャーシタイプ、サーバー数、 CPUコア数、メモリ、ストレージのすべてをカスタマイズできます。

4つのシャーシオプションが用意されており、お客様は環境の規模、場所、およびスペースの要件に基づいて最適なものを選択することが可能です （図5）。

HPEでは、カメラが5台未満の場合はHPE Edgeline EL300を、また10～20台の少数のカメラを使用している環境に導入する場合はHPE Edgeline EL1000コンバージドエッジシステムを使用することをお勧めしています。そしてカメラが20台を超える中～大規模環境に関しては、HPE Edgeline EL4000かHPE Edgeline EL8000をお勧めしています。

• HPE Edgeline EL300は100W未満のシステム。

• HPE Edgeline EL1000は200W未満のシステム。

• HPE Edgeline EL4000は800W未満のシステム。

• HPE Edgeline EL8000は1.6KW未満のシステム。

HPE Edgeline VPUモジュールの定格は12W未満となっており、推論に使用されるニューラルネットワークによって異なります。

HPE ProLiant m710xVPUモジュール×4：前面×2、背面×2

HPE ProLiant m510VPUモジュール×2：前面×2

図4. HPE ProLiant m510およびm710xサーバーブレードとVPUモジュールを使用した拡張性の高いビルディングブロック

Page 7テクニカルホワイトペーパー

HPE Edgeline EL300は、システムの背面に取り付けられる1枚のEdgeline VPUモジュールを収容します。筐体内に4個のインテル® Movidius™ Myriad™ X VPUを内蔵した、他にはない完全にファンレスのシステムであるHPE Edgeline EL300には、 RTSP（Real Time Streaming Protocol） カメラとやり取りする内蔵Ethernetポートを最大7個構成できます。

HPE Edgeline EL300は、 0°C（32°F）の低温から70°C （158°F）の高温まで、極端な温度を含む幅広い環境条件で展開できるうえ、ファンレスの IP50設計により、工場やトラックなどの汚れの多い環境でほこりや破片の侵入を最小限に抑えます。詳細については、 HPE Edgeline EL300のQuickSpecs（英語）をご覧ください。

HPE Edgeline EL1000は、 HPE ProLiant m710xサーバーブレードを使用した場合は最大4枚のHPE Edgeline VPUモジュールを、また HPE ProLiant m510サーバーブレードを使用した場合は最大2枚のHPE Edgeline VPUモジュールを収容します。HPE Edgeline EL1000では、ストレージ機能を拡張するための2台のスモールフォームファクタードライブもサポートできます。

HPE Edgeline EL1000には、 0°C（32°F）から55°C（131°F）までの過酷な温度環境でも動作する耐久性があります。詳細については、 HPE Edgeline EL1000のQuickSpecs（英語）をご覧ください。

CPU

GPU

ソフト DPU（FPGA）

ハード DPU

HPE Edgeline EL300

インテル® Core™ i5 プロセッサー/インテル® Core™ i7 プロセッサー*1

*1 2020年後半サポート予定

未サポート

N/A

インテル® Movidius™ VPUHPE VPU Module

<100W

HPE Edgeline EL1000

1x インテル® Xeon® D プロセッサー / インテル® Xeon® E プロセッサー

インテル® Iris® Plus グラフィックスNVIDIA® Tesla® P4/T4 GPUNVIDIA® Quadro® P1000

N/A

インテル® Movidius™ VPUHPE VPU Module x4

<250W

HPE Edgeline EL4000

4x インテル® Xeon® D プロセッサー / インテル® Xeon® E プロセッサー

インテル® Iris® Plus グラフィックスNVIDIA® Tesla® P4/T4 GPUNVIDIA® Quadro® P1000

N/A

インテル® Movidius™ VPUHPE VPU Module x16

<800W

HPE Edgeline EL8000

4x インテル® Xeon® スケーラブル・プロセッサー

NVIDIA® V100 GPUNVIDIA® Tesla® T4 GPU x8NVIDIA® Quadro RTX™ 6000

インテル® FPGA PAC D5005（Stratix 10 SX）インテル® FPGA PAC N3000*2

*2 2020年後半サポート予定

N/A

<1600W

HPE Edgeline EL1000

図5. パワーバジェットが異なる、 CPU、 GPU、 FPGA、およびASICベースのAIアクセラレータオプションを搭載したHPE Edgelineコンバージドエッジシステム

図6. 最大4枚のHPE Edgeline VPUモジュール （16個のインテル® Movidius™ Myriad™ X VPU）をサポートするHPE Edgeline EL1000

Page 8テクニカルホワイトペーパー

HPE Edgeline EL4000は、それぞれのHPE ProLiant m710xサーバーブレードに最大16枚のHPE Edgeline EL4000には個々に独立して稼働するサーバーブレード最大4台（m510とm710xの任意の組み合わせ）を収容することができ、それぞれのHPE ProLiant m710xサーバーブレードに最大4枚、またそれぞれのHPE ProLiant m510サーバーブレードに最大2枚のHPE Edgeline VPUモジュールを搭載できます。HPE Edgeline EL4000は、 1台のラックに収容できるVPUの数が最も多く、高可用性と冗長性の両方を備えています。また、非常に要求の厳しい動画処理および分析アルゴリズムをエッジで迅速に実行するために、最大64個のVPUを収容できます。

HPE Edgeline EL4000は、冗長電源装置、 （HPEパートナーを通じて実現される）耐久性、およびNEBSレベル3などの業界認定により、非常に信頼性の高いシステムとなっています。なお、このコンバージドエッジシステムは、通信業界やその他のミッションクリティカルな事業者で使用されるサーバー

機器に相当します。

HPE Edgeline EL1000とEdgeline EL4000はどちらも、通信機器ラックやサーバーラック、壁面やデスク、さらにはカスタムエンクロージャー内など、あらゆる環境や場所に適合する複数の取り付けオプションをサポートしています。詳細については、 HPE Edgeline EL4000のQuickSpecs（英語）をご覧ください。

HPE Edgeline VPUモジュールとOpenVINO™ ツールキット

OpenVINO™ ツールキット、ドライバー、およびアプリケーショ ン設計OpenVINO™ ツールキットには、 x86 CPU、 iGPU （内蔵GPU）、 FPGA、およびASICでのAI推論に必要なコンポーネントが含まれています。HPE Edgeline VPUモジュールでは、インテル® Movidius™ Myriad™ X VPUを操作するためのカスタムファームウェアとコンパイルされた命令が必要です （図8を参照）。

HPE Edgeline EL4000

HDDLドライバー

オペレーションシステム

CPU

OpenVINO™ツールキット

iGPU FPGA VPU

推論エンジンモデル・オプティ

マイザーメディアSDK OpenCL

ライブラリ

OpenVXライブラリ

OpenCVライブラリ

ユーザーアプリケーション

図7. 最大16枚のHPE Edgeline VPUモジュール（64個のインテル® Movidius™ Myriad™ X VPU）をサポートするHPE Edgeline EL4000

図8. OpenVINO™ ツールキット

Page 9テクニカルホワイトペーパー

CPU、 iGPU、 VPUなどの命令をプログラミングできるアクセラレータは、 OpenVINO™ ディストリビューションに含まれる、ニューラルネットワーク推論向けに最適化されたライブラリで提供されます（図8を参照）。 AI推論を実行するエンドユーザーのアプリケーションは、 （ライブラリとして提供される）対応するプラットフォーム用のインテルの推論エンジンにリンクさせる必要があり、それぞれのCPU、 iGPU、またはVPUにそれぞれ個別のライブラリが提供されます。これらの推論ライブラリは、 AIモデルの IR （中間表現） バージョンで動作します（図9を参照）。Ca�e、TensorFlow、MXNet、CNTK、

ONNX （Open Neural Network Exchange）フォーマットなど、広く普及している（AI学習を実行するための）各種オープンソースフレームワークはフォーマットが異なるため、 AIモデルの IRバージョンはモデル表現の互換性を維持するのに必要です。このステップは、 OpenVINO™ ツールキットに含まれるインテルのモデル・オプティマイザーで実行されます。

使用する AIアクセラレータの種類にかかわらず、 このフレームワークによって rawイメージ/フレームをリアルタイムで処理し、オブジェクトタイプ、バウンディングボックスの座標、情報ラベル、精度推定などの推論処理用のメタデータを生成できます。

図10は、 インテルのモデル・オプティマイザーを使用した学習済みニューラルネットワーク（ニューラルネットワークの構造、使用されているレイヤー、および重みファイル）からIRへの変換プロセスを示したものです。モデル・オプティマイザーは、推論の前に実行されるオフラインツールです。

図10の例では、表現の例としてCa�eを使用し、モデルの定義と構造（.prototxt）および重みファイル（.ca�emodel）を IRに変換して最適化しています（構造は .xml、重みは .binで示されています）。この処理におけるモデル・オプティマイザーのコマンドラインの使用例は、次のようになります。

python deployment_tools/model_optimizer/mo.py \

--input_model “input/caffe/ssd300.caffemodel" \

--output_dir “output/ir/ssd300" \

--data_type "FP16"

TensorFlow、 MXNet、 Kaldi、またはONNXのフレームワーク/表現にて生成されたモデルでも同様のプロセスを使用できます。

データセンター エッジ

.pb, .ckpt

.cafemodel,.prototxt

Training determines weights of interconnection (iterative/back-prop).

CNN’s have specialized connectivity structure between layers

(convolutions, non-linearity, pooling).

Model Structure - .xml fileModel Weights - .bin

Metadata(Co-ordinates,

labels)

FrameModel, Arch

InputLayer

Trainingdata

HiddenLayer 1

HiddenLayer 2

HiddenLayer 3

OutputLayer

.json, .params

.onnx

入力フレーム

ユーザー

アプリケーション

モデル・オプティ

マイザーIR 推論エンジン

Model Structure – ssd300.xmlModel Weights – ssd300.binssd300.ca�emodel,

ssd300.prototxt

モデル・オプティ

マイザーIR

図10. Ca�e、 TensorFlow、 MXNet、およびONNXフォーマットの学習済みモデルからIRへの変換

図9. 学習済みのモデル、インテルのモデル・オプティマイザー、インテルの推論エンジン、およびユーザーアプリケーション間のやり取り

Page 10テクニカルホワイトペーパー

学習済みのモデル、 またはフュージングやストライディングなどの特殊な手法の準備と最適化の詳細については 、 docs.openvinotoolkit.org/latest/_docs_MO_DG_Deep_Learning_Model_Optimizer_DevGuide.html （英語）をご覧ください。

図11は、例の C/C++ユーザーアプリケーションを libinference_engineライブラリに関連付ける必要があるプロセスを示したものです。関数は inference_engine.hppヘッダーファイルで定義され、ユーザーアプリケーションによって呼び出されています。一般的なユーザーアプリケーションでは、 （1）推論エンジンのプラグインをロードする、（2）モデル・オプティマイザーで生成済みの IRを読み取る、（3）プラグインにモデルをロードする、（4）推測要求を作成する、（5）推論ジョブを実行する、（6）推論ジョブの出力を処理する必要があります。

実際、ユーザーアプリケーションは （前処理のステップ3～6に従って）raw（前処理済み）フレームを渡し、推論エンジンライブラリを介してメタデータブロブを受け取ります。HPE Edgeline VPUモジュールの場合、使用可能なプラグインは、 libmyx-pluginとlibhddl-pluginの2つです。libmyx-pluginは、各インテル® Movidius™ Myriad™ X VPUチップに個別にアクセスしますが、 libhddl-plugin（高密度ディープラーニング）は、交換可能なリソースとして多数のインテル® Movidius™ Myriad™ X VPUチップにアクセスし、内部で必要とされるジョブのデータ並列性に対処します。libmyx-pluginと

libhddl-pluginで実行されるジョブは同じですが、 Edgelineコンバージドエッジシステムに複数のインテル® Movidius™ Myriad ™ X VPUチップおよびモジュールを取り付けられることを考えると、可能であれば libhddl-pluginを使用することをお勧めします。

OpenVINO™ ツールキットのサンプル

インテル® ディストリビューションのOpenVINO™ ツールキットには、ディープラーニング推論のサンプルが含まれており、これらのサンプルは、 OpenVINO™ツールキットのインストールの一環としてインストールされます。サンプルの詳細については、 software.intel.com/en-us/openvino-toolkit/documentation/code-samples（英語）をご覧ください。

これらのシンプルなコンソールアプリケーションでは、同期APIと非同期APIの両方を使用した画像分類や物体検出など、ユーザーアプリケーションにおける推論エンジンのコードの使用方法が示されます。

ユーザー

アプリケーション

推論エンジンIR

ssd300.xmlssd300.bin

MetadataFrame

#include <inference_engine.hpp>

//1. Load Plugin for inference engineInferencePlugin plugin = PluginDispatcher(); plugin.AddExtension();

//2. Read IR Generated by ModelOptimizer (.xml and .bin files)networkReader.ReadWeights(binFileName); CNNNetwork network = networkReader.getNetwork();

//3. Configure input & output

//4. Loading model to the pluginExecutableNetwork executable_network = plugin.LoadNetwork(network, {});

//5. Create infer requestInferRequest infer_request = executable_network.CreateInferRequest();

//6. Prepare input

//7. Do inference infer_request.Infer();

//8. Process output. blob = infer_request.GetBlob(firstOutputName);

Compile: C++ user_application.cpp –L libinference_engine

Execute: ./user_application -i <path_to_image or video> -m <path_to_model>/modelname.xml –d architecture

図11. C++を例にした、ユーザーアプリケーションとインテルの推論エンジンライブラリの関連付け、およびアクセラレータ対応プラグインの呼び出し

Page 11テクニカルホワイトペーパー

パフォーマンス分析と拡張性に関する調査

次のセクションでは、サンプルのC++ベンチマークアプリケーション（docs.openvinotoolkit.org/latest/_inference_engine_samples_benchmark_app_README.html（英語））を使用してHPE Edgeline VPUモジュール（と内蔵GPUおよびCPU）で行った、サンプルのパフォーマンス分析と拡張性に関する調査の結果を示します。

HPE Edgeline VPUモジュールを搭載したHPE Edgeline EL300HPE Edgeline EL300コンバージドエッジシステムには、インテル® Core™ i5-7300Uプロセッサー・モジュールを構成できます。このCPUパッケージには、 iGPU（インテル® HD グラフィックス 620）も含まれています。さらに、同じシステムに1台のHPE Edgeline VPUモジュールも取り付けられます。

C++ベンチマークアプリケーションは、サポート対象のデバイスにおけるディープラーニング推論のパフォーマンスを評価するために使用されます。パフォーマンスを測定できるのは、同期（レイテンシ指向）と非同期（スループット指向） の2つの推論モデルです。

サンプルアプリケーション

Live Video High Score6,082 seconds

Recent Winners

5,107 seconds 6,082 seconds 0 secondsEmotion: happyCountdown: 3,000 seconds

図12.録画したビデオファイルを、流しながらリアルタイムで顔検出（AI推論）を実行

図13. サンプルの分析パイプラインを使用した物体検出（車両、車両の種類、色、ナンバープレート）

図14. サンプルの分析を使用した表現と感情の検出

Page 12テクニカルホワイトペーパー

ベンチマークアプリケーションは、推論エンジンのプラグイン（VGG16、 GoogLeNet-v4、 DenseNet、 MobileNet-SSD、 AlexNetなどのネットワーク）にネットワークおよび画像 /バイナリファイルをロードします。このアプリケーションは、同期モードで使用すると、 1つの推論要求を作成して推論手法を実行し、非同期モードで使用すると、可能な限り多くの推論要求を作成します。

報告されるレイテンシ値は、収集されたすべてのレイテンシの中央値として算出されています。スループット値はFPSで報告され、（1）同期モードのレイテンシ（レイテンシのベストケース）、（2）非同期モードの実行時間の中央値 （スループットのベストケース）の標準偏差として算出されています。

スループットもバッチサイズ（特定の時点で要求された同時推論の数）によって異なりますが、わかりやすくするために、次の結果はバッチサイズ= 1、入力画像サイズ = 224 x 224ピクセル、数値表現 = FP16で算出されています。

これらの結果は、テストを行った大部分のネットワークにおいて、 （4個すべてのインテル® Movidius™ Myriad™ X VPUモジュールをアクティブ化した）

HPE Edgeline VPUモジュールの方が、 CPUや内蔵GPUを使用した場合よりスループットが高くなることを示しています。またスループットの優位性に加え、電力消費量で比較した場合、同じスループットでは、 VPUはCPUや内蔵GPUと比較して、最も高い効率で推論タスクを実行できるということがわかります。

700

CPU – EL300（インテル® Core™ i5-7300U プロセッサー）

iGPU（インテル® HD グラフィックス 620）

HPE VPU module with インテル® Movidius™ Myriad™ X

vgg16

Imag

es/s

googlenet-v4 densenet-121 mobilenet-ssd alexnet googlenet-v2 squeezenet1.1

600

500

400

300

200

100

0

vgg16

Imag

es/s

/W

googlenet-v4 densenet-121 mobilenet-ssd alexnet googlenet-v2 squeezenet1.1

25

5

10

15

20

0

CPU – EL300（インテル® Core™ i5-7300U プロセッサー）

iGPU（インテル® HD グラフィックス 620）

HPE VPU module with インテル® Movidius™ Myriad™ X

HPE IoT Innovation Lab TestingInput images 224x224. Batch Size=1

図15. スループット（1秒あたりの推論数 （1秒あたりの画像数））の測定値 （CPU、 iGPU、 VPU）

図16. 効率（1ワット/1秒あたりの推論数（1ワット/1秒あたりの画像数））の測定値（CPU、 iGPU、 VPU）

Page 13テクニカルホワイトペーパー

結論

エッジベースのリアルタイム動画分析ソリューションを実現するには、ハードウェアとソフトウェアの両方でパフォーマンスを最適化して緊密に統合した、

拡張性の高いコンポーネントを作成することが重要です。HPE Edgelineコンバージドエッジシステムは、 HDDLプラグインを使用してOpenVINO™ツールキットでオーケストレーションされる、 （ニーズの増大に合わせて追加またはアクティブ化する） HPE Edgeline VPUモジュールの形でハードウェアの拡張性を向上させることにより、このようなAI対応エッジコンピューティングの重要な要因に対応します。

インテル® Movidius™ Myriad™ X VPUを搭載したHPE Edgeline VPUモジュールを使用するHPE Edgelineコンバージドエッジシステムは、幅広い

OT、 IoT、およびエンタープライズ ITエッジ向けの設計となっています （図17を参照）。このシステムは、 AI/ディープラーニング対応エッジ動画分析を実現するために、製造、エネルギー/公共事業、輸送 /自動車、石油 /ガス、分散型通信 /メディア/通信、キャンパス/ブランチ/小売業界セグメントで使用できます。

HPE Edgelineシステムには、インテル® Atom® プロセッサーからインテル® Core™ i5/i7 プロセッサー、ハイパフォーマンスなインテル® Xeon® プロセッサーに至るまで、数多くのCPUの選択肢（とパワーバジェット）が用意されており、各CPUは、幅広いパフォーマンスに優れた専用のVPUモジュールを使用して、スケーラブルな方法で増強できます。また各システムでは、エッジサイトに設置するのに適した、コンパクトで耐久性の高いフォームファクター

で提供される、他にはないストレージ、（最大10GbE）の高速ネットワーキング機能、データ収集機能、 HPE Edgeline OT Linkを介して提供される制御テクノロジー、およびHPE iLOを使用した業界屈指の管理機能を選択できます。

このHPEとインテルが共同で開発したソリューションを実際に試されたい場合は、HPE IoT Innovation Labs （iotinnovationlabs@hpe.com）までお問い合わせください。

製造

レガシーインターワーキング/PLCブリッジ、資産管理、状態監視/予測型、拡張現実、エッジでの動画分析

エネルギー/公共事業資産管理、状態監視/予測型、

拡張現実、

AI/ディープラーニング

輸送/自動車コネクテッドビークル、

資産管理、状態監視/予測型、エッジでの動画分析

キャンパス/ブランチ/小売業界ワークステーション/デスクトップ/アプリデリバリ用エッジワーク

スペースアプライアンス、エッジでの

動画分析（キャンパス調査/CCTV）

分散型通信/メディア/通信マルチアクセスエッジコンピューティング（MEC）、5G、vRAN、vCPE、エッジCDN/キャッシング、ビデオトランスコーディング

防衛/インテリジェンスコネクテッドバトルフィールド、シギント、

エッジでの動画分析、AI/DL

石油/ガス資産管理、状態監視/予測型、拡張現実、

エッジでの動画分析、AI/DL

IoTOTエッジ エンタープライズITエッジ

図17. 幅広いOT、 IoT、エンタープライズ ITエッジに適用されるAIおよび動画分析

Chat

Call

Email

本カタログを共有する

その他のカタログを探す

カスタマー・インフォメーションセンター

0120-268-186（または03-5749-8279）

月曜日～金曜日 9：00～19：00（土曜日、日曜日、祝日、年末年始、および5月1日お休み）

お問い合わせはこちら

© Copyright 2020 Hewlett Packard Enterprise Development LP.

本書の内容は、将来予告なく変更されることがあります。ヒューレット・パッカード エンタープライズ製品およびサービスに対する保証については、当該製品およびサービスの保証規定書に記載されています。本書のいかなる内容も、新たな保証を追加するも

のではありません。本書の内容につきましては万全を期しておりますが、本書中の技術的あるいは校正上の誤り、省略に対しては

責任を負いかねますのでご了承ください。Intel、インテル、Intelロゴ、Arria、Intel Atom、Intel Core、Iris、Movidius、Myriad、OpenVINO、Xeonは、アメリカ合衆国および /またはその他の国における Intel Corporationまたはその子会社の商標です。NVIDIAは、米国およびその他の国におけるNVIDIA Corporationの商標および/または登録商標です。すべての第三者の商標は、それぞれの所有者に帰属します。

WHS15014-01、記載事項は個別に明記された場合を除き2020年4月現在のものです。

テクニカルホワイトペーパー

関連情報

HPE Edgeline Converged Edge SystemとOT Link（日本語）

エッジでの動画分析 : HPE Edgeline IoTシステムとIDOL Media Serverで卓越した情景分析と物体認識のパフォーマンスを実現 （英語）

エッジでの動画分析を高速化して都市にAIを導入（英語）

XProtect Smart Client 2018 R1以降のバージョンにおけるハードウェアアクセラレーション（NVIDIA、 Intel）の使用（英語）

Milestone Systems社のStorage Calculator （JPEG）（英語）

エッジコンピューティングが必要な7つの理由