Embed Size (px)
Citation preview
#azurejp#dotnetlab
Azure Media Services Media Analytics 概要
鶴田 貴則Studio さきあると
https://www.facebook.com/sakiaruto/https://twitter.com/sakiaruto/
https://sakiaruto.com
.NET ラボ 2016 ・ 11 ・ 25
アジェンダ
• 動画を取り巻く状況• Azure MediaAnalitics 概要
• なぜ Media Analytics ？• Azure Media Analytics• Azure Media Analytics 各機能• サイトご紹介
自己紹介
•鶴田 貴則（ Studio さきあると）• 中小企業零細向け PC サポート、 IT サポート• ライブ配信を 6 年程 しております。• 最近は、 Office365 ・ Azure もしております。
https://www.facebook.com/sakiaruto/https://twitter.com/sakiaruto/
ポンコツ IT サポートの奮戦記http://motsu.azurewebsites.net/
ご紹介
品川駅のアトレのフードコートに、同級生が、アメリカのクラフトビールのお店を出店いたしました。美味しいビールなので是非お立ち寄りください。
注意事項
本資料について個人で準備した環境において、個人的に実施した結果や調査をもとに記載しております。また、本資料の内容ならびに閲覧により生じた一切の問題及び不利益について、発表者は一切の責任を負うことができませんのでご了承ください。
注意事項Azure MediaServices で公式公表されている資料は、ほぼ旧ポータルです。お気をつけてください。 Azure MediaServices は、ほぼ、新ポータルに移行しました。
#azurejp#dotnetlab
動画を取り巻く環境
コンテンツがつなぐもの
多様化デバイス・接触時間・趣向・表現方法・収益化
動画サービス（例）視聴のみ
動画配信可能で、視聴
も可能動画で配信できる SNS
誰でも発信できる時代へ
Live は、10 倍以上の視聴時間と エンゲージメント
Live は、多くの優良なユーザーを引き込む可能性が高いため、大きな広告の機会でもある
HTML5サイト 構成 絵 コンテ
クリエイターやエンジニアがまだまだ不足している。
HTML5サイト 構成 絵 コンテ
クリエイターやエンジニアがまだまだ不足している。
安定した高品質サービスに向けての投資
機材への投資かける程良い。
Streaming /CDN
コンテンツ保護Processing取り込みと保管
メディア 配信の コア 機能をAPI として提供
Azure Media Services
PlayerAnalytics
配信サーバーを立てなくていい！
Platform Services
Infrastructure Services
Web Apps
MobileApps
APIManagement
APIApps
LogicApps
NotificationHubs
HDInsight
MachineLearning
Stream Analytics
DataFactory
EventHubs
MobileEngagement
SQLDatabase
DocumentDB
RedisCache
Search
Tables
SQL DataWarehouse
HybridOperations
Azure AD Connect Health
AD Privileged Identity Management
Backup
OperationalInsights
Import/
Export SiteRecovery
StorSimple
CloudServices
Batch
Remote App
ServiceFabric
Visual Studio
ApplicationInsights
Azure SDK
Team Project
Security &Management
Portal
ActiveDirectory
Multi-FactorAuthentication
Automation
Key Vault
Store /Marketplace
VM Image Gallery & VM Depot
Content DeliveryNetwork (CDN)
MediaInsights
VoD/LiveTranscoding
Azure Media Player
Multi DRM
VoD/Live ChannelStreaming
#azurejp#dotnetlab
Azure MediaAnalytics 概要
コンテンツはある！だけど… • サービスを差別化するのにあなたは何をしますか？
• どのようにしてコンテンツの価値を高めることができますか？
• テキスト、顔、ロゴ、画像、特定の行動を検索しやすくしますか？
• 検索可能性、視認性を高めるためにコンテンツから、さらに多くのデータを引き出す方法はありますか？
なぜ Media Analytics ？
高度な機械学習を通じてビデオ ファイルから実用的な洞察を引き出すのを容易にします。
• 検索可能な ビデオとオーディオを作る
• ビデオおよびオーディオコンテンツ自体から直接取り出し、リッチメタデータのデータベースを作成する
• 強力な新しいメディアプロセッサ
Azure Media Analytics とは - コンテンツの強化
https://azure.microsoft.com/ja-jp/services/media-services/media-analytics/
CognitiveServices
開発者
Data Scientist / IT
Deep Learningコア機械学習
Azure での機械学習の選択肢
Face & Emotion detection顔のカウントおよび 性別・年齢・感情の判定
Hyperlapseスタビライザーとタイムラプス
Videosummarizationハイライトシーンによる要約ビデオの自動作成
Motiondetection動きのあった箇所の検知
Object Character Recognition (OCR)ビデオ内の画像から、テキストを抽出
Speech-to-Text 話しているテキストを抽出現在、 8 言語対応
450 6th St.San Francisco
FaceRedaction特定の人の顔にぼかしを入れる
Azure Media Analyticsテ
キス
トを
生成
ビデ
オを
生成
Indexer(Speech to Text の一種）
• 音声からテキストへの変換を可能にする• サポート言語
一般提供：英語、スペイン語 プレビュー：ドイツ語、フランス語、イタリア語、中国語、アラビア語、日本語
• カスタムの語彙適応能力ユーザーは、音声認識を向上させるためにビデオに関連する単語のリストを提供します
https://docs.microsoft.com/ja-jp/azure/media-services/media-services-process-content-with-indexer2
https://docs.microsoft.com/ja-jp/azure/media-services/media-services-index-content
Azure Media Indexer
Azure Media Indexer
オーディオデコード
語彙の適応
セグメンテーション
音声認識
キャプションの配置
Closed captions
(TTML/WebVTT/SAMI)
Audio or Video MP4, WMV, MP3, M4A,
AAC, WAV, WMA
Audio Indexing Blob (AIB) for use
with SQLServer and
custom filter add-on Flexible metadata
files(keywords, word info)
Face Recognition( 顔認知）
• あなたのビデオに現れる顔を検出する• フレームの周りを移動するときに顔を追跡する• 顔の位置とタイムスタンプを含む出力メタデータ• 年齢の検出• 性別の検出• 顔認識
画像はイメージです
https://docs.microsoft.com/ja-jp/azure/media-services/media-services-face-and-emotion-detection
Emotion Recognition( 感情認知）
• ビデオ内の表情に基づいて人や人の感情を時間の経過と共に認識する• 野生の本物の感情のために設計されています。• 心理学的研究が普遍的であると特定した表現に基づいて感情を識別す
る• エクスペリエンスのパーソナライズ、メディアと製品へのレスポンス
の分析、および群衆分析のためのソリューション• 感情認識：幸福、悲しみ、驚き、怒り、軽蔑、恐怖、消化、中立• ユースケース - オーディエンス分析、パーソナライゼーションなど
https://docs.microsoft.com/ja-jp/azure/media-services/media-services-face-and-emotion-detection
画像はイメージです
Motion detection （動態認知）
• 静的なカメラ映像と共に使用して、ビデオモーションがどこで発生しているかを識別する
• セキュリティビデオフィードを対象としたこの技術は、実際の動き（部屋に入る人など）と誤検知（例えば、影や光の変化に伴う風の葉など）を区別することができます。
• 非常に長い監視ビデオから関心のある瞬間を抽出することができ、無関係な無関係なイベントでスパムを被らずにカメラのフィードからセキュリティ警告を生成することができます。
画像はイメージです
https://azure.microsoft.com/en-us/documentation/articles/media-services-motion-detection/
https://azure.microsoft.com/ja-jp/blog/motion-detection/
• ビデオコンテンツからテキストを抽出する
• パフォーマンスと品質のバランスを取るために独自のサンプリングレートを選択できる
• 動画のどこを見てるかを指定する（例：キャプションの下 3分の 1 ）
• 出力は場所を含むテキストを記述する
Text: Who are we? Location: (200,100,250,50)Time: 0:45:02
Text: Who are you and who is the person sitting next to you?Location:(100,250,350,90)Time: 0:45:02
Video OCR
https://docs.microsoft.com/ja-jp/azure/media-services/media-services-video-optical-character-recognition
• 一人で撮ったビデオをスムーズなタイムラプスに変換する。
• 前方移動カメラのシナリオ（アクションスポーツ）のために設計されています
Hyperlapse
https://docs.microsoft.com/ja-jp/azure/media-services/media-services-hyperlapse-content
https://docs.com/sakiaruto/2104/azure-mediaservices-hyperlapce
Azure Media Services 使ってみました～ HyperLapce
• ハイライトシーンによる要約ビデオの自動作成します• フレームは、ビデオ品質、多様性、および映像の安定性に基づいて選択されます
https://docs.microsoft.com/ja-jp/azure/media-services/media-services-video-summarization
https://azure.microsoft.com/en-us/blog/video-summarization-on-azure-media-analytics/
Summarization( ビデオサマリー )
• ビデオをぼかして個人のアイデンティティを保護する• 顔の自動検出と修正• ライセンスプレートなどの動的設定で識別可能な情報にタグを付けてぼかす
Face Redaction
• 動画コンテンツポリシー違反を検出する• 不快で不法で不適切なコンテンツを手動で閲覧するのに費やす時間とコストを節約する• 現在、アダルトコンテンツの分類をサポートしています
Contents Moderation
https://azure.microsoft.com/en-us/blog/content-moderator-azure-media-analytics/
https://www.microsoft.com/en-us/Moderator
もしかして、デモサイトってある？あります。
https://www.videobreakdown.com/Home/Video Breakdown
キーワードやトピック
人の名前
Video Breakdown 人の認識
キーワードやトピック• クリックすると、その箇所に飛びます
感情認知
この人がどれだけ出ているか
#azurejp#dotnetlab
Demo
高度な機械学習を通じてビデオ ファイルから実用的な洞察を引き出すのを容易にします。• 検索可能な ビデオとオーディオを作りましょう。
• ビデオおよびオーディオコンテンツ自体から直接取り出し、リッチメタデータのデータを生成する
• 生成されるものは、 テキストに関するもの ビデオに関するものがある。
• しかも API 連携で簡単に
Azure Media Analytics
⇒ コンテンツに新たな価値を与えましょう。
参考• InterBEE2016 - Computer Vision and Media Analytics
https://docs.com/dahatake/7077/interbee2016-computer-vision-and-media-analytics
ご清聴ありがとうございました
