7
1 Copyright © 2018, Denodo Technologies ビッグデータの到来や、多様な情報チャネルの増大を受けて、組織は従来型および新型のデータソースを大量に保管・ 検索・アクセス・共有する必要性に直面しています。データ仮想化は、従来の技術の限界を超えた現代的なデータ統合 手法です。Denodo はデータ仮想化分野のリーダー企業として、企業、クラウド、ビッグデータ、非構造化データなどの 幅広いデータソースを対象に、アジャイルで高パフォーマンスのデータ統合機能およびデータ抽象化機能を、リアル タイムデータサービスとして、従来の手法の半分のコストで提供しています。 Denodo Platform 7.0の新しいリリースでは、企業が煩雑なデータ駆動型のビジネスから、真の洞察が可能なビジネ スに移行できるよう、データ管理を次世代に向け再定義しています。Denodo のデータ仮想化は、ビジネス ユーザと アプリケーションの情報へのアクセスを簡単にし、現在の IT の構造と情報消費者間にあるギャップや複雑性を隠し、 ビジネスにわかりやすい方法でデータを公開します。 Denodo Platform 7.0は、ビジネス ユーザが最も必要とする情報をより簡単に発見して扱えるよう、大規模なデータ や分析環境下でも前例のないスケーラビリティや、オンプレミスとマルチ・クラウド展開の両方をシームレスに組み 合わせることができるマルチ ロケーション アーキテクチャの管理ツールにより、大幅な機能拡張を提供します。 データシート Denodo Platform 7.0

Denodo Platform 7 - Nippon Steel · ションのライブラリおよび検証、ク レンジング、エンリッチ、標準化、マッ チングおよびデータのマージの品

  • Upload
    others

  • View
    1

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Denodo Platform 7 - Nippon Steel · ションのライブラリおよび検証、ク レンジング、エンリッチ、標準化、マッ チングおよびデータのマージの品

1Copyright © 2018, Denodo Technologies

ビッグデータの到来や、多様な情報チャネルの増大を受けて、組織は従来型および新型のデータソースを大量に保管・検索・アクセス・共有する必要性に直面しています。データ仮想化は、従来の技術の限界を超えた現代的なデータ統合手法です。Denodo はデータ仮想化分野のリーダー企業として、企業、クラウド、ビッグデータ、非構造化データなどの幅広いデータソースを対象に、アジャイルで高パフォーマンスのデータ統合機能およびデータ抽象化機能を、リアルタイムデータサービスとして、従来の手法の半分のコストで提供しています。

Denodo Platform 7.0の新しいリリースでは、企業が煩雑なデータ駆動型のビジネスから、真の洞察が可能なビジネスに移行できるよう、データ管理を次世代に向け再定義しています。Denodo のデータ仮想化は、ビジネス ユーザとアプリケーションの情報へのアクセスを簡単にし、現在の IT の構造と情報消費者間にあるギャップや複雑性を隠し、ビジネスにわかりやすい方法でデータを公開します。

Denodo Platform 7.0は、ビジネス ユーザが最も必要とする情報をより簡単に発見して扱えるよう、大規模なデータや分析環境下でも前例のないスケーラビリティや、オンプレミスとマルチ・クラウド展開の両方をシームレスに組み合わせることができるマルチ ロケーション アーキテクチャの管理ツールにより、大幅な機能拡張を提供します。

データシート

Denodo Platform 7.0

Page 2: Denodo Platform 7 - Nippon Steel · ションのライブラリおよび検証、ク レンジング、エンリッチ、標準化、マッ チングおよびデータのマージの品

2Copyright © 2018, Denodo Technologies

Denodo Platform 7.0の機能の特徴Denodo Platform 7.0では、パラレルインメモリファブリックとDenodo動的クエリオプティマイザの組み合わせにより、ビッグデータ、論理データウェアハウス、運用シナリオに画期的なパフォーマンスを実現させます。

データ仮想化は、ビジネスユーザとアプリケーション用のビジネスビューとデータサービスで構成されるデータ配信レイヤーを提供することで、ユーザのセルフサービスでのアクセスを可能にします。Denodo Platform 7.0は、ユーザが簡単にビジネスカテゴリやタグをナビゲートしたり、他のユーザとの共有やグローバルでの消費を促すための独自のクエリを作成するのに必要な情報を検索したりできる新しいデータ資産のカタログを使用して、ビジネスユーザが発見したり検索するプロセスを簡素化します。

オンプレミスやクラウド内の両方で異なった場所にある複数のクラスタを含めた大規模なマルチロケーション配信を管理するため、Denodo Platform 7.0には新しくDenodoソリューションマネージャが含まれています。これにより、自動化されたライフサイクルの管理用(環境間の新しいメタデータの促進、更新の管理等)の複雑なシナリオで開発運用が容易になります。

Denodo Platform 7.0は、マルチクラウド、ハイブリッドおよびエッジのシナリオで、パフォーマンス、セキュリティ、ガバナンスにおいて妥協することなく、マルチロケーションアーキテクチャを提供します。このソリューションは特にロケーションの透過性を確保するために設計されており、コストのかかるロケーション間データ移動を最小限に抑えます。

図1 Denodo Platform 7.0コンポーネント

データ指向のユーザのために

ドラッグアンドドロップ

データアダプタ

データフェデレーション

データ抽象化

データ変換

データサービスのパブリッシュ

企業に優しい UI

情報資産とデータサービスの

カタログ

データ検出

データ探索

データセットのカスタマイズ

共有と協業

グローバルの使用のための IT レビュー用

プロモーション

動的クエリ最適化

インメモリ並列処理(クエリの処理と

キャッシュ)

データキャッシュ

高度なクエリリライトなど他の最適化技術

認証と認定

データとメタデータのセキュリティ

データマスキング

監査

データリネージ

ソースの自動更新

変更コントロール

ポリシー実施

外部ガバナンス、カタログツールとの

統合

ロケーション透明性

複数ロケーション間で一元化された

メタデータ管理

複数レイヤーのアーキテクチャ

(ローカル処理を最大化し、ネットワークトラフィックを最適化)

クラウドマーケットプレイスとDockerオファリング

一元化されたデプロイ管理用

Web UI コンソール

モニタリングと診断

リソースマネージャ

高可用性

スケジューラ

データモデリング 管理とモニタリング

マルチクラウド、ハイブリッド、エッジ

セキュリティとガバナンス

パフォーマンス最適化

データカタログ

技術、運用、ビジネスのメタデータ

任意のフォーマット、任意のツールでデータを利用

Page 3: Denodo Platform 7 - Nippon Steel · ションのライブラリおよび検証、ク レンジング、エンリッチ、標準化、マッ チングおよびデータのマージの品

3Copyright © 2018, Denodo Technologies

Denodo Platform 7.0のユニークな差別化要素は以下のものです。

• 並列クエリ処理エンジンを使用したネイティブ統合を介したビッグデータのクエリ高速処理。Denodo Platform 7.0には、Spark、Hive、Impala、Prestoなどの一般的なパラレル処理テクノロジに基づいたMPPエンジンとのネイティブ統合が含まれており、Denodaのデータ処理タスクを並行して実行できます。これにより、ビッグデータおよび分析シナリオでのスケーラビリティの観点から、Denodoのプラットフォームは次のレベルに飛躍することができるのです。さらにDenodo Platform 7.0は、以前に処理済みのデータに素早くアクセスできるよう、MPPのキャッシングをサポートしています。

• スケーラブル・アーキテクチャ用の仮想レイヤーでのネットワークトラフィックや後処理を最小限に抑える高度なクエリリライティング手法を備えた動的クエリオプティマイザは、MPPパラレル処理およびMPPキャッシングと組み合わせて使用されています。

• 動的データカタログは従来のカタログ(分類とタグ付け、データ系列、説明等)の機能に、キーワードベースの検索、発見、ビジネス対応のデータの検索と準備が組み合わされています。

• モダンデータサービスレイヤーは、容易なクラウドの相互運用性のために、最新の標準(OAuth 2.0、SAML、OpenAPI、OData 4等)を実装しています。

• 開発/運用タスクを容易にする自動ライフサイクル管理。新しいDenodoソリューションマネージャは更新、ライセンスキー、データソースパラメータ、モニタリング、ログの一元管理や、一元化されたウェブUIから異なるクラスタを持つマルチロケーションアーキテクチャで異なった環境でのメタデータの簡易プロモーションにより、複雑なマルチクラスタ配信を容易にします。

• シームレスなスケーラビリティ(AWS、Azureでのリソースのオートスケーリングなど)およびコンテナ化プラットフォーム(Docker)による、AWSやAzureMarketplaceなどの主要クラウドプラットフォームでの高可用性。

DOC

W

散在しているデータソース

データ利用者

SQL クエリ(JDBC、ODBC、ADO.NET)

Web サービス(SOAP、REST、OData、オープン API) データカタログ 安全な配信

(SSL/TLS、SAML、OAuth)

データ仮想化

実行エンジンとオプティマイザ

メタデータリポジトリ

ソリューションマネージャ

モニタリングと監査

企業の秘密保持

キャッシュ

MPP 処理

図2 Denodo Platform 7.0アーキテクチャ

Page 4: Denodo Platform 7 - Nippon Steel · ションのライブラリおよび検証、ク レンジング、エンリッチ、標準化、マッ チングおよびデータのマージの品

4Copyright © 2018, Denodo Technologies

I 高い経済性ほんのわずかの時間、コスト、インフラストラクチャ、そしてETLなどの従来の統合アプローチの持つ厳格さで、データを確実に統合します。

I 価値創造への近道コンテキストをふまえた信頼できる情報がスピーディに得られ、そこから行動に移せる洞察が生まれます。アジャイルな企業こそが業界をリードします。

I ロケーションに非依存スケールやガバナンスを犠牲にすることなく、オンプレミス、クラウド、エッジなど、どこででも展開できます。

I ビジネスにやさしい現代の複雑なデータエコシステム(無数のソース、マルチフォーマット、分散、異種、多様)を抽象化します。ほとんど費用をかけず、あらゆるタイプのユーザとアプリケー ションのためのフォーマットと命名規則でデータを提供します。要件の変更にもすぐに対応できます。

I エンタープライズグレード多数のビジネス機能や複数のユースケースやペルソナ、および数千のユーザをサポートします。

I デジタルマーケットプレイスデジタルマーケットプレイスを利用することにより、アナリストのコミュニティが情報資産を迅速に検索し、使用できるようになります。これはセルフサービス分析の時代には欠かせません。

I 複数エンタープライズBIプラットフォームの合理化と統合複数ビジネスインテリジェンスプラットフォームからコンポーネントを統合、活用、再利用します。

データ仮想化レイヤ

データ仮想化レイヤ

ビジネスでの利点

図3 企業内でのデータ仮想化

Page 5: Denodo Platform 7 - Nippon Steel · ションのライブラリおよび検証、ク レンジング、エンリッチ、標準化、マッ チングおよびデータのマージの品

5Copyright © 2018, Denodo Technologies

データソース

リレーショナルデータベース• ジェネリック(JDBC)• IBM DB2(JDBC):LUWは8、9、10、

11、12、z/OSは9、10• マルチレイヤーのDenodo配信

(JDBC):5.5、6.0、7.0• Apache Derby(JDBC):10• Informix(JDBC):7、12• MS SQL*Server(JDBC,ODBC):

2000、2005、2008、2008R2、2012、2014、2016

• MySQL(JDBC):4、5• Oracle(JDBC):8i、9i、10g、11g、

12c• Oracle E-Business Suite(JDBC):

12• PostgreSQL(JDBC):8、9• Sybase Adaptive Server Enterprise

(JDBC):12、15• MS Access(ODBC)

インメモリデータベース• SAP HANA(JDBC):1• Oracle TimesTen(JDBC):11g• Oracle 12c In-Memory

パラレルデータベースおよび機器• GreenPlum(JDBC):4.2• HP Vertica(JDBC):7、8• Oracle Exadata(JDBC):X5-2• ParAccel 8.0.2(SSLドライバを備え

たParAccel2.5.0.0 JDBC3gの使用による)

• Netezza(JDBC):4.6、5.0、6.0、7.0• SybaseIQ(JDBC)12.x、15.x• Teradata(JDBC):12、13、14、15

クラウドデータウェアハウス• Amazon Redshift(JDBC)• Amazon Athena(JDBC)• Amazon Aurora(JDBC)• Snowflake(JDBC)• Amazon DynamoDB

ビッグデータ/NoSQL• Apache Hive(JDBC):Cloudera

0.12、1.1.0、1.1.0、Hortonworks 1.2.1、2.0.0

• Impala(JDBC):2.3• Spark SQL(JDBC):1.5、1.6

• Google BigQuery(JDBC)• Presto(JDBC)

Webオートメーション• DenodoのITPilotはWebページか

らの抽出を自動化します

インデックスと非構造化コンテンツ• CMS、ファイルシステム、df、word、

text、メールサーバー、ナレッジベース、インデックス

• Elastic Search

多次元ソース• SAP BW(BAPI/XMLA):3.x• SAP BI 7.x(BAPI):7.x• Mondrian(XMLA):3.x• MS SQL Server Analysis Services

200x• Essbase(XMLA):9、11

Webサービス• SOAP• REST(XML、RSS、ATOM、JSON)

フラットおよびバイナリファイル• CSV、パイプ区切り、正規表現解析• MS Excel xls 97-2003• MS Excel xlsx 2007以降• MS Access • XML• JSON• すべてのファイルはローカル、また

はリモートファイルシステム内でFTP/SFTP/FTPSを介してアクセスでき、平文、圧縮および暗号化形式に対応します。

ソースとしてまたはセキュリティを活用するActiveDirectory• LDAP v3 • Microsoft Active Directory2003、

2008

クラウド、SaaS、簡易のOAuthセキュリティつきのWebソース• Amazon• Google• Facebook• LinkedIn• MS Azure Data Lake• MS SharePoint(ODataコネクタの

使用による)• MS Dynamics(ODataコネクタの使

用による)• Marketo• Salesforce• 簡易OAuth統合のAPIを介した

Twitter(1.0、1.0aおよび2.0)• Workday

データソースや配信としてのMSQueues• MQSeries• SonicMQ• ActiveMQ• Tibco EMS

セマンティックリポジトリ• SPARQLエンドポイントを介してア

クセスしたTriple Stores/RDF内のセマンティックリポジトリ。

パッケージ化されたアプリケーション• SAP ERP/ECC(BAPISおよび表)• Oracle E-Business Suite 12• Siebel• SAS(SAS JDBCドライバー):7以降

カスタムコネクタ用DenodoSDK• CouchDB• Lotus Domino• MongoDB

メインフレーム• IMS

• IBM IMSネイティブドライバー:8、9

• IMSユニバーサルドライバー: 11

階層データベース• Adabas(SOA Gatewayおよび

DenodoのSOAPコネクタ):5、6

以下のその他のデータソースは、JDBC、ODBCドライバ、WS/SOAPおよびWS/REST、DenodoConnectアダプタを使用したDenodoで正常にテストされています(ここにリストされているのはその一部です)。• Apache Solr• Kafkaメッセージ• SASファイル

Denodo Platform 7.0機能シート

Page 6: Denodo Platform 7 - Nippon Steel · ションのライブラリおよび検証、ク レンジング、エンリッチ、標準化、マッ チングおよびデータのマージの品

6Copyright © 2018, Denodo Technologies

• Hadoop HBase• Hadoop HCatalog• Hadoop HDFS• S3内のファイル• IBM BigInsights• Pivotal HAWQ

公開オプション

• JDBC、ODBCおよびADO.NETを介したSQLベースのアクセス

• Webサービス• SOAP• REST• OData• オープンAPI(別名Swagger)

• Oauth、OAuth 2.0(JWT)• SAML• SSL• WS-Security• メッセージキュー用のJMSリスナー• バッチ処理とETL用のDenodoスケ

ジューラ

データカタログ

• ビジネスユーザーのためのデータの発見や検索用ウェブUI

• ビジネスカテゴリとビジネスタグ• メタデータと実データの全検索機

能• カスタムされたデータセット用クエ

リウィザード• CSV、ExcelおよびTableauデータ抽

出(TDE)のエクスポート• コラボレーション機能(保存と共有)• 最終的にグローバルに公開する前

に、IT部門のレビューのために共有サンドボックスにエクスポート

パフォーマンス最適化

• クエリ高速処理とキャッシング用の大規模なパラレル処理(MPP)統合

• 全集約・部分集約プッシュダウン• データ移動の最適化• コストベース最適化(データ統計、

データソースインデックス、データソース実行モデルとパラメータ、ネットワーク転送速度)

• S E L E C T / P R O J E C T I O N / J O I N /GROUP BYオペレーションのプッシュダウン

• マルチプルJOIN戦略• パーティション化された結合の簡易

化(パーティション・プルーニング)• マルチモードキャッシング:フル、部

分、増分または合計リフレッシュ、イベントベースまたはスケジュール、ビューレベルで設定、SaaSソース用の増分クエリ

キャッシュおよびデータの移動 オプションに対応するデータストア

• Amazon Redshift• IBM DB2(LUWは8、9、10、11、12、

z/OSは9、10)• Hive 2.0.0• Impala• Presto• MS SQL Server(2000、2005、2008、

2008R2、2012、2014、2016)• MySQL(4および5)• Netezza(6および7)• Oracle(8i、9i、10g、11g、12c、12cイ

ンメモリ)• Oracle TimesTen 11g• Snowflake• SAP HANA• Spark 1.5、1.6• Teradata 12、13、14および15• Vertica 7• 上記以外のデータベースにも「汎用」

アダプターで接続可能

大規模なパラレル処理のオプション

• Impala• Presto• Spark 1.5、1.6• Hive

データガバナンス

• データソースのリフレッシュ、変更影響分析、依存ツリー、完全なデータリネージ

• Denodoのガバナンスブリッジ:BM Information Governance Catalogとの統合

セキュリティ

移動中のデータ–セキュアチャネル• SSL/TLSを使用• クライアントからDenodo および

Denodoからソース• すべてのプロトコルでの可用性

(JDBC、ODBC、ADO.NETおよびWS)

保存データ-セキュアストレージ• キャッシュ:サードパーティデータ

ベース独自の暗号化メカニズムが活用可能

• ディスクにスワップ:OSにより暗号化できる構成可能なフォルダ内に一時的にシリアル化

暗号化/復号化• ファイルやWebサービスのカスタ

ム複合をサポート• RDBM暗号機能との透過的な統合

AD/LDAPとの統合を含むユーザとロールベース• 行レベルと列レベルの認可• マスキング• 特定のセキュリティ制約のカスタム

ポリシーと外部ポリシーサーバとの統合

認証• ネイティブおよびLDAP/Active

Directoryベース• KerberosおよびWindows SSOの

サポート• Base64• Kerberos• NTLM• Oauth、OAuth 2.0(JWT)• SAML• SSL• WS-Security• パススルーセッションクレデンシャ

ル• 既存のソース権限の活用

データモデリング

• データモデリング用の統合開発環境(Virtual Data Port):ドラッグアンドドロップおよび数回のクリックでデータサービスを公開

• ボトムアップおよびトップダウン(インターフェースビューを介して)

• Denodoモデルブリッジサードパーティモデリングツールによる統合• ER/Studio Data Architect• ERwin Data Modeler• IBM InfoSphere Data Architect• SAP PowerDesigner

データの品質

• 変換、フィルタとマッチングファンク

Page 7: Denodo Platform 7 - Nippon Steel · ションのライブラリおよび検証、ク レンジング、エンリッチ、標準化、マッ チングおよびデータのマージの品

ションのライブラリおよび検証、クレンジング、エンリッチ、標準化、マッチングおよびデータのマージの品質ルール

• カスタムファンクションによる拡張が可能

• 外部データ品質ツールとの統合

モニタリング

• Denodoモニタリングおよび診断ツール、Denodoクエリモニター、Denodoモニターレポート:すべてのモニタリング情報は、Denodoのツールを介してリアルタイムおよび履歴分析のために配信されます。モニタ情報を使用して履歴ダッシュボードが作成できます

• モニタリングは、SNMPおよびJMXの標準インターフェースでも利用可能です。したがって、主要なシステム管理パッケージ(HP OpenView、Nagios、Zenoss、Osmius、IBM Tivoli、Microsoft WinRM等)との相互運用性があります

オペレーション

• バージョン管理の統合によるマルチユーザ開発• Subversion• Microsoft TFS• Git

• 各アプリケーションのリソース使用率を最適化するため、各セッションでリソースマネージャがロールまたはユーザに対してリソースの制限および割り当て• リソースの優先順位を変更• タイムアウトや行数制限を実施• 分/日/月毎のクォータを追加(ク

エリは1日あたり50個まで、など)• オペレーションとプロモーションの

タスクを自動化するソリューションマネージャ• クライアントへの更新の管理と

配信の一元化

• ライセンスキーの一元管理• プロモーションリビジョンとその

依存関係を定義し、それをダウンタイムゼロでプロダクションクラスタに展開

• データソースのプロパティおよびログの一元管理

• 開発運用ツール(jenkins等)からのタスクの自動化用REST API

配置パターン

• オンプレミス、プライベートクラウド、パブリッククラウド• 基本的なシングルサーバーの設

定• ロードバランシングを備えたHA

クラスタ(アクティブ-パッシブおよびアクティブ-アクティブ)

• 共有または分散型ローカルキャッシュ

• 地理的に分散したサーバー環境• 複数のDenodoインスタンスに

よるピアツーピア、またはマルチレイヤー

• Docker によるコンテナ化をサポート

• パブリッククラウド• AWS用Denodoプラットフォー

ム• Azure用Denodoプラットフォー

ム• AWSおよびAzure両方でのオー

トスケーリングをサポート

ユーザインターフェース

• 統合開発環境(Virtual Data Port):データエンジニア、パワーユーザ、シチズンインテグレータなどのデータ指向の開発者を対象にドラッグアンドドロップやコーディングレスの開発環境では、マウスを数回クリックするだけでデータサービスを公開できます。

• データカタログUI:データスチュワード、データアナリスト、シチズンアナ

リストなどのビジネス指向のユーザに使いやすいインターフェース

• ホリスティックソリューションマネージャUI:管理者が配信とプロモーションを管理するための集中UI

• モニタリングと診断ツール:データエンジニアや管理者のモニタリング、監査およびトラブルシューティングのための集中UI

オペレーティンシステム

• Microsoft Windows(32ビットおよび64ビットプラットフォーム)Windows Server 2016、Windows Server 2012、Windows Server 2008、Windows 10、Windows 8.1およびWindows 7

• Linux(32ビットおよび64ビットプラットフォーム)Ubuntu 12.04 LTSおよび14.04 LTS、CentOS 6および7、Red Hat Enterprise Linux

(RHEL)6および7、Oracle Linux 6および7

• UNIX(64ビットプラットフォーム)、Sun Solaris

• Java 1.8以降に対応するすべてのOS

最小ハードウェア要件

• プロセッサー:Intel Xeon 4コアまたは同レベル。負荷の高いシナリオまたは計算が複雑な場合、8コア以上必要な場合があります。

• 物理メモリ(RAM):16GBのメモリ。Denodoサーバーは最大8GBのランタイムヒープ領域を割り当てることができます。

• ディスクの容量:最小:5GB、推奨:100GB、Denodoインストールでは約1GBのディスク容量のみ必要です。キャッシュが同じサーバーにインストールされている場合、より多くのディスク容量が必要になります。

Web サイト:www.denodo.com | メール:[email protected] | コミュニティ:community.denodo.com