View
5
Download
0
Category
Preview:
Citation preview
Oracle Data Integrator 12c
Christoph Blessing
Oracle Stuttgart, Systemberatung
Oracle Data Integration Moving Data to Transform Business
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. 3
The following is intended to outline our general product direction. It is intended
for information purposes only, and may not be incorporated into any contract.
It is not a commitment to deliver any material, code, or functionality, and should
not be relied upon in making purchasing decisions. The development, release,
and timing of any features or functionality described for Oracle’s products
remains at the sole discretion of Oracle.
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. 4
Agenda
Oracle Data Integrator Überblick
ODI Architektur
Migration Utility
Demo
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. 5
Oracle Data Integrator Überblick
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. 6
Oracle Data Integration 12c Real-Time Integration für Big Data, Cloud und klassische Systeme
Oracle Data Integrator
Oracle GoldenGate
Oracle Enterprise Data
Quality
Oracle Data Service
Integrator Big Data
Database
Apps
Cloud
• Real-time Replikation; optimiert für die 12c Datenbank und Oracle Exadata
• End-to-End Integration mit einfacher Entwicklung
• Ein Werkzeug für relationale / strukturierte und Hadoop / NoSQL Datenquellen
• Flexibler Betrieb auf dedizierter Hardware oder heterogen in der Cloud
• Erweiterte Unterstützung von Drittanbietern und Oracle Applications in Real-Time Daten-Integration und unterbrechungsfreiem Betrieb
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. 7
Oracle Data Integrator Massen Daten Verarbeitung und Transformation
Einsatz im heterogenen IT-
Umfeld
Hoch performante ELT
Architektur
Flexible Entwicklung und
Deployment
Einfach erweiterbare
Funktionalität
Oracle Data Integrator
Hochperformantes ELT
Deklaratives Design
Complex Event Processing
Web / Data Services
Erweiterbare Knowledge Module
Integration von strukturierten &
unstrukturierten Daten
Big Data
Database
Apps
Cloud
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. 9
ELT vs. ETL Flexible und kostengünstige Architektur
ELT bietet eine flexible Architektur für
hervorragende Performance
Nutzen
mengenbasierter Ansatz
schnelles Laden ohne Zwischenschritte
und unter Nutzung der gegebenen
Ressourcen
kein zusätzlicher ETL Server
konventionelle ETL Architektur
Extract Load Transform
Optimierte Architektur
“ELT” Load
Transform Transform
Extract
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. 10
Deklaratives Design
Einfach und universell für einfache und
komplexe Mappings
stabile und wiederverwendbare Mappings
für jegliche Quell-/Zielwelt
schnelle Entwicklung und Parametrisierung
führen zu hoher Automatisierung
Erweiterbare Modelle zur Realisierung aller
Integrationsaufgaben
Nutzen
flache Lernkurve
Kurze Umsetzungszeiten
Einfacher zu warten
Erhöht die Produktivität der Entwicklung
ODI Deklaratives Design
Define How: Knowledge Modules
Define
What You Want
Automatically
Generate
Dataflow
1 2
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. 11
Knowledge Module Native Code-Templates für die zu integrierenden Technologien
Reverse Engineer Metadata
Journalize (CDC)
Load from Source to Staging
Check Constraint
Integrate, Transform
Data Service
Pluggable Knowledge Modules Architecture
Vorteile dieser
Architektur
Schnelle Entwicklung und Verwaltung über Templates
Einfach zu erweitern und auf unternehmenseigene Verfahren anpassbar
Vorhersehbare /Berechenbare Aufwände
Vorgefertigte Knowledge Module (100+)
Non-Oracle Teradata Hadoop IBM DB2 SQL Server SAP ABAP JMS Sybase NoSQL
Oracle Oracle
Spatial GoldenGate
Oracle
Utilities Siebel CRM
Oracle
DBLINK
Oracle
Web Services
E-Business
Suite Oracle Merge
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. 12
Erweiterte Konnektivität
Heterogene Quell-/Ziel-RDBMS:
Optimierungen für IBM DB2, Microsoft
SQL Server, Teradata etc.
Nutzt Oracle optimal: Merge, Spatial,
Multi-Table Insert, Optimizer Hints …
Real-Time: CDC mit GoldenGate
Applikationen: E-Business Suite,
Siebel, PeopleSoft, JD Edwards
Enterprise One, JD Edwards World,
SAP ERP and SAP BW
Big Data: Hadoop Unterstützung
Unterstützt vorhandene IT und führt zur schnellen Implementierung
Databases
Applications
Legacy
Unstructured
JMS
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. 13
Oracle Data Integrator Architektur
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. 15
Desktop
Repositories
ODI Studio
Operator
Designer
Topology
Security
ODI Master
Repository ODI Work
Repository
Sources and Targets
Legacy Applications
ERP/CRM/PLM/SCM
Files /
XML
DBMS DW / BI / EPM
JVM
Java EE
Application
n ODI SDK
WebLogic 12c / Application Server
Data Sources Connection Pool
WebService Container
Public
WS
Data
Services
FMW Console ODI Plug-in
Servlet Container
ODI
Console
Java EE
Application
ODI SDK Java EE
Agent
Management
Famework
Standalone
Agent
Open Web Services
for decoupled
invocation of any
ODI jobs
Heterogeneous
access
SDK APIs for Java
generation of any
ODI system
metadata
Metadata is an open
relational model with
built-in Flexfields
Open Tools for
adding OS
functionality to any
ELT/ETL job
Enterprise Manager
Cloud Control 12c
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. 16
Beispiel eines Repository Setup
Models
Projects
Execution
Work Repository
(Development)
Models
Projects
Execution
Work Repository
(Test & QA)
Execution
Execution Repository
(Production)
Security
Topology
Versioning
Master
Repository
Erstellen und archivieren der
Versionen der Models, Projects
und Szenarien
Importieren freigegebener
Versionen für den Test
Importieren freigegebener und
getesteter Versionen der Produktions-
Szenarien
Development – Test – Production Cycle
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. 17
ODI für den unternehmensweiten Einsatz Bewährte Datenintegrationsplattform
Skalierbar
• Skaliert linear auf jedem RDBMS ohne ETL-spezifische Hardware
Hoch-Verfügbar
• Clustering, Load Balancing
Sicher
• Integration mit den führenden Identity Management Lösungen
Engineered Systems „ready“
• Zertifiziert für Exadata, Exalogic und die Big Data Appliances
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. 19
Statement of Direction
Oracle Data Integrator ist das strategische ELT/ETL Werkzeug von Oracle
Statement of Direction: http://www.oracle.com/us/products/middleware/data-
integration/odi-statement-of-direction-1922235.pdf
Bestehende OWB Kunden werden NICHT zur Migration gezwungen
Oracle bietet “Lifetime Support” – “Sustaining Support”
Oracle Data Integrator 12c unterstützt eine Migration in Phasen
Ausführen und Überwachung bestehender OWB 11gR2 Jobs von ODI 12c
Konvertierung bestehender OWB 11gR2 Objekte in die ODI Äquivalente mit dem
Migration Utility
Neue Entwicklungen mit ODI 12c starten
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. 20
OWB Support Policies Lifetime Sustaining Support für OWB Kunden
Release GA Date
Premier
Support Ends
Extended
Support Ends
Sustaining
Support Ends
OWB 9.2 Jul 2003 Oct 2007 Not Available Oct 2010
OWB 10.1 Apr 2004 Jul 2007 Not Available Jul 2010
OWB 10.2 Jul 2005 Jul 2010 Jul 2013 Indefinite
OWB 11.1 Aug 2007 Aug 2012 Aug 2015 Indefinite
OWB 11.2 Sep 2009 Jan 2015 Jan 2018 Indefinite
Mehr Informationen zu den Support Levels:
http://www.oracle.com/us/support/lifetime-support/index.html
OWB Support Policies:
http://www.oracle.com/us/support/library/lifetime-support-technology-069183.pdf
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. 21
Migration Utility
Unterstützte Versionen
OWB 11.2.0.3/4 nach ODI 12c
ODI EE Lizenz notwendig
Migration der ETL-Design Metadaten
Daten Objekte
Mappings, etc.
Separates Command Line Utility
Nutzt OWB SDK und ODI SDK
Überblick
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. 22
Migration Utility
Notwendige Patches:
OWB: #17830453
ODI: #17053768
Beide verfügbar über My Oracle Support
Unterstüzte Systeme: Windows 64-bit and Linux 64-bit
ODI Dokumentation hält Migrationshandbuch bereit
Voraussetzungen
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. 23
Migrationsobjekte
Module und Locations
Datenobjekte
Table (Columns, Keys, Indexes)
View (Columns, Keys)
Materialized View (Columns, Keys, Indexes)
External Table (Columns)
File (Records, Fields)
Sequence
Unterstützte OWB Design Metadaten
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. 24
Migrationsobjekte
Mappings
Klassische Mappings, Code Template Mappings, Pluggable Mappings
Fast alle Mapping Operatoren
Aggregator, Constant, Deduplicator
Expression, External Table, Filter
Flat File, Joiner, Key Lookup
Mapping Input Parameter, Materialized View, Pivot
Pre/Post Mapping Process, Sequence, Set
Sorter, Splitter, Subquery
Table, Table Function, Transformation
Unpivot, View
Unterstützte OWB Design Metadaten
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. 25
Migrationsobjekte
Process Flows
Dimensional Modeling Metadaten
Oracle Discoverer und OBIEE Metadaten
Data Quality Komponenten
Custom PL/SQL
OMB*Plus Skripte
OWB Experts
Nicht unterstützte OWB Design Metadaten (Auszug)
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. 26
ODI bezogene Neuerungen
Neue Komponenten
Pivot
Unpivot
Table Function
Subquery
Verbesserung für bestehende ODI Objekte
Variable
Sequenz (Unterstützung für CURRVAL)
Lookup
Oracle Knowledge Modules
Bestandteil des ODI Migrations-Patches
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. 27
Migration Utility Syntax und Optionen
Kommando:
>$OWBHOME/bin/unix/migration.sh <odi_master_repos_pwd>
<odi_user_pwd> <owb_wksp_owner_pwd> <config_file>
Konfigurationsdatei
Verbindungsinformationen zu OWB und ODI
OWB Design Metadaten benennen
Migrationsoptionen
3 Laufzeitmodi:
Fast Check, Dry Run, Run
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. 29
Data Integration Community
twitter.com/ORCLGoldenGate
facebook.com/OracleDataIntegration
Data Integration YouTube channel
youtube.com/oraclegoldengate
Oracle.com/goto/dataintegration
“Oracle Data Integration”
Oracle’s Data Integration blog
blogs.oracle.com/dataintegration
Oracle Data Integrator Books http://www.packtpub.com/oracle-data-integrator-11g-
getting-started/book
http://www.packtpub.com/oracle-data-integrator-11g-
cookbook/book
Recommended