Integracion de datos con oracle golden gate- v3.0 2012

Extreme Training Program Extreme Training Program

Ronald Vargas Q., Oracle ACE Blog: oracledbacr.blogspot.com 3 años, +125.000 visitas

Oracle ACE

Expertise Database Management & Performance Oracle 11g Database Specialist Sales Champion

Oracle Database 11gR2 Sales/PreSales Specialist Assessment Database Security 11gR2 Sales/Presales Specialist Assessment

Oracle Real Application Clusters 11g PreSales Specialist Assessment Oracle Golden Gate Presales Specialist Assessment

Oracle Enterprise Linux Specialist


Integración de Datos con Oracle GoldenGate


Oracle GoldenGate


Oracle GoldenGate

GoldenGate, estrategia de Oracle, como solución de replicación de datos


Posicionamiento Oracle Productos para Alta Disponibilidad,

Escalabilidad, Integración, Protección de datos en ambientes Oracle, Replicación de

datos en ambientes heterogéneos


Oracle GoldenGate Método manual tradicional de replicación

–  Dblinks entre bases de datos –  Vistas materializadas –  Tablas temporales txt –  Triggers –  Jobs para sincronizar VM –  Procedimientos para actualizar TXT –  Verificación actualización VM –  Procedimientos para capturar los inserts, deletes y update –  Cambios en las estructuras y tipos de datos de objetos no se pueden replicar –  Pérdida rendimiento debido al crecimiento en la marca de agua de tablas temporales –  Fallas en el enlace, puede provocar largos tiempos de espera antes de poder tener

replicada la información y por tanto, actualizado los datos.


Oracle GoldenGate ALTER TABLE CONTA.MONEDA ADD(TSTAMP DATE); CREATE OR REPLACE TRIGGER "REPLICACION".MONEDA_CONTA_tstamp BEFORE INSERT OR UPDATE ON CONTA.MONEDA REFERENCING NEW AS NEW OLD AS OLD FOR EACH ROW BEGIN :NEW.tstamp := SYSDATE; END; / ALTER TABLE REPLICACION.ASIENTOS_CHEQUE_TXT ADD(TSTAMP DATE); CREATE OR REPLACE TRIGGER "REPLICACION".TR_ASIENTOS_CHEQUE_CONTA AFTER INSERT OR UPDATE ON SS_ASIENTOS_CHEQUE_CONTA_01 FOR EACH ROW BEGIN INSERT INTO REPLICACION.ASIENTOS_CHEQUE_TXT

( CHEQUE_INTERNO CONSECUTIVO, TIPO_ASIENTO,CTR_CONTABLE,CTA_CONTABLE, FECHA,REFERENCIA, CONTABILIDAD, DEBITO,CREDITO,

NOTEEXISTSFLAG, RECORDDATE,ROWPOINTER,CREATEDBY, CREATEDATE, UPDATEDBY, TSTAMP

) VALUES ( :NEW.CHEQUE_INTERNO :NEW.CONSECUTIVO, :NEW.TIPO_ASIENTO, :NEW.CTR_CONTABLE, :NEW.CTA_CONTABLE, :NEW.FECHA, :NEW.REFERENCIA, :NEW.CONTABILIDAD, :NEW.DEBITO, :NEW.CREDITO, :NEW.NOTEEXISTSFLAG, :NEW.RECORDDATE, :NEW.ROWPOINTER,

:NEW.CREATEDBY, :NEW.CREATEDATE, :NEW.UPDATEDBY, :NEW.TSTAMP ) ;

EXCEPTION WHEN DUP_VAL_ON_INDEX THEN BEGIN

UPDATE REPLICACION.ASIENTOS_CHEQUE_TXT SET TIPO_ASIENTO =:NEW.TIPO_ASIENTO, CTR_CONTABLE =:NEW.CTR_CONTABLE, CTA_CONTABLE =:NEW.CTA_CONTABLE, FECHA =:NEW.FECHA, REFERENCIA =:NEW.REFERENCIA, CONTABILIDAD =:NEW.CONTABILIDAD, DEBITO =:NEW.DEBITO, CREDITO =:NEW.CREDITO, NOTEEXISTSFLAG =:NEW.NOTEEXISTSFLAG, RECORDDATE =:NEW.RECORDDATE, ROWPOINTER =:NEW.ROWPOINTER, CREATEDBY =:NEW.CREATEDBY, CREATEDATE =:NEW.CREATEDATE, UPDATEDBY =:NEW.UPDATEDBY, TSTAMP =:NEW.TSTAMP WHERE CHEQUE_INTERNO =:NEW.CHEQUE_INTERNO AND CONSECUTIVO =:NEW.CONSECUTIVO;

-- EXCEPTION WHEN OTHERS THEN NULL; END; -- WHEN OTHERS THEN NULL; END; /


Productos para Alta Disponibilidad, Escalabilidad, Protección de Datos en ambientes Oracle, replicación en ambientes heterogeneos

User Tablespaces

Flashback Data Archive

Archive Tables Cambios

Select * from orders AS OF ‘Midnight 31-Dec-2003’

Real-time Integration + Bulk Data Transformation

OGG


Oracle Golden Gate


Oracle GoldenGate Es una herramienta complemento para productos existentes en el portafolio de soluciones Oracle, para los campos de:

•  Alta Disponibilidad •  Rendimiento •  Escalabilidad •  Integración


Oracle GoldenGate Diferenciadores

•  Componentes utilizados por diversas bases de datos •  Utilización de mapeo de datos, herramienta ETL •  Heterogéneo •  Manejo de Integridad y Confiabilidad •  Rendimiento y Escalabilidad


Oracle GoldenGate OGG, es una herramienta para soluciones:

•  Fuera de casa •  Soporte de ambientes heterogéneos •  Con excelente base de referencias

OGG, es: •  Más barato para implementar o mantener •  Fácilmente de extender a la organización •  Acceso en tiempo real a los datos •  Confiable, manejo de control de cambios •  Rendimiento de datos críticos en la red


Oracle GoldenGate •  Mejor rendimiento: Replicación Tiempo real/ Solución de

Integración


Oracle GoldenGate •  Query Off-Loading: Para proveer rendimiento

OLTP Reportería

Reportería


Oracle GoldenGate •  Múltiple topología de replicación: uno a muchos,

muchos a muchos, cascada y bidereccional


Oracle GoldenGate


Productos para Alta Disponibilidad, Escalabilidad, Protección de Datos en ambientes Oracle, Heterogeneos o No-‐Oracle


Información en Tiempo Real Acceso para inteligencia de negocios y toma de

decisiones •  Disponibilidad inmediata para reporteo de datos.

•  Acceso a información clave para Análisis •  A traves de Sistemas Heterogeneous

Real-Time Operación Negocio

Clientes Demandan Con@nuamente Datos en Tiempo Real Mientras se mejora los costos de IT y se gana eficiencia operacional

Disponibilidad Continua de Aplicaciones Criticas y Datos

• Sin interrupciones durante mantenimientos planificados

•  Balanceo de carga y distribucción de datos.

Menor IT Acelaración & Mejor Eficacia

•  Eligir el mejor sistema requerido •  Modernización de Sistemas Legados

•  Descarga para Reporteo


Oracle GoldenGate casos de uso Solución para toda la empresa para las necesidades de datos en @empo real

Log Based, Real-‐Time Change Data Capture

Heterogeneous Source Systems

EDW ODS

EDW

Disaster Recovery, Data Protec@on

Zero Down@me Migra@on and Upgrades

Opera@onal Repor@ng

Real-‐@me BI

Standby

(Open & Ac@ve)

Repor@ng

Database OGG ETL

ETL

Query Offloading

Data Distribu@on

•  Estandarización en una Tecnología sencilla para múltiples

necesidades •  Implementación para

Continuidad, Disponibilidad y Acceso de Datos en tiempo real

para reporteo/ BI

• Altamente flexible • Rápida implementación

• DisminuciónTCO y mejor ROI


Propuestas de Valor para Oracle GoldenGate Oracle Golden Gate…


Oracle GoldenGate Diferenciadores Tecnológicos

Rendimiento

Extendible y Flexible

Capacidad

No-intrusivo, Bajo impacto, Lactencia de fracciones de segundo

Abierto, arquitectura modular, origenes y destinos - Heterogeneos

Mantenimiento de integridad transaccional Silencionsamente contra interrupciones y fallas


Oracle Golden Gate Plataforma


Oracle Golden Gate Plataforma

•  Matrix de Cer+ficación para Oracle GoldenGate 11g


Oracle Golden Gate Topología


Oracle GoldenGate Componentes


Oracle GoldenGate comunicación e inicialización


Complementarios y u@lización conjunta Ac@ve Data Guard y GoldenGate

27

•  Enterprise-wide heterogeneous replication •  Zero downtime operations

•  Non-invasive by reading database logs •  Supports active-active scenarios

•  Ensures transactional consistency •  High volume; low latency

•  Guaranteed delivery across wide area networks

Distribucción de Datos /

Sincronización

Oracle GoldenGate

•  Fast failover to physical standby database •  Fastest solution for Oracle

•  Oracle Database only •  Allows standby to be open for reads to leverage

customer investment •  Transparent data protection to repair corrupted

blocks on primary or standby

Recuperación de desatres &

Protección de Datos

Oracle Ac@ve Data Guard

Oracle Ac@ve Data Guard

Oracle DB Primary Oracle DB Standby

Heterogeneous Distributed

Subset Replicas

Oracle GoldenGate


Herramienta para Extracción, Transformación y Carga de datos Oracle GoldenGate


Como hace GoldenGate para mantener la pista a las transacciones en caso de fallo ?

Lo hace a traves del “Change Number”: Por ejemplo, •  Oracle’s SCN, •  MSSQL’s LSN Manejo de control de cambios en OGG El "punto de revisión" interno, de la integridad de GoldenGate, esta basado en un CSN, Commit Sequence Number. Conociendo el CSN le permite recuperarse después un evento de parada o interrupción.


Complementario y uso compar+do Data Integrator Enterprise Edi+on y GoldenGate

Oracle Data Integrator. Es una plataforma de integración de datos completa que incluye todos los requisitos de integración de datos:

–  de gran volumen, –  cargas de alto rendimiento de proceso por lotes, –  Manejo de eventos, –  procesos de filtración de datos para alimentación en integración, –  para habilitar servicios SOA

Oracle Oracle lanza al mercado su nueva integración de datos Productos: Oracle 11 g Integrador de datos y Oracle 11 g GoldenGate.

–  Webcast: 09 de septiembre 2010 a las 10 am PT. / 13:00 ET. –  h?p://www.oracle.com/technetwork/middleware/data-‐integrator/overview/index-‐088329.html


Complementario y uso compar@do Data Integrator Enterprise Edi@on y GoldenGate

31

• Fastest real-‐@me solu@on • Sub-‐second latency for real-‐@me feeds • Guarantee delivery eliminates data loss • Eliminates down-‐@me for migra@on and

upgrades • Least intrusive to source systems • Fácil ELT/ETL para complejas

transformaciones

Integración de datos

en @empo real y replicación

Oracle GoldenGate

• Solución para rápida extración, carga y transformación -‐ E-‐LT Solu@on

• Op@mized SET-‐based transforma@on for high volume transforma@ons

• Data lineage for improved manageability

•  Integrates to Data Quality

Masivo movimiento de datos

Y Transformaciones

Oracle Data Integrator Enterprise Edi@on

Oracle GoldenGate

Oracle Data Integrator Enterprise Edi@on

Real-time Data

E-LT Transformation

Heterogeneous Sources Heterogeneous Targets

Extreme Training Program Extreme Training Program 32

Oracle Data Integrator (con CDC) Oracle GoldenGate

Ambiente Destino §  Non-real-time ETL / Data Warehouse Loading §  SOA use cases

§  Any heterogeneous low-latency requirement §  Bi-directional data synchronization

Tecnología §  Extract database changes periodically as a snapshot

§  Read and propagate a continuous stream of changes from database logs

Beneficios

§  Easy to incorporate into ETL process requiring initial load and incremental updates §  App server-deployed agent §  Complex transformations for typical DW

§  Non-invasive to source database – no shadow tables, no queries §  Captures all history §  Lowest latency

Restricciones §  Out-of-box capture is trigger-based capture for most DB platforms §  Limited to row level transformation

Comparación de Productos Data Integrator Enterprise Edi@on and GoldenGate


Lo nuevo:

Oracle GoldenGate 11g


Oracle GoldenGate 11g Data Integrator Enterprise Edi+on 11g

Para ampliar su liderazgo en la industria de la integración de datos, O r a c l e a n u n c i ó O r a c l e 1 1 g G o l d e n G a t e y Oracle Data Integrator Enterprise Edition 11 g ; las nuevas versiones de los dos productos que forman la base de la línea de productos de integración de datos de Oracle. Los nuevos productos, que son parte de la familia de productos de Oracle Fusion Middleware, ofrecen integración de datos en tiempo real, con una mayor integración con las aplicaciones y tecnologías de Oracle, el apoyo a otros sistemas heterogéneos, y el mejor rendimiento en su categoría.


Oracle GoldenGate 11g Integración más estrecha, compa@bilidad ampliada y un mejor rendimiento

•  Oracle GoldenGate 11g está ahora, certificado para las soluciones operativas de informes sobre las aplicaciones de Oracle como Oracle E-Business Suite, People Soft y Oracle JD Edwards.

•  Oracle GoldenGate 11g con más soporte para nuevos tipos de datos adicionales.

•  O r a c l e G o l d e n G a t e 11 g s e e n c u e n t r a c e r t i f i c a d a c o n Oracle Exadata Database Machine.

•  Oracle GoldenGate 11g también incluye la entrega nativa del nuevo Oracle TimesTen.

•  Oracle GoldenGate 11g soporta la captura basada en el registro para DB2 de IBM, captura de mensajería basada en sistemas de JMS y entrega a IBM DB2 para iSeries.


Oracle GoldenGate 11g Información adicional

http://www.oracle.com/technetwork/middleware/goldengate/overview/

index.html


Documents

Integracion de datos con oracle golden gate- v3.0 2012