1

Informatica MDM

Data Integration Software

2

О компании Informatica#1 Независимый лидер: интеграция данных, качество данных, MDM

• Основана 1993 год

• Выручка 2010 $600+ млн.

• Среднегодовой рост за последние 20% per year5 лет

• Заказчики 4,200+

• 84 of Fortune 100

• 87%+ of Dow Jones

• 10 из 10 крупнейших банков

• Сотрудники 2,125+

Авторизованный дистрибьютор в России и странах СНГ

Data Integration Software

$150

$200

$250

$300

$350

$400

$450

$500

$550

$600

$650

2005 2006 2007 2008 2009 2010

3

О компании Data Integration Software

• Data Integration Software (www.data-integration.ru) – авторизованный

дистрибьютор корпорации Informatica в России и странах СНГ.

• С 2005 года компания Data Integration Software продвигает для заказчиков и

партнеров в России и странах СНГ лидирующую промышленную

платформу Informatica.

• Data Integration Software – является частью израильской компании Aman

Computers (www.aman.co.il) – крупнейшего в Израиле поставщика IT-

решений, основанного в 1972 году.

• Заказчиками Data Integration Software являются крупнейшие компании

России и стран СНГ в различных отраслях экономики.

• В Партнерскую сеть компании Data Integration Software входит свыше 20

ведущих ИТ-компаний России и стран СНГ.

• Головной офис компании находится в г. Москва. С 2010 работает офис в г.

Алматы, Казахстан.

4

Крупнейшие компании России и СНГ

выбирают Informatica

5

InformaticaПроверенная технология лидерства

B2B Data Exchange

Informatica supports the requirements

of cross-organizational data

exchange, so users apply familiar &

trusted data integration tools and

techniques to the growing practice of

B2B data integration.

Application ILM

Informatica was assessed as having the

largest share, more than 33 percent, in

packaged applications for database

archiving based on number of customers

for 2007 by Gartner, Inc. in a research

report released October 13, 2008

Complex Events Processing

Major differentiator is that it does not

just wait for events to come to it but it

can go out and get them for itself.

Provides agents to gather events from

front-office databases & applications as

well as receiving directly from relevant

feeds

Master Data Management

Cloud Data Integration

“Informatica’s mission to integrate data

from business to business… meets a

need of many companies…Others in

this market (including IBM, Microsoft

and Oracle) have not yet pursued this

progressive use of data integration”

Enterprise Data Integration Data QualityForrester Wave IaaS

6

Application Partner Data

SWIFT NACHA HIPAA …

Cloud Computing Unstructured

Подход Informatica Всеобъемлющая, Единая, Открытая, Экономичная платформа

Database

Data Warehouse

DataMigration

Test DataManagement& Archiving

Master DataManagement

Data Synchronization

B2B Data

Exchange

Data

Consolidation

ComplexEvent

Processing

Ultra

Messaging

7

Проблема управления информацией

Application LegacyCloud Computing Unstructured

КЛИЕНТ ПРОДУКТ

КЛИЕНТМЕСТО

Third Party Data

ЗАКАЗ МЕСТО

ЗАКАЗПРОДУКТ

КЛИЕНТ ПРОДУКТ

КЛИЕНТМЕСТО

ЗАКАЗ ЗАКАЗ

МЕСТОПРОДУКТ

Управление

данными

(Data

Governance)

?

Нет “одной

версии

правды”

Анализ РисковПродажиДоходность и

привлекательность

клиента

Соответствие требованиям

Клиентский менеджмент

8

Улучшение критических бизнес-процессов с Multidomain MDM

Повышение

эффективности

и

снижение

затрат

Приобретение

и

удерживание

клиентов

Соответствие

требованиям

и

управление

рисками

Слияния,

поглощения

и

разделения

MDM Hub

КЛИЕНТ

СЧЕТ

ПРОДУКТ

ДОГОВОР

Повышение

качества

принятия

решений

Application LegacyCloud Computing Unstructured Third Party Data

9

Управление мастер-

данными всего

предприятия

MDM hub для

специфической области

(клиенты, продукты)

Точность, cоответствие,

полнота, валидация,

дедубликация…

Понимание данных и основных

проблем качества.

Возможности интеграции

мастер-данных между

приложениями

Модель зрелости MDM по FORRESTER

Интеграция

Профилирование

и оценка

Качество данных

MDM Hub для

выделенной области

MDM стратегия

всего предприятия

1

2

3

4

5

10

Платформа Informatica в проектах MDM

Операционные

Аналитические

Legacy Systems

Хранилище данных

Витрины данных

Portal/ Dashboard

Business Intelligence

Унаследованные приложения

Приложения

Приложения

Унаследованные приложения

Внешниеданные

Master Data Management

Основа MDM - проектов

Своевременные, надежные, релевантныеМастер Данные

Своевременные, надежные, релевантные

Данные

Data

Quality

Data

Profiling

Data

Integration

Data

Services

2 3 5

Master

Data

Management

4

1

11

•Подключения к самым различным

источникам и приемникам

•Трансформации любой сложности,

включающие алгоритмы обеспечения

качества

•Масштабирование, производительность,

отказоустойчивость в промышленных

масштабах

•Работа в любых режимах, в т.ч. в

реальном времени, режиме web-сервиса,

пакетном режиме

•Простота разработки и поддержки

•Управление метаданными и наглядность

метаданных

•Методология ведения интеграционных

проектов

…не только

ETL

Современная

промышленная

платформа

интеграции

Informatica PowerCenter – базовый компонент платформы

- интеграция данных

12

Informatica PowerCenter (интерфейс разработчика)

• Визуализация процесса построения

правил обработки данных

• Отсутствие программирования

13

PowerExchangeУниверсальный доступ к данным

Корпоративные

приложения,

Software as a

Service (SaaS)

JDE EnterpriseOne

JDE World

Lotus Notes

Oracle E-Business Suite ✔

PeopleSoft Enterprise

Salesforce (salesforce.com) ✔SAP NetWeaver ✔SAP NetWeaver BI ✔

SAS

Siebel

Базы данных, OLAP

Adabas for UNIX, Windows

C-ISAM

DB2 for LUW ✔Essbase

HP Neoview

Informix Dynamic Server

Netezza Performance Server

ODBC

Oracle ✔SQL Server ✔Sybase

Teradata

Системы обмена

сообщениями

JMS ✔MSMQ ✔

TIBCO ✔webMethods Broker ✔

WebSphere MQ ✔

Технологи-ческие

стандарты

Email (POP, IMAP)

HTTP(S) ✔LDAP ✔Web Services ✔

XML

Мейнфреймы

Adabas for z/OS ✔Datacom ✔DB2 for z/OS, z/Linux✔

IDMS ✔IMS DB ✔Oracle for z/Linux ✔

Teradata

WebSphere MQ for z/Linux ✔VSAM ✔

Midrange Binary Flat Files DB2 for i5/OS ✔

✔- доступна возможность интеграции в реальном времени или извлечение

инкремента по логам СУБД (Change Data Capture)

14

B2B Data Exchange / Transformation Интеграция любых сложных данных

Поддержка любых видов данных:

• Структурированные

• Неструктурированные

(Word, Excel, текст, PDF, …)

• Индустриальные стандарты

(SWIFT, EDIFACT, HIPAA, …)

• Сложные XML-файлы

• Собственные форматы

Использование

• Без программирования

• На основе примера файла

• Прямая интеграция с PowerCenter

15

Пример разбора неструктурированных файлов

16

• Обработка данных, требующих синтаксического разбора:

• Имена ,Адреса,Телефоны

• Товарные номенклатуры

• Паспортные данные,Налоговые номера

• Банковские реквизиты

• Любая другая информация

• Стандартизация и проверка данных (в т.ч. по эталонным словарям)

• Очистка данных

• Сравнение и поиск дубликатов записей вероятностными методами

• Профилирование данных

• Мониторинг качества данных, в том числе проактивный (оповещение о событиях)

• Совместная работа бизнеса и IT

• Работа в составе платформы Informatica, интеграция с другими решениями

Informatica Data Quality

IT and Business Collaboration

via Integrated Tools

Data

Quality

Rules

17

Пример: Стандартизация и обогащение адресов

Полный адрес Индекс

Город_

преф Город Ул_преф Улица Дом

111111, город Москва,

Красная пл.,д.1 109012 г Москва пл Красная 1

г.С.-Петербург,Невский

проспект,10 191186 г

Санкт-

Петербург пр-кт Невский 10

Москва Тверская 20 125009 г Москва ул Тверская 20

1-го мая,село Никитовка,

д.10 309905 с Никитовка ул 1 мая 10

Москва г., Tcatskaya

ул,д.38,321456 105187 г Москва ул Ткацкая 38

До очистки После очистки

18

Консолидация данных и устранение дубликатов

• Выявление дубликатов записей по строгим правилам –точное соответствие значений

• Оценка совпадения записей между собой с использованием вероятностной логики

• Применение «нечеткой» логики для определения дубликатов с помощью Identity Resolution (Identity Match Option) с высочайшей производительностью

• Идентификация связей между записями вне зависимости от их источника

• Автоматическое создание мастер-записи из числа дубликатов и сохранение в системе-приемнике

• Использование web-клиента для ручных операций при невозможности разобрать или унифицировать записи автоматически

19

Informatica MDMПроверенное мультидоменное MDM решение

Предоставляет единый взгляд на критически

важные данные о клиентах и продуктах и

любых других сущностях, обеспечивая в

результате успешность бизнеса, отношений с

клиентами, усилий по соответствию

требованиям при минимизации затрат

• Достижения основанные на реальных внедрениях

• Быстрое внедрение средний срок : 3-6 месяцев

• Масштабируемость пример решения: 450M записей

• Мультидоменное решениеПочти 50% заказчиков работает как с клиентами так и с продуктами на одной платформе.

Внедрение и применение

• Различные индустрии: финансы, High Tech, производство…

• Более 50% заказчиков –компании из Fortune 500 иGlobal 500

Merrill Lynch, Deutsche Bank, Johnson & Johnson, Pfizer, Apple, Kodak, Cadbury, …

• 25+ типов решений в различных отраслях

Рынок

20

Карта функциональности решения

Data

Integration

Data

Quality

Master

Data

Management

Hub

ЗагрузкаAll Data

SourcesBatch or

Real-time

All Data

FormatsLanding

Delta Detection

Исследование Data Quality

DashboardDiscovery

Модель

Single or

Multidomain

Customer Product

Content

HistoryLineage

X-ref

Rules

MatchSurvivorshipValidation

Metadata & Rules

Security

UI & Web

Services

Выявление

дублей

консолидация,

связи

FuzzyMatching/Linking

Global Match Population

Merge/

Unmerge

Trust Framework

Party& Product

Party ProductRelate

Качество

Country based

Advanced

Cleansing & Parsing

Address

Standardization

Validation, Cleansing & Standardization

Reject MgtX

Доставка

потребителям

Data Services / Federate

Event Management

Data Controls

Services Integration Framework

Интерактивное

Управление

(Informatica

Data Director) Tasks Management

(e.g. Approvals)

Hierarchy Management

Audit & History

Monitoring & Scorecard

Metadata Management & Business Glossary

Data Validation

Data Search& Entry

Reports

Workflow

BPM

Data

Services

21

Моделирование доменов данных любых

типов:

• Множество типов доменов данных

(Клиенты/Объединения, Продукты & Услуги,

договора, подразделения, каналы

распространения, финансы/бухгалтерия,

имущество, справочники)

• Сложность модели лимитируется только

бизнес-потребностями, соответственно

достигается быстрое внедрение и легкость в

поддержке.

• Метаданные хранят всю историю, взаимосвязи

и перекрестные ссылки

Модель данных

22

Точное распознавание и идентификация

клиента (или другого домена) во

множестве систем:

• Идентификация кандидатов для сопоставления,

основанная на конфигурируемых правилах

• Высокая скорость и эффективность

идентификации с использованием механизмов

нечеткой логики

• Определение сопоставленных/не-сопоставленных

записей основанное на указанных пользователем

пороговых значениях.

• Передача спорных случаев на ручную обработку

Распознавание, Идентификация, Выявление потенциальных дубликатов

RECOGNIZE

Александр

КорейкоА.Корейко

XREFXREF

23

Разрешение конфликтов и консолидация

RESOLVE

А. Корейко Александр

Корейко

ERPCRM

Разрешение конфликтов данных и

консолидация данных из различных систем в

надежную достоверную единую “версию

правды”.

• При необходимости похожие записи, сливаются

в “золотую запись”

• Наиболее достоверные АТРИБУТЫ для каждой

итоговой записи выбираются на уровне полей

(ячеек) исходных записей, в соответствии с

конфигурируемыми правилами

• Возможность учесть влияние времени

происхождения при установке уровня доверия

• Вся история и данные о происхождении

сохраняютсяАлександр

Иванович Корейко

XREF

24

Установка связей, зависимостей, иерархий

Установка связей и построение иерархий

между людьми, местоположением,

продуктами, организациями из различных

источников

•Сведение вместе взаимосвязей из различных

приложений и систем

•Создание и управление множеством типов

связей и иерархий для различных целей.

•Поддержка всей истории о данных,

происхождении, взаимосвязях и иерархиях

RELATE

А.Корейко З.Синицкая

ООО Геркулес

Работает в

Жена

XREF

Александо

Иванович Корейко

25

Informatica Data Director: визуальное создание, использование, управление и мониторинг данных

•Создание и поддержка высококачественных мастер-

данных.

•Проактивная валидация, пополнение и обогащение

данных

•Согласование данных и совместная работа разных

направлений бизнеса

•Поиск по всем мастер-данным из центрального

расположения

•Детальный просмотр мастер-данных и иерархий

•Быстрое определение потенциальных дублей

•Слияние дубликатов и управление иерархиями

•Использование назначаемых задач для

упорядочивания процесса управления данными

•Отслеживание происхождения и истории данных

•Отслеживание изменений и истории иерархий

•Аудит мастер-данных

Data Director for Business User

MultidomainMaster Data

Create

Consume

Manage

Monitor

26

Informatica MDMтехнические подробности

27

Приложения

Web-based Consoles

• Firefox, IE

Аналитические приложения. Операционные приложения

Data Warehouse Marketing Sales Call Center Financial Portal CompositeBIInformatica Data

Director

Источники

Уровень

пользовательского

интерфейса

(конфиг., админ.)

Java Swing Consoles

Уровень сервера

приложенийApplication Server

• Oracle WebLogic, IBM

WebSphere, jBoss

Operating Systems

• AIX, HP-UX, Linux (SUSE & Red

Hat), Solaris, Windows

Уровень СУБДRDBMS

• Oracle 10g, 11g

• DB2 UDB

Operating Systems

• AIX, HP-UX, Linux (SUSE & Red

Hat), Solaris. Windows

XML,Web

Services,EJB

Внутренние данныеВнешние данные

ETL,SQL

АБС 1 Siebel CIF АБС 2 OnlineКлассификаторыКЛАДР

Архитектура Informatica MDM и поддерживаемые платформы

Data

Management

Design

Time

Admin Sys

Management

Hub Server (Services Integration Framework)

Cleanse & Match

Server

Activity

Server

Master Reference

Server

Hierarchy

Server

Security Access Manager

Hub StoreGlobal ID

Cross-reference Keys

Master Records

Cleanse, Validation, Match and Merge Rules

Trust Metadata

History and Lineage

Bus. Data Director

Server

Управление данными

28

Security Access Manager (SAM)

Интеграция с внешними приложениямиServices Integration Framework (SIF)

Интерфейсы доступа

Внешние приложения

Portal Oracle SAP SiebelCompositeLegacy

(DesignTime)

Services& EventsGenerator

Get Customer

Get Name Get Address

NewCustomer Profile

NameChange

NewAddress

Multidomain

MDM Hub

Business EventsBusiness Services

Schema SpecificServices

GenericServices

Data EventsData Services

Synchronous / Asynchronous (EJB, SOAP, HTTP, JMS)

SIF

Bus. Data Director

Process Services

29

Trust FrameworkTM

Sources(Reference or Relationship Data)

Consumers(Master Reference or Relationship Data)

Data Source

ETL

Msg Queue/

Services

Landing

Data Source

Application

Data Warehouse

Rule-based Configuration Tools

Consolidation Process

Target Data Model

Metadata

Auto Merge

Match

Manual Merge

Un-Merge

Insert/

Update

Insert/

Update

New

Name

Product

Address

Dynamic

Cell-Level

Survivorship

Msg Queue

Queued for

Merging

Queued for

MatchingRaw Reject

Staging

Application

Management

Rules

Hierarchy

Validation

State Mgmt

Workflow

Event Trigger

Content

History

Lineage

X Ref

Trust Score

Audit

Events

Потоки данных

f(x)

f(x)

f(x)

Mappings

Transformation and

Cleansing

f(x)

Apply Trust and

Validation

Apply Trust and

Validation

Data Integration

Data Profiling

Data Integration

Mapping Services

Transformation and

Cleansing

30

Конфигурация и Кастомизация

Большая часть работы выполняется в режиме КОНФИГУРАЦИИ

Administration console

Моделирование

Безопасность

Маппинги

Очистка / Валидация

Доверие

Выявление дублей/ Консолидация

SIF, Messaging & Batch integrations

User Interface (Informatica Data Director) Configuration web console

Конфигурирование интерфейса (UI Layout)

Назначение задач

Очистка и валидация в реальном времени

31

Конфигурация и Кастомизация

Существующий функционал может быть расширен (кастомизирован)

Специфические функции

Повторное использование существующих сервисов

Использование платформы качества данных уровня предприятия

Коннекторы (Informatica DQ, Address Doctor, Lombardi BPM)

Документированный API Framework для custom Java классов

Композитные сервисы

Кастомизированные пакетные загрузки

User exits

Сложные бизнес-правила или правила валидации при сохранении, объединении, удалении и т.д.

Custom Database Stored Procedures или Custom Java Classes на основе integration framework

Пользовательский интерфейс

Дополнительные закладки с custom логикой

Дополнительные кнопки действий

Встраивание внешнего web-контента

32

Environment B

Oracle

(RAC)

REDO

Log files

Запланированные простоирешение Zero DownTime Upgrade

MDM Hub Runtime

Environment A

ServicesCustom Data-

fix scripts

Data

Content

Metadata

• Dynamic Content Metadata

Backfill

• Virtual FK support

• Virtualized schema changes

MDM HA Admin

MET

Replication

Config.

Generator

Data

Replication

Controller

Golden Gate

MDM HA Components

Golden Gate Components

Process

Replication

Controller

Customer Upgrade Process Control

Messaging

Infrastructure

Configuration

Settings

Batch

Oracle

(RAC)

REDO

Log files

Configuration

Settings

Data Pump (PORA)

Extract (EORA)

Replay (RORA)

Data Pump (PORA)

Extract (EORA)

Replay (RORA)

33

ПроизводительностьНезависимый тест IBM Innovation Center

150 миллионов клиентов

300 миллионов счетов

300 виртуальных пользователей

1104 транзакций в секунду

4 миллиона транзакций в час

Близкая к линейной масштабируемость при увеличении процессоров на уровне

сервера приложений и БД

Время задержки от 114 до 216 миллисекунд при различных тестах

IBM P570 1,9 GHZ (от 2 до 16 CPU на сервере приложений и сервере СУБД)

Примеры из реальной жизни

Merrill Lynch

>160M записей

AstraZeneca

>50M записей

34

Informatica MDMпримеры интерфейсов

35

Administration Console Конфигурация и администрирование

36

Примеры визуальных интерфейсов -Informatica MDM - поиск

37

Примеры визуальных интерфейсов Informatica MDM – просмотр и редактирование

38

Примеры визуальных интерфейсов Informatica MDM – потенциальные дубли

39

Примеры визуальных интерфейсов Informatica MDM – визуальные панели

40

Пример Informatica MDM: Расширенное представление сущности(клиент, продукт и т.д.) с выявлением взаимосвязей и иерархий

41

Пример Informatica MDM: Расширенное представление связей и иерархий сущности на n-уровней в Informatica MDM

42

Опциональная возможность интеграции визуальных

компонент в любые существующие приложения:Пример – Hierarchy Component, интегрированный в портал

43

Informatica MDM – примеры внедрений

44

Пример о клиентах: Фокус на клиента и три ключевых представления о клиенте c Informatica MDM

Extended Customer ViewSingle Customer View +

Продукты и Услуги + Полезная

информация о семье, организационных,

деловых, трудовых отношениях и т.д.

360 Customer View Single Customer View +

Продукты и Услуги

Семейные

отношения

Расширенные

семейные

отношения

Деловые,

трудовые

отношения

Организационные

отношения,

аффилированность

Брокер

Финансовый

аналитик

Spouse

Child 1

Child 2

Child 3

A

D

B

F

B

E

B

H

B

Father

Mother

B

G

B

I

Single

Customer View

Полное, точное и

согласованное

представление

клиентских данных

А.И. Корейко

Александр Иванович

Корейко

А. Корейко

Александр

Корейко

Alex

Koreyko

47

Обеспечение

цепочки

от заказа

до оплаты

Управление

данными

и

соответствие

требованиям

Оценка

ценности

клиентов

Слияния

и

поглощения

Управление

распростра

нением

(дистрибуция)

Выявление

рисков

безопасности

Анализ

охвата

клиентов

Значительное

снижение времени

организации новых

каналов.

Исключение

конфликтов между

каналами

распространения

Связь иерархий каналов

распространения с иерархиями

клиентов

Создание “золотых

записей” для финансовых

инструментов и контрагентов

Единый взгляд

на заказчиков,

членство в

медицинских

группах, сети

поставщиков &

госпитали

Повышение

продуктивности

25 000

финансовых

консультантов

на 30%. Годовая

экономия > $50M

Единый взгляд на заказчиков, продукты, домашние хозяйства

(households) & коммерческие

взаимоотношения

Единый взгляд на

заказчиков, каналы

дистрибуции, продукты

Точное понимание

охвата клиентов

по расположению.

Улучшение

выявления новых

клиентов.

Консолидаци

я заказчиков,

продуктов и

поставщиков

$9M

дополнительно в

продажах;

$3M экономия в

затратах;

$1.5M экономия

при M&A

Стандартизация

процессов для

медицинского

оборудования,

фармацевтически

х подразделений.

Повышение

лояльности

клиентов

Единый взгляд

на заказчиков,

продукты,

продажи, цены

Заказчики Informatica MDMПроверенное решение Multi-domain MDM

Создание

обязательной

отчетности по

каждому

медицинскому

профессионалу/уч

реждению

Точное

определение

рисков при

работе с

юридическими

лицами

48

Ключевые преимущества• Проверенное в ведущих мировых компаниях решение (Merrill

Lynch, Deutsche Bank, Apple, Pfizer, Johnson& Johnson, Societe Generale и т.д.)

• Комплексный подход – любые потребности проекта на одной платформе, в т.ч:

• интеграция данных.;

• контроль и обеспечение качества данных;

• управление мастер-данными;

• Любые домены (клиенты, продукты, сотрудники, каналы продаж,референсные таблицы и т.д.) на одной платформе.

• Любые типы применения (операционный, аналитический) при любых сценариях управления

• Производительность и обеспечение любых сценариев масштабирования, возможность эффективно обрабатывать любые объемы данных

49

Ключевые преимущества (2)

• Развитие решения вендором и серьезные

инвестиции в решение, регулярные обновления,

четкие планы развития

• Офис разработки Informatica MDM в России (Санкт-

Петербург)

• Фокус решения на уникальные потребности

заказчика, легкость конфигурирования, изменения и

масштабирования под меняющиеся требования

бизнеса

• Значимые для бизнеса результаты в короткие сроки

58