Upload
others
View
24
Download
0
Embed Size (px)
Citation preview
© Hitachi Vantara Corporation 2018. All Rights Reserved© Hitachi Vantara Corporation 2018. All Rights Reserved
Извлечение инсайтов из данных
Ирина Яхина
Director – Data Intelligence Technical Experts EMEA
© Hitachi Vantara Corporation 2018. All Rights Reserved
Единая аналитическая платформа
Интеграция данных и Big Data
Традиционный ETL
Интеграция структурированных и неструктурированных данных
Очистка и обогащение
Работа с NoSQLбазами данных и Hadoop
ELT Pushdown и оркестрированиеSpark
Визуализация и
анализ
Визуализация и OLAP-анализ
Построение инфопанелей и отчётности
Встраивание аналитики, API
Моделирование и
Прогнозирование
Решение задач продвинутой аналитики и Data Mining
Интеграция с R, Python Включение аналитических
блоков в поток обработки данных (операционная аналитика)
© Hitachi Vantara Corporation 2018. All Rights Reserved© Hitachi Vantara Corporation 2017. All Rights Reserved
Подготовка данных и аналитики по модели самообслуживания
• Встраивание в порталы
• Аналитика по требованию
• Инфопанели• Оперативные
отчёты
• Менеджеры• Аналитики• Конечные
пользователи
BIG DATA
NOSQL
Big Data
Cloud/SocialEL (сбор данных)
Pentaho Data Integration
Network Data
Location Data
Web
Social Media
ТРАДИЦИОННЫЕ ИСТОЧНИКИ
Files
Cloud/Social
EnterpriseТрадиционный ETL
Pentaho Data Integration
ERP
CRM
Billing
ETLPentaho Data
Integration
Аналитические СУБДETL
Pentaho Data Integration
КХД Витрины данных
ETLPentaho Data
Integration
Возможности применения Pentaho
Машинное обучение
Песочницы Hadoop
NoSQL
Transform
© Hitachi Vantara Corporation 2018. All Rights Reserved
Страховая: Витрина убыточности автострахования
- Огромный объем исторических данных, десятки терабайт - Pentaho DI
позволяют загружать большие объемы при минимальной нагрузке на
операционные или отчетные системы.
- Необходима минимальная нагрузка на системы источники - Нагрузка на
хост не превышает среднестатистические показатели.
- Возможность анализа данных в различных разрезах для определения
причин убыточности
- Единая модель данных для бизнеса
- Согласованные данные из 4х систем в одной витрине
- Простая схема данных не требующая знаний SQL аналитиками
- Анализ рисков, премий, убытков в разрезе года, месяца, дня
- Можно получить отчет на дату в прошлом, позволяет строить тренды
© Hitachi Vantara Corporation 2018. All Rights Reserved
Анализ прибыльности/убытков по маркам и типам страхования
© Hitachi Vantara Corporation 2018. All Rights Reserved6
Анализ по возрасту покупателей
© Hitachi Vantara Corporation 2018. All Rights Reserved7
Обнаружено мошенничество!
© Hitachi Vantara Corporation 2018. All Rights Reserved
Аналитики без разработчиков в банк: борьба с мошенничеством
- Экономический эффект огромен - аналитика Pentaho повышает
производительность отдела в 3-5 раз
- Специальная (self-service) аналитика - Модель Pentaho Bussiness Analytics
эффективно ее используется
- Подключение к десяткам источникам - базы данных, кластеры и ресурсы
Hadoop.
- Источники с часто изменяющимися форматами данных (форматы ЦБ РФ) -
Конфигурация через метаданные и не требует изменения ETL кода клиентом.
- Аналитики без разработчиков – обучение, семинары и поддержка.
© Hitachi Vantara Corporation 2018. All Rights Reserved
Банк: Кредитный конвейер
- Решение обрабатывает 500 тысяч XML сообщений кредитного конвейера
банка, готовит аналитическую витрину
- Миллиарды записей ежедневно
- Pentaho Data Integration позволяет использовать все ресурсы кластера
Hadoop развернутого в банке.
- Pentaho позволяет максимально оптимизировать ETL код, чтобы
удовлетворить требования крупнейших банков.
- Часто изменяющейся формат данных - автоматическое определение
изменения формата данных и регистрирация их
- Персонал отдела не обладает навыками разработчика - ETL код
разработан с учетом возможности добавлять и заполнять новые витрины
данных.
© Hitachi Vantara Corporation 2018. All Rights Reserved
Решение Хитачи Вантара
- Self – service аналитика –
оперативная работа аналитиков
без вовлечения разработчиков
- Прекрасная работа с большими
данными – не зависимо от
размера или количества записей
- Опыт на российском рынке с
учетом специфичных требований
регуляторов
© Hitachi Vantara Corporation 2018. All Rights Reserved