SAP Sybase IQ

Инновации в инфраструктурных компонентах систем бизнес- анализа и хранилищ данных

Юрий Белоус Технический директор Sybase CIS 05.12.2012

Архитектура BI Отчётность

ETL / Репликация

Universe

Хранилище данных Витрина данных

NLS для HANA

Оперативные системы

Sybase Replication Server RTL

Sybase Power Designer

Sybase IQ

Sybase Replication Server RTL

Sybase Power Designer

Mobile BI

Afaria Afaria

SUP SUP

SAP Sybase IQ

Sybase IQ – это специализированная аналитическая СУБД, которая изначально спроектирована для задач быстрого анализа больших объёмов данных и построения любой отчетности с использованием стандартного аппаратного обеспечения и операционных систем.

• С самого начала создавалась как СУБД для аналитики, а не для OLTP, как большинство СУБД на сегодня

• Очень высокая скорость выполнения запросов

• Максимальное использование возможностей аппаратных платформ

• Уникальная структура хранения данных по колонкам и набор патентованных индексов делают IQ лидером по показателю цена/производительность среди решений для аналитики

SAP Sybase IQ

Sybase IQ – это … Обычная база данных (почти ), с обычными таблицами Таблицы имеют колонки Для ускорения запросов к данным используются «индексы»

Нет привязки к какой-то схеме базы данных Звезда/Снежинка Реляционная a-la 3НФ Плоская (Очень Широкие таблицы без потери производительности)

Стандартные элементы как в любой СУБД Хранимые процедуры, представления (Views), стандартный SQL Управление пользователями, группами Резервное копирование базы, восстановление Многопользовательский режим работы с данными

SAP Sybase IQ – “Снаружи”

• Данные хранятся по КОЛОНКАМ, а не по СТРОКАМ (как партиции по колонкам)

• Каждая КОЛОНКА так же и ИНДЕКС

• Плюс отдельные специализированные индексы (9 ТИПОВ индексов), 6 типов JOIN

• Индексируется ДО запросов (полная поддержка ad-hoc)

• Используются ВСЕ возможные индексы в запросе

• Очень ПРОДВИНУТЫЙ оптимизатор

• Компрессия ДАННЫХ И ИНДЕКСОВ

Col 1 Col 2 Col 5 Col 6 Col 8 Col 7 Col 3 Col 4

Базовые таб.: 0.3 - 0.5 TB

Индексы: 0.1 - 0.3 TB

Агрег./Сумм: 0 - 0.2 TB

0.4 – 1 TB

Исходные данные:

1 TB

“Сырые” данные

• Читаются ТОЛЬКО необходимые данные

• Получение максимальной отдачи от “железа”

• Отсутствие необходимости оптимизации под конкретный запрос (ad-hoc)

• Высокая скорость выполнения запросов

• Невысокие затраты на поддержку

• Практически линейное масштабирование

Преимущества

SAP Sybase IQ – “Внутри”

Row 1

Row 2

Row 3

Row 5

Row 4

Row 6

Row 8

Row 7

• “Shared Disk” кластер

• Обеспечение отказоустойчивости

• Возможность добавлять узлы в кластер по мере необходимости без остановки

• Масштабирование по пользователям

• Масштабирование по запросам (распределённое выполнение запроса).

• Множество «читателей» и «писателей»

• Простота администрирования

Sybase IQ Multiplex

SAP Sybase IQ – Grid кластер

v15.0

2009

15.0 - Новая VLDB платформа, инженерная основа

v15.4

2011

15.4 - MapReduce API

v15.3

2011

15.3 - MPP кластер PlexQ™

v15.2

2010

15.2 - Текстовый поиск, Web 2.0 API

v15.1

2009

15.1 - Аналитика, встраиваемая в базу, API

SAP Sybase IQ – Развитие платформы 15.x

• «В самом расцвете сил» (на рынке с 1994 г.) Возраст

• Более 2000 клиентов, более 4000 инсталляций Широкое использование

во всем мире

• Более 200 новых клиентов за год Устойчивый рост

Примеры клиентов

SAP Sybase IQ – положение на рынке

По сравнению с другими специализированными системами для аналитики Sybase IQ имеет больше клиентов, чем все другие вместе взятые

Teradata

Oracle Exadata

IBM Netezza

EMC Greenplum

-

500

1 000

1 500

2 000

Others Sybase

* На основе публичных данных и отчетов аналитиков о количестве клиентов

* Вендоры категории ‘Others’ отбирались на основе i) занимает позицию ‘лидер’ в квадранте Gartner, ii) имеет специализированное решение для Хранилищ Данных

SAP Sybase IQ – количество клиентов

SAP Sybase IQ – Пример 1. Компрессия данных

Примеры клиентов SYBASE IQ

Размер

исходных

текстовых

данных

Размер

в базе

Sybase IQ

Ожидаемый размер в

других СУБД после

«взрыва данных»

Референсная архитектура VLDW

(InfoSizing – июнь 2004)

155 TB 55 TB От 500 TB до 1,000 TB

Telefonica 70TB 15TB От 210TB до 490TB

comScore Networks 40 TB 16 TB От 120 TB до 280 TB

Health Insurance Review Agency 27 TB 12 TB От 81 TB до 189 TB

Samsung Card 15 TB 7 TB От 45 TB до 105 TB

Nielsen Media Research 12 TB 12 TB От 36 TB до 84 TB

Крупный оператор пластиковых карт 10 TB 4 TB От 30 TB до 70 TB

Sybase IQ экономично использует дисковое пространство

“Большие” данные некоторых клиентов

Hardware Database Raw Data Total Disk Ratio

Digital 8400 Oracle 100 GB 361GB 3.61

HP 9000 Oracle 100 GB 643 GB 6.43

IBM SP2 DB2/6000 PE 100 GB 377 GB 3.77

NCR 5100 Teradata 100 GB 880 GB 8.80

Sun UE Oracle 100 GB 594 GB 5.94

Tandem K1K Non-stop SQL 100 GB 286 GB 2.86

IBM SP2 Oracle 300 GB 1,977 GB 6.59

Pyramid Oracle 300 GB 1,535 GB 5.12

NCR 5100 Teradata 300 GB 880 GB 2.93

NCR 5100 Teradata 1,000 GB 3,280 GB 3.28

HP EPS Informix XPS 300 GB 3,532 GB 11.6

HP 9000 Sybase IQ 100 GB 70 GB 0.70

По данным тестов TPC-D

Название запроса Oracle

(секунды)

Sybase IQ

(секунды)

Выигрыш в скорости

Asset_balance_range_summary 17927 146 122X

Common_cpgn_query 38 1,6 24X

Duplicate_address 71 14 5X

Balance_query 2589 253 10X

First_query 318 11 28X

Fund_bal_query 9452 168 56X

Long_cpgn_query 723 5 142X

Long_GA_query 78 2 39X

ИТОГО 31196 сек (8.6 часов)

603 сек (10 мин.)

в 52 раза

В Sybase IQ скорость выполнения запросов в 10-100 раз выше

Клиент - финансовая компания

SAP Sybase IQ – Пример 2. Скорость запросов

Запрос Комментарии Результат SYBASE IQ ORACLE Ускорение

№/№ строк сек. сек. разы

запрос №1 сальдо по Счету на Дату, по Субсчетам 166 1,4 262 187

запрос №2 обороты по Счету, за 1 мес., по Субсчетам 132 1,5 267 178

запрос №3 сальдо по Счету на Дату, по Субсчетам, по Валюте 83 0,8 78 98

запрос №4 обороты по Счету, за 1 мес., по Субсчетам, по Валюте 52 0,7 111 159

запрос №5 сальдо по Счету на Дату, по Субсчетам 26 3,7 26 7

запрос №6 обороты по счету за 1 год, по Субсчетам 75 9,3 906 97

запрос №2 - 1 обороты по Счету, за 4 года, по Годам, Кварталам, Субсчетам 1288 18,8 никогда не выполнялись

запрос №2 - 2 обороты по Счету, за 1 года, по Годам 151 6,7 никогда не выполнялись

запрос №2 - 3 обороты по Счету, за 8 лет, по Годам, Кварталам, Субсчетам 490 60,7 никогда не выполнялись

ПРОИЗВОЛЬНЫЕ ЗАПРОСЫ (Ad-Hoc)

СТАНДАРТНЫЕ "РАБОЧИЕ" ЗАПРОСЫ

Клиент - страховая компания

SAP Sybase IQ – Пример 3. Рост “аппетита” бизнеса

* 550 пользователей

Клиент - розница

По месяцам В течении дня

Количество запускаемых отчётов

“Форсированная” отчетность

Надёжность системы

Свобода анализа Меньшие затраты на администрирование

Лёгкость выполнения ad-hoc запросов

Быстрота внедрения

Параллельная обработка:

Каждый пользователь получает то, что ему нужно

Низкая стоимость владения

SAP Sybase IQ – Преимущества

“Если раньше многие важные для бизнеса отчеты запускали раз в неделю или раз в месяц, то теперь стало возможным обращаться к ним по мере необходимости — говорит Алексей Лукьянов. Это резко увеличило скорость принятия решений и дало возможность моделировать ситуации”.

“Никакое другое решение *кроме Sybase IQ+ не

способно обеспечить такую скорость и стоимость

получения новых отчетов”.

Жорж Корреа

“Создание хранилища на базе Sybase IQ разгрузило наших специалистов по подготовке статистической отчетности, — комментирует Михаил Бриф. Теперь многие бизнес-пользователи могут получать доступ к информации самостоятельно”.

“Высочайшая производительность Sybase IQ позволяет банку агрегировать весьма большие объемы данных и строить сложнейшие отчеты при крайне умеренных затратах на обслуживание”.

Валерий Лазарук

“Благодаря системе трансфертного ценообразо-вания *на Sybase IQ+ каждое отделение банковской группы может подсчитать свой финансовый результат и принимать решения по своим бизнес-операциям исходя из четкого понимания экономической эффективности сделок”.

“Мы получили гибкую , легко масштабируемую систему управления предприятием, надежную поддержку, очень быстрый сервер архивной информации”.

Евгения Зотина

“Когда возникли проблемы с производитель-ностью хранилища данных, Sybase предложила IQ. Сначала провели внутреннее тестирование. Выигрыш по сравнению с OLTP СУБД был впечатляющим, результатами остались довольны и 5 лет назад начали промышленную эксплуатацию”.

“Создана система предоставления отчетов на базе информации, хранимой в Хранилище, которая позволяет очень быстро удовлетворять вновь возникающие потребности бизнеса”.

Андрей Лесковой

SAP Sybase IQ – Отзывы

SAP Sybase Replication Server

SAP Sybase Replication Server

• Sybase является пионером в технологии репликации. Sybase имеет более чем 18 лет опыта поставок своим клиентам решений для Интеграции Данных и Распределенной обработки данных

• Более 2600 корпоративных заказчиков во всем мире используют Replication Server, у многих в репликации задействованы тысячи серверов

• Высокая надежность и гарантированная доставка многократно проверена и подтверждается успешной работой в самых сложных и жестких условиях (компании Wall Street всегда требовали безостановочной работы 24х7)

Почему именно Sybase Replication Server ?

SAP Sybase Replication Server

Гетерогенная репликация

• Извлечение транзакций из Лога, не нагружая СУБД-источник

• Эффективная маршрутизация по сети

• Синхронизация в реальном времени между множеством гетерогенных СУБД

ASE ASA Sybase IQ HANA

Replication Agent

Получатели

Источники

Replication Server

Oracle Microsoft DB2 AS/400 ODBC Informix

TIBCO JMS MQSeries

СУБД-Источники

ASE

ASA

Oracle

Microsoft SQL Server

IBM DB2

Direct Connect

SAP Sybase Replication Server

• Real Time Loading Edition for IQ – это высоко оптимизированное решение для тех клиентов, кому нужна аналитика в реальном времени по практически текущим оперативным данным

• RTL for IQ использует технологию репликации для непрерывного процесса извлечения новых данных из систем-источников и последующей оптимизированной их загрузки в Sybase IQ

Загрузка в режиме реального времени в IQ

SAP Sybase Power Designer

SAP Sybase Power Designer

№1 в мире среди средств моделирования как по доле рынка (35%) так и по технологии

SAP Sybase Power Designer – общий вид

SAP Sybase Power Designer - модели

31 различные модели 10 типов

• Use case

• Activity

• Object

• Package

• Deployment

• Statechart

• Component

и так далее …

Pоwer Designer - поддерживаемые базы данных

SAP Sybase Power Designer

• Все аспекты моделирования – от анализа требований и построения бизнес-процессов – до модели системы и схемы данных. Возможность создания взаимосвязей между моделями разных типов.

• Уникальная функциональность Link&Sync и Impact Analysis

• Функции автоматического документирования – генерация отчетов

• Командная работа всех отделов в единой среде, за счет работы с единым, общим для всех, репозиторием: авторизованный доступ, версионность моделей

• Лучшая функциональность для работы с данными (наиболее полный список СУБД, работа с SQL скриптами и через ODBC, генерация скриптов создания новой базы и модификации существующей, reverse engineering)

• Легко интегрируется для работы с другими инструментами и настраивается для конкретной компании

Преимущества

SAP Sybase Afaria

Afaria – это программный комплекс, который позволяет централизованно УПРАВЛЯТЬ МОБИЛЬНЫМИ УСТРОЙСТВАМИ, разворачивать мобильные приложения, комплексно управлять службами и сервисами мобильного

устройства, обеспечивать безопасность данных и приложений.

SAP Sybase Afaria

Безопасность устройств

Развертывание приложений

Автоматизация процессов

Синхронизация

Help Desk Конфигурирование

устройств Резервное

копирование

Отслеживание устройств

AFARIA CONSOLE

SAP Sybase Afaria – Комплексное управление.

Управление

Создание групп и политик

Первоначальная конфигурация

устройств

Работа по поздуху

Разворачивание приложений

Безопасность

Настройка политик безопасности

Настройка защиты паролем

Настройка шифрования данных

Установка и конфигурирование

файерволов и антивирусов

Управление

Отслеживание работы

Отслеживание местоположения

Обновление приложений

Настройка конфигурации

Отслеживание лицензий приложений

Планирование действий

Удаленное управление устройством

Безопасность

Back-up данных

Шифрование данных

Установка патчей

Поддержание политик безопасности

Логирование событий

Личные / корпоративные данные

Безопасность

Разворачивание свежего образа на

устройства

Перепрофилирование устройства

Переустановка приложений

Восстановление данных (после утери)

Управление

Удаленная блокировка

потерянных / украденных

устройств

Удаленное форматирование

данных

Ограничение доступа к

приложениям и данным

SAP Sybase Afaria – Управление и Безопасность.

Devices Supported

Устройства рабочих бригад

Устройства офисных

сотрудников

Личные устройства

Корпоративные устройства

Windows Windows Mobile iOS Android BlackBerry Symbian Palm

SAP Sybase Afaria – Поддерживаемые устройства.

PepsiCo в СНГ использует SAP Sybase Afaria для централизованного управления распределенным от Калининграда до Камчатки парком устройств Motorola под управлением Win Mobile – система автоматизации торговых представителей. Подключено свыше 2000 устройств.

ТНК-ВР использует SAP Sybase Afaria для администрирования автоматизированных рабочих мест операторов АЗС под управлением Windows. Около 1000 рабочих мест.

Централизованное администрирование нескольких сотен устройств под iOs.

SAP Sybase Afaria – Примеры внедрения.

• Контроль и комплексное управление всеми мобильными устройствами

• … в следующей главе

Преимущества

SAP Sybase Afaria

SAP Sybase Unwired Platform

SAP Sybase Unwired Platform

Создание мобильного приложения

Подключение Разные источники данных

Потребление Разные мобильные устройства

Базы данных

Веб-сервисы

Прикладные программы

Контроль и управление

Консоль управления

BlackBerry

iPhone

iPad

Android

Windows Mobile

Mobile Business Objects

Workflows

Native Applications

Eclipse

SAP Sybase Unwired Platform

Различные типы подключений к :

• SAP

• Базам данных

• WebServices

• Неструктурированным данным (HTML, XML …)

Графическое

моделирование

данных

СОЗДАНИЕ

ПОТРЕБЛЕНИЕ

ПОДКЛЮЧЕНИЕ

УПРАВЛЕНИЕ

SAP Sybase Unwired Platform

СОЗДАНИЕ

ПОТРЕБЛЕНИЕ

ПОДКЛЮЧЕНИЕ

УПРАВЛЕНИЕ

Создание кода мобильного

приложения для любого

устройства

с помощью модуля Eclipse

Генерация графического

интерфейса для

устройства

по умолчанию

Создание графического

интерфейса с помощью

встроенных средств

разработки

SAP Sybase Unwired Platform

Подключение различных

типов мобильных

устройств с помощью

безопасной и надежной

беспроводной платформы

Sybase Unwired Platform

СОЗДАНИЕ

ПОТРЕБЛЕНИЕ

ПОДКЛЮЧЕНИЕ

УПРАВЛЕНИЕ

SAP Sybase Unwired Platform

• Любые мобильные устройства

• Любое мобильное приложение

• В любом месте

• Надёжно и безопасно

• Быстро

Преимущества

SAP Sybase Unwired Platform

www.sybase.ru

Киев, ул. Большая Васильковская (бывшая Красноармейская), 9/2, офис 9. Тел./факс: +380 (44) 490-3498 Москва, Дербеневская набережная, д.7, стр.16. Тел./факс: +7(495) 797-4774