Nouvelle donne décisionnel z UDMv1-lp300 z.pdf · – A data mart is a logical collection of tables which are related ... – DB2 creates definitions for these marts in its own

1

2

La nouvelle donne du

décisionnel sur

System z

Guy Delaporte

François Launay

© 2011 IBM Corporation

Quelques rappels …

Analyses du march é et analystes …

© 2011 IBM Corporation4

Warehouse

Business Intelligence: donner du sens à l’information

AnalysisApplications

AnalysisApplications

Portals &Dashboards

Portals &Dashboards

AnalysisTools

AnalysisTools

Access & Transformation

Processes

Transactions

LegacySystems

Financials

Real-time Information

+ + +

Data MartsETL

SourcesExtraction

TransformationManage Access


LEGACY SOURCES

DATAMARTSDATA INTEGRATION

WAREHOUSE

OLAP

REPORTS

MASTER DATA

REFERENCE DATA

‘

Le System z dispose de toutes les briques logiciellespour bâtir un système décisionnel

ENTERPRISE CONTENT DATA

InfoSphereInfoSphere Warehouse Warehouse / / Linux for zLinux for z

InfoSphereInfoSphere MDM ServerMDM Server

InfoSphereInfoSphere Information Server Information Server / / Linux for zLinux for z

IBM IBM CognosCognos 8 BI / 8 BI / Linux for zLinux for z

FileNetFileNet Content ManagementContent Management

DB2 DB2 for z/OSfor z/OS


Quelques rappels …

Analyses du marché et analystes …


Les facteurs qui vont impacter fortement l’entreprise dans les 5 ans

62%

61%

59%

Industry transformation

58%

Information explosion

Sustainability

Shorter time cycles

Talent shortages 58%

Shifts between mature and rapidly developing

marketsShift between public and

private boundaries

Shift between global and local markets

Scarcity of natural resources

50%

38%

36%

29%

49%

47%

43%

55%

33%

24%

Full Sample France

26%

53%

66%

Insights from the IBM Global CEO Study 2010

Q : Factors impacting your organization to a large extent over the next 5 years


Les principales préoccupations des CIOs

8

Source: IBM Global CIO Study 2009, n = 2345,

Unified Communications

SOA / Web Services

Business Process Management

Application Harmonization

Self-service Portals

Customer & Partner Collaboration

Mobility Solutions

Risk Management & Compliance

Virtualization

Business AnalyticsBusiness Analytics 83%

76%

71%

68%

68%

66%

64%

64%

61%

60%


Les 4 nouvelles tendances du datawarehouse… selon le Gartner Group

� Alimentation des données au fil de l’eau (near-real-time)

� Grand nombre de rapports standards et un nombre c roissant d’utilisateurs avec des requêtes spécifiques ( ad hoc query users )

� Un niveau accru de fonctions analytiques et BI inté grées dans les applications Temps réel

� Besoins liés aux réglementations( Regulatory Complia nce )

– Besoin d’une solution de PRA

– Audit des données et des changements


Quelles raisons pour le choix du z ?

� Majorité des données sources sont sur System z et besoin d’intégrationétroite avec assets System z

– Extension de l’opérationnel – historique en ligne

� Application de BI opérationnel avec des analyses BI embarquéesnécessitant le haut niveau de disponibilité et perform ances de DB2 for z/OS

� V2 du datawarehouse (coûts / un existant Teradata, Oracle)

� Besoins d’un vrai right-time “décisionnel”– Données operationnelles déjà sur System z– Données doivent être virtuellement in-synch avec opérationnel– Besoins de disponibilité, sécurité et resiliency sont élevés– Besoins d’audit, de workload management


- Evolutions de DB2 for z/OS

- Processeurs sp écialisés et solution intégrée Smart Analytics Optimiser

- ISAS 9600 et Solution Edition

La nouvelle donne du décisionnel sur System z







DB2 for z/OS – pour un warehousing dynamique

Fondation z : WLM, RLF, PR/SM, Linux for z …

• Extension des limites

•Taille des tablespaces•64 bits

• Partitionnement•Rotation•DPSI

• MQTs

2006ZIIP

2007DB2 V9

2009-2010Solution Edition, ISAS,

zEntreprise, ISAO

• // queries (CPU parallelism)

• DRDA

• Utilitaires

• Extension du •utilisation de zIIP•optimiseur•// queries

• Tablespaces sans logging

• Reopt (AUTO)• Compression des index

•

• Solution Edition – offreconcurrentielle

• ISAS : “appliance like”•DB2 z/OS, InfoSphereWarehouse, Cognos

• ISAO : zEnterprise BX•données en mémoire, •accès colonne, “performances inégalées”

2004DB2 V8

« The Speed to Revolutionize Business Analytics: IBM Smart Analytics Optimizer »


Fonctions Datawarehouse dans DB2 z/OS V 8 et V 9

� V8 : Gestion souple des tres grosses tables (historiques , milliards de lignes )Rotation des partitions pour historiques “glissants”Index secondaires “locaux” (découpés par partition)

� V8 : Passage aux 64 bits : possibilité d’utiliser des tres gros Buffer Pools Meilleures performances des requêtes

� V8 : MQT Tables d’agrégats exploitées par l’optimiseur DB2

� V8 et V9: SQL enrichi : compatible avec fonctions BI sur plateformes OPEN

� V8 : Utilisation des processeurs spécialisés zIIP : divise par 2 (DRDA ) ou 3 (// de requête) le cout CPU des requêtes décisionnelles

� V8 et V9 : Statistiques plus détaillées : meilleure efficacité des choix de l’optimiseur DB2

� …….



Maitrise des performances

� Indépendance des partitions PR/SM

� WLM : – attribution des ressources CPU et mémoire en fonctio n des

objectifs fixés– Cohabitation requêtes lourdes et légères

� RLF : garde-fou contre requêtes trop gourmandes

� DB2 Query Monitor– Capture des requêtes pour tuning– Aide au choix des bonnes tables d’agrégats (MQT)

� Optim Query Tuner (ex Optimization Expert) :– Système expert avec advisors pour index, queries, st atistiques







zEnterprise “Specialty Engine” Evolution and Business Intelligence

Price-P

erformance

Worse

Better

CPz/OS LPAR z196

IFL

Partitioned z Engines for Linux

zBX

Application Inventory Less More

zAAPzIIP

Optimizers

IBM Smart Analytics Optimizer

WebSphere DataPower Integration Appliance XI50 for zE nterprise

IBMBlades

POWER7

IBM x86 Blades*

*Statement of Direction, 1H 2011


Hardware: (Standard Parts)

• IBM zEnterprise Blade Center Extension (zBX) attach ed to either a zEnterprise 196

� One to four BladeCenter H chassis, up to 56 blades, up to 112 cores

• Dedicated high performance data network

• Managed by the z/OS Unified Resource Manager

• Problem reporting, hardware and firmware updates

• DS5020 with SATA disk housed in its own rack� 16 or 32 TB

Software:

• Integral part of a z/OS DB2 subsystem

• In-memory columnar DB2 LUW Relational Database

• Massive Parallelism with DB2 LUW architecture

• Linux on IBM Blades

• Access is transparent to queries and users

• Extreme Data Compression to reduce RAM usage

• Predicate evaluation on compressed data

• Frequency Partitioning for scanning compressed data

• Multi-core and Vector Optimized Algorithms to avoid contention

The IBM Smart Analytics Optimizer – What is it?An in-memory compressed columnar relational databas e designed for greatly accelerating the performanceof some DB2 on z/OS star-schema queries

zEnterprise 196 zBXzBX

�� z/OSz/OS�� URMURM�� DB2/zDB2/z

�� LinuxLinux�� DB2 LUWDB2 LUW

DS5020DS5020

�� SATASATA

Private data network (IEDN)

Private management network (INMN)


IBM Smart Analytics Optimizer software

GPFS™

Data in Memory

GPFS

Data in Memory

GPFS

Data in Memory

zBX

1..n

DB2 V9

DB2 V9 PTF(Optimizer, Admin StoredProcedures…)



Data Studio Workstation

Data Studio V2.2

IBM Smart AnalyticsOptimizer plug-in

1

2

3

IBM Smart AnalyticsOptimizer Stored

Procedures

12 3DB2 V9 PTF enhancementsNo charge DBA Tool IBM Smart Analytics Optimizer – OTC installed via S MP/E

IBM Smart

Analytics Optimizer

IBM Smart

Analytics Optimizer


Smart Analytics Smart Analytics Optimizer StudioOptimizer Studio

Getting Started: Data Mart Definition and Deployment

� DBA Defines Data Mart (Data to Accelerate)– A data mart is a logical collection of tables which are related to each other.

• For example, all tables of a single star schema would belong to the same mart .– The administrator uses a rich client interface in Data Studio to define the tables that belong to a mart ,

together with information about their relationships.� DB2 Automatically Copies mart, via Administrative Stored Procedures

– DB2 creates definitions for these marts in its own catalog. – The mart’ s data is read from the DB2 tables and transferred to the accelerator.

� Accelerator Automatically Transforms & Loads Mart Data into a highly compressed, scan-optimized format that is kept locally (in memory)

Define Transform

IBM Data Studio Client DB2 for z/OSIBM Smart Analytics

Optimizer

Smart Analytics Optimizer Smart Analytics Optimizer Administrative Stored Administrative Stored

ProceduresProcedures

DB2 CatalogDB2 Catalog

Smart Analytics Smart Analytics Optimizer CatalogOptimizer Catalog



DB2 for z/OS

DB2Optimizer

ISA

O interface

DB2 Query ExecutionRun-time :

for queries that cannot (or should not) be off-loaded to ISAO

ISAO

.

.

.

Coordinators

Application

ApplicationInterface

Queries executed with ISAOQueries executed without ISAO

Heartbeat

Heartbeat (ISAO availability and performance indicators)

Worker 1

Worker 2

Worker 3

Worker n-1

Worker n

Query Execution Process Flow


Demonstration – Boeblingen Center


Process to identify appropriate work for the IBM Smart Analytics Optimizer

� Step 1. Complete SHORT QuestionnaireThis questionnaire will determine whether the work may or may not be appropriate.

� Step 2. Install Workload Assessment toolThis involves installing a small module of code onto the customers’ DB2 subsystem. The DBA collects

information that is then sent to IBM Lab ISAOpt team where an analysis is completed, generating a multi-page PDF report that will be sent back to the IBM/BP account team.

� Step 3. Review the ReportThe multi-page report will provide a summary page plus a number of pages that detail all the queries

submitted and tables accessed during the time the collection period. The Lab team will review the results with the customer and better understand what they would like to address with the Optimizer offering.


IBM Smart Analytics OptimizerCapitalizing on the best of relational and the best of columnar databases

Technology Value

� Performance: Unprecedented response times to enable 'train of thought' analyses frequently blocked by poor query performance.

� Integration: Connects to DB2 through deep integration providing transparency to all applications.

� Self-managed workloads: queries are executed in the most efficient way

� Transparency: applications connected to DB2, are entirely unaware of ISAOPT

� Simplified administration: appliance-like hands-free operations, eliminating many database tuning tasks

What is it for ?ISAO enables the integration of business insights into operational processes to drive winning strategies. It accelerates select queries, with unprecedented response times.

Breakthrough Technology Enabling New Opportunities


Breakthrough technologies for performance

27

In Memory

Database

Frequency

PartitioningMulti-core and Vector

Optimized Algorithms

Extreme

Compression

Massive

Parallelism

Predicate evaluation

on compressed data

Row & Columnar

Database

Compressed

Table Scans







IBM Smart Analytics System FamilyDisponible sur Système x, Power (ex BCU ) et Système z

Obtenir plus vite des résultats Business

7600/7700Basé sur le Power…jusqu’aux petabytes de données…Technologie Power7 et Solid State

9600Basé sur le Systeme z …Conçu pour des workloads décisionnels…Solid State Disk en option – permet de reduire

les temps d’attente

29

3 offres à base de Systeme X

5600… jusqu’à des centaines de terabytes de données…pour tirer partie d’’informations insoupçonnées

2050Solution décisionnellle à moindre coûtArchitecture non modulaire pour le milieu de gamme

1050Offre de type Appliance (packagée)Architecture non modulaire pour le milieu de gamme


IBM Smart Analytics System 9600Un avantage sans précédent pour déployer de nouvelles a pplications décisionnelles

En quoi 9600 est il différent ?

� Administration simplifiée– Livraison sous forme d’ Appliance

dans une LPAR ou une machine indépendante– Déploiement + rapide à moindre coût.– S’appuie sur le PRA et processus de backup existants

� Caractéristiques opérationnelles reconnues– Qualité de service du Systeme z étendue au décisionnel.– La gestion et la sécurité du Système z s’applique à tout le système.

� Plus adapté au Décisionnel Operationnel

9600 ? L’ IBM Smart Analytics System 9600 est unesolution intégrée de matériels, logiciels et services qui permet à nos clients de déployer rapidementune plateforme décisionnelle (bases de données et outils d’analyse) avec un coût optimisé .


Environnement décisionnel IBM centralisé

LPAR z/OS pour le décisionnel d’entreprise :• DB2 for z/OS – hautement disponible, sécurisé, prioritisation des requêtes, concurrence d’accès utilitaires/requêtes• z/OS: hautement securisé, efficace, de confiance, à haut potentiel

Outils décisionnels dansdes LPARs z-Linux :• InfoSphere Warehouse• Cognos

DB2 for z/OSDB2 for z/OS

Bâtir un environnementdécisionnel de bout en bout sur

Systeme zFonctionalités Utilisateurs

InfoSphereInfoSphereWarehouseWarehouse

CognosCognos BIBI Linu

x z

z/O

S

DB2WarehouseDatabase

UNIXIntel

Dist Servers

8700 Storage

Logiciels optionnels:Query Monitor, Optim Query TunerFederated Server

• Sybase, OracleClassic FederationAutres outils d’analyse


Si autres choix logiciels(exemple InfoSphere Information Server)

… Solution Edition


�Enterprise Linux

�Data Warehousing

�SAP

�WebSphere

�GDPS®

�Security

�Cloud Computing

�Application Development

� Quotation pour les nouveaux workloads surIBM System z10 ™ et IBM zEnterprise ™

– Machine IBM System z® ou LPAR spécifique

– Maintenance matériel prépayée

– Choix libre des logiciels

– Services et Stockage (selon besoin)

� Qualités de service du Mainframe

– Sécurité, disponibilité et “scale”

– Virtualisation avancée, gestion des systèmes et provisioning de ressources

� Solution Edition sur z196

– Exploite les optimiseurs de charge de l’Extension

BladeCenter® du IBM zEnterprise (zBX) et l’ IBM Unified Resource Manager

�Enterprise Linux

�Cloud Computing

�Data Warehousing

�SAP

�WebSphere ®

�ACI

�Chordiant

�Application Development

�GDPS®

�Security

System z Solution EditionsValeur inégalée, prix compétitif


Solution Edition pour le Data Warehousing

� Matériels: – Selon les besoins du client– Maintenance matériel 3 – 5 ans

� Logiciels: • DB2 for z/OS MLC - (VUE is optional)• DB2 utilities • z/OS stack

� Peuvent être ajoutés:– Storage – DS8700– Solution Edition for Enterprise Linux

• Fournit l’environnement Linux pour des options de Warehousing, Cognos, SPSS, Information Server (Business Glossary, Information Analyzer, QualityStage/DataStage …)


Conclusion


Les réponses aux situations :

� Nouvelle application « operational BI » � ISAS 9600 ou SE

� Décisionnel sur SUN / ORACLE vieillissant � ISAS 9600 ou SE + ISAO

� Refonte du BI : 2 nde génération de DWH � ISAS 9600 ou SE + ISAO

� Projet de consolidation de serveurs (dont BI) � ISAS 9600 ou SE + ISAO

� Décisionnel sur z et besoin de performances ++ � ISAO

© 2011 IBM Corporation37 37

Documents

Nouvelle donne décisionnel z UDMv1-lp300 z.pdf · – A data mart is a logical collection of tables which are related ... – DB2 creates definitions for these marts in its own