30
1 © Copyright 2012 EMC Corporation. All rights reserved. BIG DATA Du concept à la réalité Yann Cohen-Addad 15 Novembre 2012

Du concept à la réalité - Stockage de données, infrastructures … · Architecture MPP pour l’analyse des données ... EMC VMAX ou VNX SAN Mirror pour une gestion ... 3.5 Simulator

Embed Size (px)

Citation preview

1 © Copyright 2012 EMC Corporation. All rights reserved.

BIG DATA Du concept à la réalité

Yann Cohen-Addad

15 Novembre 2012

2 © Copyright 2012 EMC Corporation. All rights reserved.

AU COURS DE L’ANNÉE 2000, LE MONDE A GÉNÉRÉ

DEUX EXAOCTETS DE NOUVELLES INFORMATIONS

Sources : « How Much Information? » Peter Lyman et Hal Varian, UC Berkeley, 2011 IDC Digital Universe Study.

3 © Copyright 2012 EMC Corporation. All rights reserved.

Sources : « How Much Information? » Peter Lyman et Hal Varian, UC Berkeley, 2011 IDC Digital Universe Study.

AU COURS DE L’ANNÉE 2000, LE MONDE A GÉNÉRÉ

DEUX EXAOCTETS DE NOUVELLES INFORMATIONS

PAR JOUR

4 © Copyright 2012 EMC Corporation. All rights reserved.

D’où vient ce déluge de données?

Exploration géophysique

Imagerie médicale

Vidéo protection Terminaux mobiles Vidéo

Séquençage génétique

Smart Grids

Réseaux sociaux

FACEBOOK

250 MILLION PHOTOS PAR JOUR

LE COÛT POUR SÉQUENCER

UN GÉNOME A CHUTÉ DE

$100M EN 2001 À $10K EN 2011

LECTURE DES COMPTEURS INTELLIGENTS

TOUTES LES

15 MINUTES EST

3000X PLUS CONSOMMATEUR

DE DONNÉES

PLATE-FORME PÉTROLIÈRE

25000 POINTS DE

DONNÉES GÉNÉRÉS PAR SECONDE

5 © Copyright 2012 EMC Corporation. All rights reserved.

Domaines fonctionnels où les sociétés utilisent les Big Data

Comment les sociétés utilisent le Big Data ?

McKinsey Global Survey of 1,469 C-level executive respondents at a range of industries and company sizes, “Minding Your Digital Business,” 2012.

Relations clients

Budget & Planification

Opérations & Production

Service client

Gestion de la performance

Stratégie nouveau produit

Tarification

0 10 20 30 40 50

49%

39%

37%

33%

30%

28%

21%

6 © Copyright 2012 EMC Corporation. All rights reserved.

BIG DATA TRANSFORME LE

BUSINESS

7 © Copyright 2012 EMC Corporation. All rights reserved.

Qui est Greenplum?

Acquisition par EMC en juillet 2010

– Leader selon Gartner DW Magic Quadrant Jan. 2011, Feb. 2012

– Leader selon Forrester Wave Leader In Hadoop February 2012

Mission : Aide les entreprises et les fournisseurs de services à

concrétiser les bénéfices métiers liés à l’analyse des Big Data,

grâce à son offre de produits et services

+400 clients globalement, tous secteurs confondus

Offre la seule plate-forme analytique unifiée du marché

8 © Copyright 2012 EMC Corporation. All rights reserved.

Greenplum depuis deux ans

145 EMPLOYÉS

+700 EMPLOYÉS

DCA (oct ’10)

Partenariat SAS (avril ’11)

Hadoop + Data Science Summit (mai ’11)

Unified Analytics Platform (dec ‘11)

Acquisition Pivotal Labs (mars ’12)

9 © Copyright 2012 EMC Corporation. All rights reserved.

Architecture MPP pour l’analyse des données

• Ajout de noeuds pour une évolutivité & performance linéaires

• Parallélisation & ajustement automatisés

• Support des données structurées & non-structurées (Hadoop)

Interconnect

Chargement Données

Interconnect

Chargement Données

10 © Copyright 2012 EMC Corporation. All rights reserved.

11 © Copyright 2012 EMC Corporation. All rights reserved.

12 © Copyright 2012 EMC Corporation. All rights reserved.

Plate-forme analytique unifiée Greenplum (UAP)

Appliance ou infrastructure de type cloud privé/hybride

Couche d’accès aux données et de requête

Outils et services tiers/partenaires

Greenplum Chorus - Couche de productivité analytique

Greenplum Hadoop

Expert en

science de

la donnée

Ingénieur

de données

Analyste de

données Analyste

BI

Utilisateur

métier

Base de données

Greenplum

Admin.

plate-forme

de données

ÉQ

UIP

E S

CIE

NCE

DES D

ON

NÉES

13 © Copyright 2012 EMC Corporation. All rights reserved.

Couche stockage modulaire (HDFS API)

Couche MapReduce

Outils Hadoop

Greenplum Chorus

Solution Hadoop avec Greenplum & Isilon

Isilon

Greenplum

Protocole HDFS

OneFS Isilon

Centr

e d

e

com

mandes

Gre

enplu

m

14 © Copyright 2012 EMC Corporation. All rights reserved.

Intégration transparente à l’infrastructure

EMC Data Domain sauvegarde & restauration

efficaces

EMC VMAX ou VNX SAN Mirror pour une gestion

avancée du stockage

Isilon Scale Out stockage adapté

au Big Data

EMC VMAX SRDF, Data Domain Replication

pour reprise après sinistre

15 © Copyright 2012 EMC Corporation. All rights reserved.

Valeur

16 © Copyright 2012 EMC Corporation. All rights reserved.

Volume

17 © Copyright 2012 EMC Corporation. All rights reserved.

Variété

18 © Copyright 2012 EMC Corporation. All rights reserved.

Vélocité

19 © Copyright 2012 EMC Corporation. All rights reserved.

Moins d’attrition, plus de rentabilité:10% - 50%.

Personnel affecté en agence selon “Qui” dépose “Où”.

Chargement des données réduit de 24h à 30sec.

20 © Copyright 2012 EMC Corporation. All rights reserved.

La nouvelle équipe aux commandes du Big Data

SCIENCE DE LA DONNÉE

21 © Copyright 2012 EMC Corporation. All rights reserved.

Pas d’analyse Big Data sans science de la donnée

Science de la donnée

• Analyse prédictive

• Et si…..?

Informatique décisionnelle

• Rapport standard

• Qu’est il arrivé?

Elevée

Futur Passé TEMPS

VALEUR MÉTIER

Informatique décisionnelle

Science de la donnée

Faible

22 © Copyright 2012 EMC Corporation. All rights reserved.

Espaces de travail

projet

Analyse des

données

Publier et

itérer

Explorer les

données

Collaboration

Chorus La plate-forme dédiée à la science de la donnée

23 © Copyright 2012 EMC Corporation. All rights reserved.

Analyse en libre service et collaborative

24 © Copyright 2012 EMC Corporation. All rights reserved.

Big Data et EMC

4 Nouvelles applications

Plate-forme unifiée d’analyse 2 Infrastructure de stockage

(échelle Petabyte) 1

Science de la donnée 3

25 © Copyright 2012 EMC Corporation. All rights reserved.

COMMENT DÉMARRER

26 © Copyright 2012 EMC Corporation. All rights reserved.

Comment tirer profit de l’analyse Big Data

Atelier EMC de vision analytique

Exercices de projection avec les responsables métiers et IT

Focus sur une initiative métier importante pour l’entreprise

Brainstorming pour identifier et grouper les opportunités clefs d’analyse Big Data

27 © Copyright 2012 EMC Corporation. All rights reserved.

Lab analytique Greenplum

Solutions packagées pour produire de la valeur métier et des résultats exploitables

Accélérer les capacités d’analyse sur vos données avec vos analystes

S’appuyer sur les experts en science des données de Greenplum

Établir une vision stratégique pour vos développements analytiques

28 © Copyright 2012 EMC Corporation. All rights reserved.

RDV dans l’espace vLab pour tester nos solutions !

vCD create a private

cloud AVAMAR 6.1 v1 SharePoint

RecoverPoint 3.5 Simulator

VMAX VSA 40K

VNX avec Integration VMware VPLEX

Data Mobility

VSPEX XenDesktop VNX

Isilon Configuration,

Management and SmartConnect

GREENPLUM Multi-node UAP v1.0

29 © Copyright 2012 EMC Corporation. All rights reserved.

MERCI !