L'idée de la session est de démystifier les BigData et plus précisément HDInsight en montrant des exemples concrets d'utilisation. Cette session s'adresse aux consultants BI et aux désireux de connaitre la solution BigData de Microsoft ainsi qu'aux architectes SI. Au programme : présentation de l'offre BigData de Microsoft (HDInsight OnPremise ou dans Windows Azure), les outils du monde Hadoop (Hive, Pig, HBase), la place du Framework Hadoop dans nos systèmes d'informations, des cas d'utilisation et des démonstrations. V-Traffic viendra également nous présenter comment ils utilisent HDInsight ! Read more at http://www.microsoft.com/france/mstechdays/programmes/2014/fiche-session.aspx?ID=df562eda-8d49-4d31-963a-0b99ebf333af#FAPhWIOW597ORA8j.99
Citation preview
1. La dmystification du Big Data Benjamin Guinebertire
Technical Evangelist Microsoft France @benjguinFranois Simos
V-Traffic ( Mediamobile) www.v-traffic.comRomain Casteres MVP SQL
Server Consultant BI @PulsWebSbastien Etcheverry V-Traffic (
Mediamobile) www.v-traffic.comArchitecture/Azure/Cloud
2. Donnez votre avis ! Depuis votre smartphone sur :
http://notes.mstechdays.fr De nombreux lots gagner toute les heures
!!! Claviers, souris et jeux Microsoft Merci de nous aider amliorer
les Techdays !#mstechdaysArchitecture/Azure/Cloud 3. Master Chief
utilise Big Data Une analyse du jeu permet de dtecter les tricheurs
et amliore l'exprience pour tous Permet des campagnes cibles qui
amliorent la fidlisation des clients 4. Big Data tendances du march
Grands volumes de donnesNombreux types de donnesCots du stockage et
des matriels#mstechdaysCration des donnes en temps relAttentes des
utilisateursArchitecture/Azure/Cloud 5. Plateforme Big Data de
Microsoft vue densemble Volume x Varit x Vlocit x Visualisation =
ValeurArchitecture/Azure/CloudMARKETPLACE#mstechdaysSERVICES ET
DONNEES EXTERNESPolybase 6. Hadoop ouvert, partenariat stratgique
Hortonworks HDInsight#mstechdays+Hortonworks Data Platform for
WindowsArchitecture/Azure/Cloud 7. Map/Reduce: Word CountExtrait de
Hadoop Tutorial from Yahoo!" (Yahoo! Inc.) / CC BY 3.0
#mstechdaysArchitecture/Azure/Cloud 8.
Hive#mstechdaysArchitecture/Azure/Cloud 9. HDInsight Nud de
scuritNud de tte Stockage Windows Azure Grez des donnes de tous
types et toutes tailles Scurisez votre cluster Hadoop avec un nud
de scurit dans HDInsight Intgration troite avec la plateforme de
donnes Microsoft#mstechdaysStockage long terme redond localement
[et gographiquement]Nuds de traitement, HDFS local
hdfs://Architecture/Azure/Cloudwasb:// 10.
Architecture#mstechdaysArchitecture/Azure/Cloud 11. Cas dusage :
APVX#mstechdaysAide a la Prvision des
VentesArchitecture/Azure/Cloud 12. Cas dusage :
APVX#mstechdaysArchitecture/Azure/Cloud 13. HDINSIGHT Cration dun
cluster Hive : Table Externe - Table Interne View - UDF Sqoop :
Transfert #mstechdaysArchitecture/Azure/Cloud 14. SSIS HDInsight
TasksBI & POWER BI Automatisation : SSIS & PowerShell Power
Pivot, Power Query Power View, Power Q&A
#mstechdaysArchitecture/Azure/Cloud 15. V-TRAFFICNotre Ambition :
Offrir les informations les plus pertinentes et fiables pour le
confort des utilisateurs, sur nimporte quel support
#mstechdaysArchitecture/Azure/Cloud 16.
#mstechdaysArchitecture/Azure/Cloud 17. V-Traffic Rcolte des donnes
avec plus de 100 sourcesPubliques Prives FCD/FMD TIC
Partenariats#mstechdaysSpcialistes en solution daide la mobilit
depuis 1996Analyse, modlisation, traitement et ditionDistribution
par des multiples canauxRDS TMC DAB GPRS/3G
WEBArchitecture/Azure/Cloud 18. Utilisations des vhicules traceurs
(FCD) - Suivi de vhicule 4. Suivi du vhicule : localisation sur le
rseau routier3. Mediamobile collecte ces donnes5. Dtermination de
la vitesse du vhicule sur le rseauLat1,Long1,D11. Les taxis
envoient leurs positions lors de leurs dplacements via leur GPS et
un accs internet mobileLat2,Long2,D22. Nos fournisseurs rcoltent
les donnes de go-localisation#mstechdaysArchitecture/Azure/Cloud
19. Cartographie du trafic routier avec FCD: Exemple : une journe
de conditions de circulation Toulouse 7h-21h
(25/05/2010)FusionCapteurs statiquesVhicules traceursDiffusion
#mstechdaysArchitecture/Azure/Cloud 20. Cartographie du trafic
routier avec FCD: Exemple : une journe de conditions de circulation
Toulouse 7h-21h (25/05/2010)FusionCapteurs statiquesVhicules
traceursDiffusion #mstechdaysArchitecture/Azure/Cloud 21. HDInsight
pour V-Traffic Localisation de chaque position dans une des 36000
villes de France 1 job Hive qui ralise 3 tches : -Load des donnes
dans des tables Hive (external) -Traitement Python (
PointInPolygon) -GroupBy Le volume : 3777912 vhicules envoient 77
millions de positions pour 30 j Outil daide la dcision( comparer
les fournisseurs ) #mstechdays Architecture/Azure/Cloud 22.
DMO#mstechdaysArchitecture/Azure/Cloud 23.
Architecture#mstechdaysArchitecture/Azure/Cloud 24.
Visualisation/Rsultat SSRS#mstechdaysArchitecture/Azure/Cloud 25.
Benchmarks / Performances 30 29 28 27 26 25 24 23 22 21 20 19 18 17
16 15 14 13 12 11 10 9 8 7 6 5 4 3 2 1 02977 millions de positions
en 16 minutes = 80208 points/sec !!19 163 nodes#mstechdaysTemps de
traitement par cluster6 nodes1616169 nodes15 nodes18 nodes30
nodesArchitecture/Azure/Cloud 26. Benchmarks / Performances 120 115
110 105 100 95 90 85 80 75 70 65 60 55 50 45 40 35 30 25 20 15 10 5
07,389 /h4,767 /h 4,052/h [VALUE] mapMAX 2,622 /h [VALUE] mapMAXMax
MAP Capacity[VALUE] mapMAX1,907 /hReal MAP Nb[VALUE] mapMAXDuree
(mins)1,192 /h [VALUE] mins [VALUE] mapMAX[VALUE] mapMAX [VALUE]
mins[VALUE] mins[VALUE] mins[VALUE] mins[VALUE] mins[VALUE]
MAP[VALUE] MAP[VALUE] MAP[VALUE] MAP[VALUE] MAP3
nodes#mstechdays[VALUE] MAP6 nodes9 nodes15 nodes18 nodes30
nodesArchitecture/Azure/Cloud 27. 29 Mars
2014http://bit.ly/GWAB2014Paris 28. Testez ds maintenant Windows
Azure ! MSDN:Partenaires:http://aka.ms/MSDN/Avantages/Abo150 de
ressourceshttp://aka.ms/Azure/PartnerPoursuivez la discussion sur
le stand au coeur du SI http://aka.ms/free/trial 29. Digital is
business
