BigData & Hadoop - Technology Latinoware 2016

Big Data e Hadoop O poder da informação

20/10/2016

22

Thiago SantiagoEngenheiro de Soluções Hadoop na Hortonworks, auxiliando os clientes com as melhores práticas do mercado para extrair informações valiosas de dados complexos com soluções escaláveis e confiáveis com BigData.

• 10 anos de experiência profissional de TI em desenvolvimento e arquitetura e aplicações.

• Experiência em Plataformas DataGrid, Soluções NoSQL e arquiteturas distribuídas de computação e GoF Design Patterns

• Experiência em ALM (Application Lifecycle Management) e CI (Continuous integration)

Projetos em BigData• Vivo• TIM• Banco do Brasil• B2W (Americanas.com/Submarino.com)

3

4

Buzzword…

5

BigData Implícito…

6

7

O Big Data procura responder a perguntas como: Por quê? E se? O que acontecerá? Como otimizar? E fornecer novas perguntas e insights

O intuito final é apenas um: dominar a informação!

Big Data é baseado em 3 pilares:

Veracidade e Valor

8

Informação é poder

Turma difícil de lidar…

Um professor belga ameaçou divulgar spoilers da próxima temporada de Game of Thrones (série da HBO baseada na obra A Song of Fire and Ice de George R.R. Martin)

9

Para provar seu conhecimento, listou todos os personagens mortos na última temporada

10

O que aconteceu?

Professor belga conseguiu a total atenção dos alunos…

Informação é poder!

11

? Quantas vezes Homens e mulheres no Tinder movem seus dedos para a esquerda e direita nas telas de seus dispositivos por minuto?

12

Mudança de era…

Anuncio do novo papa

13

8ZBDATAINTERNET

OFANYTHING

44ZBDATA

2020

13

ByteKilobyte (KB)

Megabyte (MB)Gigabyte (GB)Terabyte (TB) Petabyte (PB)Exabyte (EB)

Zettabyte (ZB)

14

Como analisar essa quantidade de informação?

15

Hadoop

https://pt.wikipedia.org/wiki/Hadoop

Plataforma de software em Java de computação distribuída voltada para clusters e processamento de grandes massas de dados. Foi inspirada no MapReduce e no GoogleFS (GFS). Trata-se de um projeto da Apache de alto nível, que vai sendo construído por uma comunidade de contribuidores Java. O Yahoo! tem sido o maior contribuidor do projeto, utilizando essa plataforma intensivamente em seus negócios.

16

O que é MapReduce?

17

Evolução do Hadoop

18

Ecosistema

19

Players

20

Possibilitar que clientes consigam extrair informações

valiosas de dados complexos em soluções escaláveis e confiáveis.

O que fazem os grandes com Hadoop?

Qual a função de uma distribuição hadoop?

21

Apenas um dos vários clusters Hadoop operados pela empresa abrange mais de 4.000 máquinas.

Facebook Messager no Apache Hadoop HBase platform para suportar bilhões de mensagens por dia.

Usam Hive para os reports e análise de grandes conjuntos de dados.

22

Foi o primeiro a oferecer a opção “o que outros compraram também”, obtendo instantaneamente vantagem competitiva com relação a seus concorrentes;

23

Utiliza Hadoop para sugerir automaticamente conteúdo a seus usuários baseado no que foi assistido anteriormente. Talvez o melhor exemplo de sucesso de Big Data, o Netflix passou a não somente oferecer sugestões de conteúdo similar, mas sim produzir conteúdo direcionado para as preferências das massas, de acordo com o que vem “aprendendo” ao longo dos anos.

24

“Aprende” sobre a rotina diária das pessoas, e sugere automaticamente meios de transporte, restaurantes, opções de entretenimento, entre outras coisas, baseando-se no comportamento individual de cada um.

25

Analisa em tempo real a situação do trânsito das cidades, e sugere o caminho mais rápido, baseado no feedback dos usuários e de análises de velocidade de deslocamento informados automaticamente pelos dispositivos conectados;

26

O site de namoro online recentemente atualizou seu ambiente na nuvem, usando Hadoop e os processadores Intel Xeon E5 para analisar um volume massivo e variado de dados. A tecnologia ajuda a eHarmony a disponibilizar novas combinações a milhões de pessoas diariamente. O novo ambiente cloud acomoda análises mais complexas, criando resultados mais personalizados e aumentando a chance de sucesso nos relacionamentos.

27

28

Flink

BigData ou Pokemon?

Spark

29

Jirachi

BigData ou Pokemon?

30

Pangol

BigData ou Pokemon?

MapReduce

31

Akiban

BigData ou Pokemon?

Data Base

32

Spoink

BigData ou Pokemon?

33

Seahorse

BigData ou Pokemon?

Spark

34

Summingbird

BigData ou Pokemon?

Storm

35

tsantiago@hortonworks.com

www.linkedin.com/in/thiagosantiago

Obrigado!

(11) 9-9298-9601