Webinar: Como obter valor comercial com Big Data

© 2015, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

Hugo Rozestraten

Arquiteto de Soluções na AWS

19/Jul/2016

Como obter valor comercial

com big data

Programação

Parte I - Introdução

Big data na AWS

Estudo de caso de cliente

Parte II - Destaques do relatório por Matt Aslett, 451 Research

Principais descobertas

Objetivos de negócios

Usuários e casos de uso

Avaliação do sucesso

Big data em constante crescimento

Volume

Velocidade

Variedade

Veracidade

Valor

Quais perguntas ajudariam

a empresa se pudéssemos

respondê-las?

Quais dados estão disponíveis

e podem ajudar a encontrar

essas respostas?

Quais ferramentas devem ser

usadas para trabalhar com

esses dados?

Procure oferecer valor comercial

imediato com o primeiro projeto

Conceitos básicos

Big data em constante crescimento

Volume

Velocidade

Variedade

Veracidade

Valor Grandes despesas de capital

Longos ciclos de

provisionamento

Muitas ferramentas

disponíveis

Habilidades novas e caras

Maior responsabilidade (dados

confidenciais)

Barreiras para obter

valor

Big data na AWS

Disponibilidade imediata. Implantação instantânea.

Nenhum hardware para adquirir, nenhuma infraestrutura

para manter e escalar

Confiança e segurança. Desenvolvido para satisfazer os

requisitos mais rígidos. Auditado constantemente, incluindo

certificações como ISO 27001, FedRAMP, DoD CSM e PCI

DSS.

Recursos amplos e profundos. Mais de 50 serviços

e centenas de recursos para oferecer suporte a praticamente

qualquer aplicativo e carga de trabalho de big data

Centenas de parceiros e soluções. Receba ajuda de um

parceiro de consultoria ou escolha entre centenas de

ferramentas e aplicativos em toda a pilha de

gerenciamento de dados.

Simplificar o processamento

de big data

Simplificar big data

Dados Respostas

Coletar Processar Analisar

Armazenar

Tempo de resposta (latência)

Taxa de transferência

Custo

Fluxo de trabalho de big data

Dados Respostas


Armazenar

Tempo de resposta (latência)

Taxa de transferência

Custo

Coleta de dados

e armazenamento

Dados

Processamento

Evento

Processamento

Dados

Análise

Fluxo de trabalho de big data

Dados Respostas


Armazenar

Coleta de dados

e armazenamentoDados

Processamento

Evento

Processamento

Dados

Análise

Amazon S3

Amazon Kinesis

Firehose

Amazon DynamoDB

Amazon RDS (Aurora)

AWS Lambda

Processos de

streaming do Kinesis

Amazon

EMRAmazon

Redshift

Amazon Machine

Learning

Portfólio de big data da AWS

AnalisarArmazenarColetar

Amazon Machine

Learning

Amazon Kinesis

Analytics

AWS Import/Export

AWS Direct Connect

Amazon Kinesis

Amazon Kinesis

Firehose

Migração de Banco

de Dados da AWS

Amazon Glacier

Amazon S3

Amazon

CloudSearch

Amazon DynamoDB

Amazon RDS,

Aurora

Amazon

ElasticSearch

AWS Data

Pipeline

Amazon Redshift

Amazon EMR

Amazon

QuickSight

Amazon EC2

Milhares de organizações usam a AWS para big data

Estudo de caso: estrutura de dados final da Hearst

Buscas por API

Dados

Prontos

para

API

Amazon

Kinesis

Armazenamento do

S3

Proxy do

aplicativo

Node.JS

Usuários para

propriedades

da Hearst

Clickstream

Ciência de dados

Aplicativo

Amazon Redshift

ETL na EMR

100 segundos

1 GB/dia

30 segundos

5 GB/dia

5 segundos

1 GB/dia

Milissegundos

100 GB/dia

LATÊNCIA

TAXA DE

TRANSFERÊNCIA

Modelos

Dados

agregados

Ciência de dados

Amazon Redshift

ETL

Hearst: uma representação "visual" da estrutura da

empresa

Dados de

Clickstream

Amazon Kinesis

API de resultados

Como obter valor comercial com big data

Original de Matt Aslett

Diretor de pesquisa de plataformas e análises de dados

© 2016 451 Research. All rights reserved

451 Research é uma das principais empresas de consultoria

e pesquisa de TI

15

Fundada em 2000

Mais de 250 funcionários, incluindo mais de 100 analistas

Mais de 1000 clientes: fornecedores de tecnologia e serviço,

consultoria corporativa, finanças, serviços profissionais e tomadores de

decisão de TI

Mais de 50.000 profissionais de TI, usuários corporativos

e consumidores em nossa comunidade de pesquisa

Mais de 52 milhões de pontos de dados publicados por trimestre

e mais de 4500 relatórios publicados por ano

Mais de 2000 fornecedores de tecnologia e serviço cobertos

A 451 Research e sua empresa associada, a Uptime Institute, são duas

divisões do The 451 Group

Sediada em Nova York, com escritórios em Londres, Boston, São

Francisco, Washington DC, México, Costa Rica, Brasil, Espanha,

Emirados Árabes Unidos, Rússia, Taiwan, Cingapura e Malásia

Pesquisa e dados

Consultoria

Eventos

Go 2 Market


Uma combinação de pesquisa e dados é oferecida em 15 canais

alinhados aos principais tópicos e tecnologias de infraestrutura

digital, do núcleo do datacenter à borda móvel.

3

Metodologia

Principais

descobertas

Objetivos de

negócios

Usuários e casos

de uso

Avaliação do

sucesso


A abordagem em nuvem para

obter valor comercial com

o uso de big data

18

Seis empresas entrevistadas detalhadamente por

analistas da 451 Research, com usuários de big

data cuja principal implantação é baseada na

nuvem.

O relatório foi encomendado pela Amazon Web

Services e os usuários fazem parte das listas de

clientes fornecidas pela Amazon Web Services.

O relatório foi escrito com base em uma

combinação das entrevistas e das análises

contínuas de clientes e do mercado da 451

Research.


19



o uso de big data

As empresas entrevistadas representam diversos

setores:

•provedor de plataformas de análise aplicações de

dispositivos móveis

•provedor de plataformas de aplicativo para

dispositivos móveis

•agência regulatória de serviços financeiros

•consultoria em tecnologia

•empresa de estratégia de marketing

•empresa de serviços financeiros convencionais

•https://aws.amazon.com/big-data/business-value-

big-data-learn-more/

Metodologia

Principais

descobertas

Objetivos de

negócios

Usuários e casos

de uso

Avaliação do

sucesso


Cinco maneiras como a nuvem gera resultados para os usuários de big dataO estudo identificou cinco maneiras fundamentais como a combinação da computação em

nuvem com a análise de big data gera valor comercial.

21




1. Introdução mais rápida no mercado:

os tempos de consulta de uma organização melhoraram 4000% em relação aos sistemas

locais.

22






locais.

2. Menor TCO:

economia em custos superior a 50% em relação aos Data Center locais.

23






locais.

2. Menor TCO:


3. Custos indiretos de gerenciamento reduzidos:

redução de mais de 50% nos custos operacionais.

24






locais.

2. Menor TCO:




4. Melhoria na agilidade dos desenvolvedores:

24 horas para passar do conceito à implantação total da produção.

25






locais.

2. Menor TCO:




4. Melhoria na agilidade dos desenvolvedores:

24 horas para passar do conceito à implantação total da produção.

5. Novas oportunidades de renda:

descubra novas oportunidades de receita em minutos, não em dias.

26

Metodologia

Principais

descobertas

Objetivos de

negócios

Usuários e casos

de uso

Avaliação do

sucesso


Objetivos de negócios para big dataUma das principais tendências que motivam a adoção do processamento de big data, tanto

on-premises quanto na nuvem, é a capacidade de aproveitar recursos de computação de

custo reduzido para realizar o processamento e a análise de dados em uma escala

previamente impossível devido ao custo e à complexidade.

O processamento de big data possibilita diversas oportunidades de negócios, mas quase

todas encontram-se em duas áreas principais:

•Eficiências operacionais aprimoradas

•Capacitação e suporte para novas iniciativas de negócios

28


Objetivos de negócios para big dataAs empresas que aproveitam o processamento de big data na nuvem não estão simplesmente

desfrutando de melhorias. Os benefícios proporcionados pelo processamento de big data na

nuvem estão se tornando rapidamente o núcleo dos negócios, o que possibilita novos

aplicativos e processos de negócios por meio dos quais a empresa pode obter vantagens

competitivas.

29

A agência de regulamentação de serviços

financeiros precisa realizar novamente a análise

do "modelo de ameaça de risco" ocasionalmente

com base em grandes volumes de dados

históricos referentes a 15 meses ou mais.

Com o Amazon EMR, ela tem uma visão mais

precisa e atualizada de seu risco de ameaça

histórico e atual.


Objetivos de negócios para big dataAs empresas entrevistadas para a elaboração deste relatório foram unânimes ao descrever

suas iniciativas de processamento de big data em nuvem como críticas para promover

mudanças nos negócios, graças a diversas métricas, inclusive o menor tempo de entrada no

mercado, o custo mais baixo de processamento de dados, o aprimoramento das informações

sobre clientes e o melhor atendimento ao cliente.

30

Consulta de dados indexados para analistas de

negócios, algumas envolvendo alguns

zettabytes de dados.

Com o ambiente de data warehouse da

empresa (no local), essas consultas poderiam

levar até quatro horas.

Esse ambiente foi transferido para o Hadoop

e o HBase no Amazon EC2, com melhorias

significativas no desempenho.

Metodologia

Principais

descobertas

Objetivos de

negócios

Usuários e casos

de uso

Avaliação do

sucesso


Cenário da análise

32Complexidade

Au

tom

ático

Acio

na

do

po

r T

I

PRESCRITIVA- Influencia o que

acontece

MachineLearning

DESCRITIVA- O que está acontecendo?

PREDITIVA- O que acontecerá?

Acio

na

do

pe

lo

usu

ário

VISUALIZAÇÃOMODELAGEMESTATÍSTICA

RELATÓRIOS- O que aconteceu

ANÁLISE- Por que isso aconteceu?


Usuários e casos de usoRelatórios comerciais e análise avançada

•O principal caso de uso para empresas de serviços financeiros envolve analistas de negócios

e financeiros especializados no assunto, que usam ferramentas de geração de relatórios

e visualização para procurar padrões de negócios ilegais.

•A empresa de estratégia de marketing tem analistas de negócios que consultam dados do

cliente por meio de ferramentas internas de geração de relatórios e análises de tendências

a fim de atender melhor seus clientes.

•A agência regulatória de serviços financeiros executa três cargas de trabalho internas

principais na nuvem para análise comercial: análise em lote, análise interativa e relatórios

resumidos. O quarto caso de uso, a análise ad hoc, ainda é executado na infraestrutura de

data warehouse no local, mas já foi planejada sua migração para a nuvem.

33


Usuários e casos de usoCiência de dados

•A empresa de estratégia de marketing tem uma equipe de cientistas de dados que faz

a modelagem e análise preditiva de dados na nuvem para identificar novas fontes de

dados e informações competitivas que podem ser restabelecidas nos produtos e serviços

fornecidos a seus clientes, inclusive serviços de análise preditiva.

•A agência regulatória de serviços financeiros pretende desenvolver as ferramentas

necessárias para que seus cientistas de dados também possam utilizar os dados

armazenados na nuvem (usando uma combinação de técnicas e ferramentas de análise,

incluindo análise estatística, análise programática e SQL em Hadoop) com base nas

vantagens observadas nos casos de uso de análise em lote, análise interativa e relatórios

resumidos.

34


Usuários e casos de usoAplicativos e serviços baseados em dados

• A empresa de estratégia de marketing utiliza serviços de big data em nuvem para

fornecer informações a seus clientes em termos de como seus dólares estão sendo

gastos em marketing e quais são os resultados obtidos, especialmente em relação

à análise da concorrência.

• A consultoria em tecnologia está envolvida em diversos projetos que fornecem

aplicativos beneficiando-se dos serviços de big data em nuvem como análise de

transação e análise do cartão de fidelidade, bem como a geração de ofertas

personalizadas.

• O provedor de plataformas de análise de tecnologia móvel fornece aos desenvolvedores

de aplicativos para dispositivos móveis informações sobre uso e desempenho desses

aplicativos.

35


Desafios, não específicos da nuvemSão muitos os desafios associados aos projetos relacionados a big data, tanto na nuvem

quanto no local. Os desafios ressaltados não são predominantemente específicos da nuvem.

Desse modo, a nuvem propriamente dita não representa um grande desafio em relação às

implantações de big data.

36


Desafios, não específicos da nuvem

• De forma generalizada, a falta de cientistas de dados é um desafio significativo, seja no

local ou na nuvem, embora no caso da nuvem isso seja um pouco melhor, já que a própria

nuvem está preparada para lidar com parte dessa complexidade. Para aproveitar ao

máximo o big data baseado em nuvem a curto prazo, é recomendável desenvolver

um plano de treinamento.

• Segurança (e a percepção de segurança). A empresa de serviços financeiros submeteu seu

provedor de nuvem a uma avaliação de segurança de vários meses para garantir

a segurança durante o processo de migração de seus dados e serviços para a nuvem.

• Embora o provedor de nuvem tenha passado na avaliação de segurança, alguns conjuntos

de dados ainda são armazenados no local devido a normas de governança de dados.

Essas questões de conformidade de big data afetam tanto as instâncias no local quanto as

baseadas na nuvem.

37

Metodologia

Objetivos de

negócios

Usuários e casos de

uso

Principais

descobertas

Avaliação do

sucesso


Avaliação do sucessoAs métricas usadas para avaliar o sucesso de projetos de big data na nuvem variaram entre

empresas e entre funções. Os entrevistados relataram diversos benefícios em potencial,

incluindo:

• Menor tempo de entrada no mercado

• Economia em custos

• Desempenho comercial

• Agilidade do desenvolvedor

39


Menor tempo de entrada no mercadoMuitas vezes, o menor tempo de entrada no mercado é o fator determinante para a adoção

de serviços de big data em nuvem em startups e setores emergentes, pois dessa forma

é possível passar do conceito à produção sem precisar criar, adquirir, configurar e manter uma

infraestrutura no local.

40

"O menor tempo de entrada no mercado foi, de longe,

o fator mais importante. A capacidade de utilizar esses

serviços interativos prontos para uso com escalabilidade

integrada e custos módicos possibilitou a criação de

nosso serviço de modo muito mais eficiente."

– Provedor de plataformas de aplicativos móveis


Menor tempo de entrada no mercadoA empresa de estratégia de marketing também observou diversos benefícios: economia nos

custos, menor tempo de entrada no mercado, agilidade para os desenvolvedores e geração de

receita. Porém, para o CTO da empresa de estratégia de marketing, a principal vantagem é

o menor tempo de entrada no mercado.

41

"Em caso de necessidade, podíamos ter uma

ideia pela manhã e desenvolvê-la à tarde.

Algumas vezes, criamos uma solução em 24

horas. Antes, isso era inviável."

– Empresa de estratégia de marketing


Custo total de propriedadeHá uma tendência dos usuários maiores e mais bem estabelecidos de serem atraídos pelos

serviços em nuvem devido à oportunidade de reduzir custos e melhorar sua eficiência

operacional.

42

"Basicamente, considerando que o custo

total de propriedade é um de nossos

principais fatores determinantes, a percepção

desse valor pela empresa é fundamental para

a adoção disso tudo."

"Tivemos uma redução clara e significativa

nos custos quando mudamos o warehouse

no local [para a nuvem]. Isso representou

uma economia de 57%. "

– Empresa de serviços financeiros


Custo total de propriedadeHá uma tendência dos usuários maiores e mais bem estabelecidos de serem atraídos pelos


operacional.

43

A agência reguladora de serviços financeiros

constatou por meio de um projeto inicial de

avaliação de custo que economizaria de 35

a 40% do custo de um ambiente no local

comparável. Além disso, descobriu que, com

a evolução contínua de seus serviços em nuvem

para beneficiar-se de novos serviços

e tecnologias inovadoras, é capaz de atingir sua

meta de redução de custo de 12 a 14% por ano.


Custo total de propriedade

44

"Quando fizemos o cálculo e demonstramos que um sistema baseado

em nuvem custaria menos da metade do sistema no local herdado,

a empresa reagiu imediatamente: ‘É isso que nós queremos. Você só

precisa garantir que vai funcionar e que meus dados estarão seguros.’

Assim que conseguimos resolver todas as pendências, tudo ficou

muito evidente."


Há uma tendência dos usuários maiores e mais bem estabelecidos de serem atraídos pelos


operacional.


Desempenho comercialPara a empresa de marketing, os indicadores chave de

desempenho são específicos ao sistema: custo, tempo de

atividade, desempenho dos aplicativos e segurança. Eles

são considerados no contexto da preocupação mais ampla

com o desempenho da empresa como um todo.

Para o provedor de plataformas de análises móveis, os

indicadores mais importantes estão relacionados ao

negócio propriamente dito: o número de clientes que

usam o serviço, o volume de dados de clientes

manipulados e o valor que isso pode agregar para os

clientes.

45

"Na verdade, toda

a nossa existência

como empresa

é uma medida de

nossos resultados

de utilização de

iniciativas

relacionadas a big

data."

– Provedor de

plataformas móveis


Agilidade do desenvolvedor

46

Para o provedor de plataformas de desenvolvimento de

aplicativos móveis, a aceleração da entrada no mercado

e a capacidade de modificar e expandir sua plataforma de

maneira ágil é fundamental para decidir entre

a implantação de um aplicativo no local ou na nuvem.

Além das considerações referentes ao custo, a agilidade

também é um fator fundamental para a empresa de

serviços financeiros, especificamente a facilidade de

provisionamento de novos recursos de computação

e armazenamento na nuvem, em comparação com

a documentação e os empecilhos encontrados para

a provisão de hardware de servidor no local.

"Se eu quiser

provisionar um grupo

de hardware [na

nuvem], posso fazer

isso agora mesmo. Se

quiser provisionar um

grupo de hardware em

nosso datacenter,

precisarei dar muitos

telefonemas

e preencher uma

papelada fenomenal

durante meses."

– Empresa de serviços

financeiros


Agilidade do desenvolvedor

47

"Acho que o maior beneficiário é o pessoal de operações de

infraestrutura de TI, pois não temos mais nada implantado localmente…"

o fato de um analista ou um cientista de dados ter um ambiente completo

configurado uma hora depois da solicitação significa que os usuários

corporativos também são beneficiados."

– Empresa de estratégia de marketing

A agilidade também foi citada como um benefício pela empresa de estratégia de

marketing, que observa que a maior agilidade beneficia tanto a equipe de operações

quanto os analistas de negócios.


Expectativas

48

"Conforme mudamos os sistemas

[para a nuvem], podemos eliminar

os custos internos relacionados,

que podem reverter em economia

e em mais gastos em big data."


Os entrevistados foram unânimes ao afirmar

que big data é um componente fundamental

dos produtos e serviços que eles oferecem.

Eles também observaram que há uma

expectativa de crescimento de seus

investimentos em big data nos próximos 12-24

meses.

A capacidade ilimitada, a agilidade e os custos

mais baixos proporcionados pela hospedagem

de big data na nuvem são componentes

fundamentais para possibilitar esse

crescimento.


Conclusões• Organizações de diversos tipos podem aproveitar os benefícios do big data. As empresas

entrevistadas representavam startups e fornecedores estabelecidos em diversos setores.

49




• Todas essas iniciativas pioneiras e bem-sucedidas de obter valor comercial do big data têm

como base a capacidade de captar, armazenar e processar dados em nuvem de forma

muito menos onerosa do que seria possível em ambientes no local.

50







• Assim, os usuários podem beneficiar-se de técnicas avançadas de análise, especialmente

a capacidade de avaliação de dados não estruturados, para explorar as informações

armazenadas das empresas.

51










• Os projetos de big data na nuvem não só beneficiam a empresa, mas também se tornam

o núcleo dos negócios.

52












• Os benefícios de big data na nuvem normalmente podem ser mensurados: em uma

organização, as consultas de dados na nuvem apresentaram um resultado 400 vezes

melhor do que as consultas baseadas no local.

53












• Os benefícios de big data na nuvem normalmente podem ser mensurados: em uma

organização, as consultas de dados na nuvem apresentaram um resultado 400 vezes

melhor do que as consultas baseadas no local.

• Em outra empresa, o tempo de execução de uma análise de ameaça de risco crítica para

os negócios diminuiu de 6 a 9 meses para uma semana ou menos, com uma melhora de

98% em relação aos sistemas no local. 54


55



o uso de big data

• https://aws.amazon.com/big-data/business-

value-big-data-learn-more/

Obrigado!

Technology

Webinar: Como obter valor comercial com Big Data