Aplicações Práticas de Machine Learning

aplicações práticas de machine learning

Luiz Costa@gutomcosta

www.sagadoprogramador.com.br

artificial Intelligence?

machine learning?Intro to Artificial

IntelligenceStanford online 2011

Intro to Machine Learning

Stanford online 2011

IA e ML!

IA e ML???

machine learningIn which we describe agents that can improve their behaviour

through diligent study of their own experiences.

“Artificial Intelligence -A modern approach"-Stuart Russell and Peter Norvig

Field of study that gives computers the ability to learn without being explicitly programmed.

Arthur Samuel (1959)

Machine learning is a subfield of computer science (CS) and artificial intelligence (AI) that deals with the construction and study of systems that can learn from data, rather than follow only explicitly programmed instructions. Besides CS and AI, it has strong ties to statistics and optimization, which deliver both methods and theory to the field.

Machine Learning - Wikipedia

Machine learning is a subfield of computer science (CS) and artificial intelligence (AI) that deals with the construction and study of systems that can learn from data, rather than follow only explicitly programmed instructions. Besides CS and AI, it has strong ties to statistics and optimization, which deliver both methods and theory to the field.

Machine Learning - Wikipedia

supervised learning

Aprendendo através de exemplos

dados de exemplo

unsupervised learning

sem exemplos, o que é possível fazer?

clustering

clustering

marketingdescobrir grupos distintos em uma base de clientes e usar estes grupos para ajudar no

desenvolvimento de campanhas focadas nos nestes grupos

segurosdescobrir perfis com alto risco para seguros de

automóveis

na práticadois exemplos de uso. Será que dá

tempo?

evoluindo um sistema de

recomendação

vandal.com.br

collaborative filtering

usuários avaliam

não existe avaliação

content-based recommendation

características

1. Mostrar itens similares

vector space model

skull caveira flower vintage caveiras

produto1 1 1 1 0 0

produto2 1 1 0 1 1

produto3 1 1 0 0 0

O quanto um produto é similar a

outro?

cálculo de similaridade

cálculo de similaridade

obtendo produtos similares

obtendo produtos similares

obtendo produtos similares

obtendo produtos similares

Hein ????

2. recomendação personalizada

em desenvolvimento

Como mostrar aqui o que é interessante para um usuário?

construindo um profile de

preferências do usuário

capturando ações do usuário

data evento conteúdo

01/09/2014 08:35 buscou{query: "caveira",

produtos: [1991, 1331, 3892] }

01/09/2014 08:39 visualizou {id: 1991}

01/09/2014 08:34 visualizou {id:1331}

01/09/2014 08:40 like {id: 1331}

01/09/2014 08:44 comprou {id: 1331}

Usuário: Paulo José

capturando ações do usuário

data evento conteúdo

01/09/2014 08:35 buscou{query: "caveira",

produtos: [1991, 1331, 3892] }

01/09/2014 08:39 visualizou {id: 1991}

01/09/2014 08:34 visualizou {id:1331}

01/09/2014 08:40 like {id: 1331}

01/09/2014 08:44 comprou {id: 1331}

construindo as preferências

construindo as preferências

algumas ações não seriam mais

importantes que outras?

capturando ações do usuário

data evento conteúdo peso

01/09/2014 08:35 buscou {query: "caveira", produtos:

[1991, 1331, 3892] }0.3

01/09/2014 08:39 visualizou {id: 1991} 0.1

01/09/2014 08:34 visualizou {id:1331} 0.1

01/09/2014 08:40 like {id: 1331} 0.6

01/09/2014 08:44 comprou {id: 1331} 1

construindo as preferências com pesos

vector space model

skull caveira flowers metal caveira

silustraçã

o arte cool

produto_1331

1 1 1 0 0 0 0 0

produto_1991 0 1 0 1 1 1 1 0

produto_3892

1 1 0 0 1 0 0 1

Paulo José 1 1 0 1 1 1 1 0

agora é só calcular a similaridade das preferências de usuário com os

produtos

agora é só calcular a similaridade das preferências de usuário com os

produtos

similaridade do cosseno

processos inteligentes e

process miningaquela história de BPM, Enterprise, pode ser

divertida

business process management

process mining

• process discovery

• performance analysis

• process prediction

• process improvement

o que realmente aconteceu?

quais são os gargalos do meu processo?

esta instância vai estourar o sla?

como posso redesenhar este processo com o que foi aprendido?

log de eventos

análise

e a análise sobre dados de negócios?

exemplo compra de passagens aéreas

passageiro companhia trecho preço data da compra

data do embarque

dias de diferença

Souza/Jose TAM SDU/CGH 570,00 28/01/2014 05/02/2014 8

Costa/Luiz TAM SDU/CGH 200,00 08/04/2014 09/06/2014 62

Paiva/Roberto AVIANCA SDU/CGH 126,00 25/02/2014 11/03/2014 14

Ronaldo/Cristiano TAM SDU/CGH 258,70 25/11/201

4 17/12/2014 22

log resumido processo de compra de passagens aéreas

dados de negócio?

• o que define uma boa compra?

• quais são as variáveis que mais influenciam na compra?

• por que uma compra ruim, foi ruim?

definição de um processo automático para obter respostas

Statistical Learning

casecontexto e

objetivo

qual seria a entrada de dados necessária?

passageiro companhia trecho preço data da compra

data do embarque

dias de diferença

Souza/Jose TAM SDU/CGH 570,00 28/01/2014 05/02/2014 8

Costa/Luiz TAM SDU/CGH 200,00 08/04/2014 09/06/2014 62

Paiva/Roberto AVIANCA SDU/CGH 126,00 25/02/2014 11/03/2014 14

Ronaldo/Cristiano TAM SDU/CGH 258,70 25/11/201

4 17/12/2014 22

preço

570,00

200,00

126,00

258,70

como definir o que é uma boa compra?

preço

570,00

200,00

126,00

258,70

como definir o que é uma boa compra?

preço <= 181,50

quais são as variáveis que mais influenciam na compra?

quais são as variáveis que mais influenciam na compra?

lineares? Não lineares?

variáveis mais

importantes

quais são as variáveis que mais influenciam na compra?

Ex. código R

por que uma compra ruim, foi ruim?

passageiro companhia trecho preço data da compra

data do embarque

dias de diferença

Souza/Jose TAM SDU/CGH 570,00 28/01/2014 05/02/2014 8

por que uma compra ruim, foi ruim?utilizando as variáveis

identificadas, é possível ter alguns insights

dias de diferença companhia

boas case boas case

14 8 100% Avianca TAM

passageiro companhia trecho preço data da compra

data do embarque

dias de diferença

Souza/Jose TAM SDU/CGH 570,00 28/01/2014 05/02/2014 8

muita estatística

considere R para prototipação. Para produção existem

boas alternativas, mas não deixe de olhar python + pandas +

scikit

existem vários cenários que é possível aplicar as idéias de machine

learning dentro da sua empresa e não precisa ser big data small data

Obrigado.

ReferênciasIntrodução a sistemas de recomendação - https://www.coursera.org/course/recsys

Recommender Systems: An Introduction - http://www.amazon.com/Recommender-Systems-Introduction-Dietmar-Jannach/dp/0521493366

Process Mining - http://www.processmining.org/

Statistical Learning Theory -http://en.wikipedia.org/wiki/Statistical_learning_theory

R Language - http://www.r-project.org/

scikit learn - http://scikit-learn.org/stable/

Vandal - www.vandal.com.br

An Introduction to Statistical Learning with applications in R - Gareth James, Daniela Wittern, Trevor Hastie, Robert Tibshirani