Embed Size (px)
Citation preview
BIG DATA Bases de datos en el internet de las cosas
Xabi Tranche
P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 3 2 7 / 0 2 / 1 5
La profesión que importará dentro de 4 años todavía no se ha inventado. Growth Hacker – Economia + Ingenieria de software 15 años trabajando INET – WEB 2.0 Socio ThinkOnMarketing – estrategia digital & innovación Socio Muaaka – red social musical Promotor StartUp SOCIAL BIG DATA @JavitxuTranche Xabi Tranche Xabi Tranche
¿Qué es el Big Data?
P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 4 2 7 / 0 2 / 1 5
Limitaciones de las bases
de datos relacionales
P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 5 2 7 / 0 2 / 1 5
P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 6
P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 7
P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 8
P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 9
P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 1 0
Que problemas resuelve
P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 1 1
FACEBOOK - Boing
Facebook genera 500 Terabytes de datos al día.
Un Boing 737 genera 240 Terabytes en un vuelo
World Of WarCraft – Stock Change
Cambios en MicroSegundos
Social Media
La información no sigue una estructura a priori
Volumen Velocidad Variedad
2 7 / 0 2 / 1 5
BIG DATA PARA QUÉ
Nuevos tipos de Apps
NightBits, Crime Reduce
Reducir COSTE /Waste
Open Source /Escalabilidad
Fuentes Dispares
A short text that gives a brief biography of the person shown above.
Adivinar
A short text that gives a brief biography of the person shown above.
2 7 / 0 2 / 1 5 P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 1 2
• Características BBDD BigData
P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 1 3 2 7 / 0 2 / 1 5
P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 1 4
P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 1 5
P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 1 6
P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 1 7
P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 1 8
P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 1 9
P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 2 0
P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 2 1
P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 2 2
P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 2 3
• Limitaciones de las bases de datos no relacionales
P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 4 2 7 / 0 2 / 1 5
P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 2 5
P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 2 6
P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 2 7
• Tipos de bases de datos
P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 8 2 7 / 0 2 / 1 5
Clave - Valor
P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 9
HashMap con clave única
Fácil de escalar. Server 1 del 1 al 1000, Server2 del 1001 al 2000
BigTable, Cassandra, Hadoop, MemCacheDB, Voldemort
El valor es de tipo BLOB MUY EFICIENTES
2 7 / 0 2 / 1 5
Basada en Documentos
P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 3 0
ALMACENA UN DOCUMENTO LEGIBLE
Consultas avanzadas
Podemos establecer relaciones
MongoDB, CoachDB
FORMATOS JSON o XML EL SERVIDOR PUEDE MANIPULARLOS
2 7 / 0 2 / 1 5
Basadas en Grafos.
P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 3 1
Para medir y almacenar relaciones
NEO4J
Cypher Query Language
ACID
RESTFUL
Representación explícitas de JOIN tradicionales
Las relaciones en si mismas tienen Info REDES SOCIALES
2 7 / 0 2 / 1 5
P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 3 2
P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 3 3
Basada en Columnas
P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 3 4
ALMACENA UN DOCUMENTO por columna
Cassandra
RAPIDA LECTURA MALA ESCRITURA
2 7 / 0 2 / 1 5
• Como migrar de Rel a BD
P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 3 5 2 7 / 0 2 / 1 5
Que problemas resuelve
P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 3 6
Pais - ciudades
Objeto JSON PAIS con multiples atributos ciudad
Pentaho MongoDB
Necesitamos un software de Terceros
Pentaho MongoDB
VIVA JS!
1:N a todos los
documentos
Usar una transformacio
n Manejar
objetos JSON
2 7 / 0 2 / 1 5
P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 3 7
Consulta y previsualización
P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 3 8
Mapeamos los resultados a la colección
P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 3 9
Donde albergar
* MoNgoLab
* MongoHQ
* AmazonWS (Hadoop)
* PARSE
Donde albergar
* OPENSHIFT (Red Hat )
* HDInsight (Microsoft – Hadoop - HIVE)
* Graphenedb (NEO4J)
