Big & Open Data: Analytics and Development

Victoria López, PhD.Universidad Complutense de Madrid

Grupo GRASIA Sección G-TeC

2013-2014

Big DataOpen DataR programming & analytics City of Madrid

• Open Government – Smart City

International Projects: Mexico-China-Spain

Big DataFrom Data Warehouse to Big Data

Alex ' Sandy' Pentland, director del programa de emprendedores del 'Media Lab' del Massachusetts Institute of Technology (MIT)

Considerado por 'Forbes' como uno de los siete científicos de datos más poderosos del mundo

Big Data

Datos no estructurados

5

¿Quién genera Big Data?

El progreso y la innovación ya no se ven obstaculizados por la capacidad de recopilar datos, sino por la capacidad de gestionar, analizar, sintetizar, visualizar, y descubrir el conocimiento de los datos recopilados de manera oportuna y en una forma escalable

Redes Sociales (todos generamos datos)Instrumentos científicosDispositivos móvilesRedes de sensores: (miden toda clase de datos)

Big DataLas 5 V’s de Big Data

7

Escalabilidad de grandes cantidades de datos – Exploración 100 TB en 1 nodo @ 50 MB/sec = 23 días– Exploración en un clúster de 1000 nodos = 33 minutos

Solución Divide-y-Vencerás

MapReduce– Modelo de programación de datos paralela– Concepto simple, elegante, extensible para múltiples aplicaciones– Grandes datasets nodos de multiprocesadores– Conjuntos de nodos: Clústeres o Grids (programación distribuida)• Creado por Google (2004)– Procesa 20 PB de datos por día– Basado en los métodos Map y Reduce de programación funcional– Orígenes en cálculo numérico (multiplicación de matrices grandes).

Big DataMapReduce

Completamente transparente para el usuario

Big DataMap Reduce

Hadoop es una implementación de código abierto del modelo de programación computacional

MapReduce– Usado por Yahoo!, Facebook, Twitter

Amazon, eBay…– Implementa MapReduce en

diferentes arquitecturas tanto clúster como grid (Cloudcomputing)

http://hadoop.apache.org/

Big DataHadoop

Open Data

Open Data

Open Data es una iniciativa mundial que pretende que los datos de las Administraciones Públicas se expongan y sean accesibles de forma que estén disponibles para su redistribución, reutilización y aprovechamiento por parte de los ciudadanos y las empresas.

“Open data is data that can be freely used, reused and redistributed by anyone – subject only, at most, to the requirement to attribute and share alike.” OpenDefinition.org

Open DataAcceso y disponibilidad: datos descargables

mediante aplicaciones Web

Reutilización y distribución: El formato de los datos

debe permitir no solo su lectura sino también su

tratamiento informático.

Participación universal: Todo el mundo debe poder

acceder a los datos en igualdad limitando el uso

comercial y ciertos propósitos no permitidos.

Open Data

Sistemas OpenData: Promoción de la creación de sistemas Opendata por los usuarios y las organizaciones.

Ejemplo EMT-Madrid: “Sistema Opendata: Cualquier sistema telemático propiedad de EMT a través del cuál se suministra información a sus cesionarios para que alimenten sus Aplicaciones Finales” (Acuerdo de cesión de datos, EMPRESA MUNICIPAL DE TRANSPORTES DE MADRID, S. A.)

Open DataUn ejemplo con Open Data Euskadi

Open DataUn ejemplo con Open Data Euskadi

PRINCIPALMENTE APPS PARA DISPOSITIVOS MÓVILES

Open DataUna ejemplo con Recycla.me y Recycla.te!

Patrón Cliente/Servidor

PÚBLICOS PÚBLICOS O PRIVADOS

Open DataUna ejemplo con Recycla.me y Recycla.te!

GENERA NUEVOS DATOS Y PRODUCE

UN SERVICIO

El lenguaje R. Análisis de los datos

Valor

Traducir en valor los datos recabados de diversas fuentes

Qué hacemos con R

Análisis de datos de consumo energético

Qué hacemos con R

Qué hacemos con RAnálisis de datos en Bioinformática y BioestadísticaAplicaciones del TENS en Dolor OrofacialAlineamiento de Secuencias de ADN

Qué vamos a hacer ahora :Análisis de Datos de Sistemas Open Data en el Ayuntamiento de Madrid

Mariam SaucedoPilar TorralboDaniel Sanz

Recycla.me

Ana AlfaroSergio Ballesteros

Lidia Sesma

Héctor Martos

Álvaro Bustillo

Arturo Callejo

Belén Abellanas

Jaime Ramos

Ignacio P. de Ziriza

Victor Torres

Alberto Segovia

Miguel Bueno

Mar Octavio de Toledo

Antonio SanmartínCarlos Fernández

MAPA DE RECURSOS

RECYCLA.TE

Proyectos Internacionales de G-TeC

Optimization and Management of Utility ServicesOptimización de recursos medioambientales, sostenibilidad medioambiental, con aplicaciones a las smartcities

– Electricidad (Head: España, Universidad Complutense)– Agua (Head: México, Universidad de Sonora)– Residuos: Reciclaje y Reducción (Head: China, Southwest

Jiaotong University))

Conclusions: From Data to Services