Base de Datos NoSQL - tamps.cinvestav.mxfpech/ddb/files/slides/nosql.pdf · Traducir los objetos a un modelo relacional Fernando Pech May Base de Datos NoSQL Noviembre 2011 7/32

IntroduccionSistemas de Base de Datos Relacionales (RDBMS)

NoSQL-Not Only SQLTeorema CAP (Brewer)

Tecnologıas NoSQL

Base de Datos NoSQL

Instituto Tecnologico Superior de los Rıos

Noviembre 2011

Fernando Pech May Base de Datos NoSQL Noviembre 2011 1/32



Tecnologıas NoSQL

Las nuevas tecnologıas

Actualmente existen grandes organizaciones que realizanoperaciones a traves de aplicaciones Web.

Comercio electronico

Redes sociales

Sistemas B2B

Sistemas de busqueda

B2B (empresa-empresa)

B2C (empresa-comsumidor)

C2C (consumidor-consumidor)

etc.




Tecnologıas NoSQL

Problemas de los RDMBS

Bases de datos Relacionales

En un RDBMS, los atributos de una entidad son almacenadosen columnas de una tabla.

Las columnas son definidas previamente.

Los valores son almacenados en todas las columnas de todoslos elementos o filas de las tablas.




Tecnologıas NoSQL


Bases de Datos Relacionales

Figura 1

Figura 2

Figura 3Fernando Pech May Base de Datos NoSQL Noviembre 2011 4/32



Tecnologıas NoSQL


Las bases de datos relacionales siguen siendo una de lasaplicaciones de software mas exitoso de la historia

Lo utilizan grandes corporaciones que almacenan terabytes deinformacion.

Una tecnologıa utilizada para los negocios

¿Que pasa con las bases de datos relacionales ?

Nada




Tecnologıas NoSQL






Nada




Tecnologıas NoSQL






Nada




Tecnologıas NoSQL






Nada




Tecnologıas NoSQL






Nada




Tecnologıas NoSQL






Nada




Tecnologıas NoSQL


La escala de la Web

Los servidores de Youtube procesan 100 millones de videos pordia.

La empresa chevron almacena 2TB de datos por dia.

En el 2010 la cantidad de informacion en internet eraaproximadamente de 1000EB (1EB = 1.1 millones de TB)

En 2000 Wal-Mart tenia almacenado mas de 110TB




Tecnologıas NoSQL


1 Costo de la lectura de los datos: los datos se representanmediante conjuntos (tablas) relacionados entre sı. Realizaruna consulta al modelo relacional, implica juntar grandesconjuntos de datos con operaciones algebraicas y luego filtrartodo el conjunto resultante (complejidad computacional).

2 Escalabilidad: El gran problema de las BD SQL. Fueronpensadas para correr en un solo servidor con mucha potencia,como mucho tener replicaciones y balanceo de carga.Escalabilidad Vertical (mas CPU, RAM, Disco...),Escalabilidad Horizontal (mas servidores en forma paralela).

3 Representacion del modelo: Programacion con el paradigmaO.O. −→ Traducir los objetos a un modelo relacional




Tecnologıas NoSQL








Tecnologıas NoSQL








Tecnologıas NoSQL

Rendimiento

Respuesta al problema

Como respuesta a estos problemas surgio el movimiento NoSQL

Importante!!!

NoSQL no es un sustituto a las bases de datos relacionales, essolo un movimiento que busca otras opciones para la manipulacionde BD con un rendimiento extremo.

Su mayor ventaja es que estan preparados para ser muyrapidos.

Segun su tipo, cada una sigue una estrategia completamentediferente para persistir la informacion.




Tecnologıas NoSQL

Rendimiento



Importante!!!







Tecnologıas NoSQL

Rendimiento



Importante!!!







Tecnologıas NoSQL

Rendimiento



Importante!!!







Tecnologıas NoSQL

Rendimiento

De donde sale tanto rendimiento

En las BD relacionales, realizar una consulta implica:convertir, preparar, optimizar, procesar, leer del disco,ejecutar... hasta 9 pasos para traerse una simple query.

NoSQL se evita todo esto. Cada runtime se encarga quemediante el api se acceda directamente a los datos.

Acceder a bajo nivel, tener en memoria los datos que nosinteresa, se puede obtener alto rendimiento en grandesvolumenes de datos,




Tecnologıas NoSQL

Premisas CAP

Un sistema satisface al menos 2 delas 3 premisas:

Consistencia: Se refiere a laintegridad de la informacion.

Disponibilidad: Que elsistema este disponible siempre.

Tolerancia alparticionamiento: El sistemacontinua funcionando a pesarde que se pierdan mensajes deforma arbitraria.

Available

ConsistentPartitionTolerant

Figura 4. Teorema CAP.

C

A

P

Relacional: Mysql SQL Server Postgres

Derivados de Amazon Dynamo: Cassandra Voldemort CouchDB Riak

Neo4J, Google BigTable y derivados de BigTable: MongoDB Hbase HyperTable Redis




Tecnologıas NoSQL

Premisas CAP





Available



C

A

P







Tecnologıas NoSQL

Premisas CAP





Available



C

A

P







Tecnologıas NoSQL

Premisas CAP





Available



C

A

P







Tecnologıas NoSQL

Premisas CAP





Available



C

A

P







Tecnologıas NoSQL

Premisas CAP





Available



C

A

P







Tecnologıas NoSQL

Premisas CAP





Available



C

A

P







Tecnologıas NoSQL

CAP en los RDBMS y NoSQL

Los RDBMS le dan mayor importancia a la Consistencia yDisponibilidad (CA)

Los NoSQL le dan mayor importancia a la Consistencia yTolerancia a las particiones y en algunas ocasiones a laDisponibilidad9




Tecnologıas NoSQL


Los RDBMS le dan mayor importancia a la Consistencia yDisponibilidad (CA)

Los NoSQL le dan mayor importancia a la Consistencia yTolerancia a las particiones y en algunas ocasiones a laDisponibilidad9




Tecnologıas NoSQL


C

A

P







Tecnologıas NoSQL

BD orientado en Columnas (AP)BD orientado por clave-valor (CP)BD orientado a DocumentosBD arientados a Grafos

Base de Datos NoSQL

Las bases de datos NoSQL rompen con la barrera delrendimiento segun su

TipoEstrategia de Ejecucion

Pueden funcionar directamente en la Memoria

Llevar registros o trabajar directamente en el Disco

Modo de almacenamiento

No se guardaran los datos en tablas y columnas sino de otro modo




Tecnologıas NoSQL


Base de Datos NoSQL


Tipo

Estrategia de Ejecucion








Tecnologıas NoSQL


Base de Datos NoSQL










Tecnologıas NoSQL


Base de Datos NoSQL










Tecnologıas NoSQL


Base de Datos NoSQL










Tecnologıas NoSQL


Base de Datos NoSQL










Tecnologıas NoSQL


Base de Datos NoSQL










Tecnologıas NoSQL


4 vertientes

Metodos de almacenamiento

1 Orientado en Columnas

2 Por Clave-Valor

3 En forma de documentos

4 En forma de Grafos




Tecnologıas NoSQL


4 vertientes



2 Por Clave-Valor






Tecnologıas NoSQL


4 vertientes



2 Por Clave-Valor






Tecnologıas NoSQL


4 vertientes



2 Por Clave-Valor






Tecnologıas NoSQL


4 vertientes



2 Por Clave-Valor






Tecnologıas NoSQL


4 vertientes



2 Por Clave-Valor






Tecnologıas NoSQL


Guardan los datos en columnas en lugar de filas

Se almacena una clave y a esta de le asocia una supercolumnacon nuestra informacion

Evita almacenar valores nulos

Se gana mucha velocidad en lectura

No es eficiente para realizar escritura

Utilidad

Data Warehouses

Sistemas de negocios inteligentes




Tecnologıas NoSQL







Utilidad

Data Warehouses





Tecnologıas NoSQL







Utilidad

Data Warehouses





Tecnologıas NoSQL







Utilidad

Data Warehouses





Tecnologıas NoSQL







Utilidad

Data Warehouses





Tecnologıas NoSQL







Utilidad

Data Warehouses





Tecnologıas NoSQL







Utilidad

Data Warehouses





Tecnologıas NoSQL


Consideremos una tabla con las siguientes columnas:nombre,apellidos, ocupacion, cp y genero:Un registro puede ser:

nombre: Juanapellidos: Perez Sanchezcp: 10001

genero: hombre




Tecnologıas NoSQL


Almacenamiento de las BD relacionales

Valores Nulos

Se pueden actualizar las filasdependiendo del filtro utilizadoen la clausula where




Tecnologıas NoSQL



Valores Nulos





Tecnologıas NoSQL



Valores Nulos





Tecnologıas NoSQL



Valores Nulos





Tecnologıas NoSQL


Almacenamiento de BDs basadas en columnas

Columnas: Nombre, Apellidos,

ocupacion, cp, genero

Nombre: JuanApellidos: Perez Sanchezcp: 10001genero: hombre

Nombre: Carloscp: 86930

Familia de columnas

Nombre

For row-key: 1nombre: JuanApellidos: Perez SanchezFor row-key: 2nombre: Carlos

Localizacion

For row-key: 1cp: 10001For row-key: 2cp:86930

Perfil

For row-key: 1genero: hombre




Tecnologıas NoSQL







Familia de columnas

Nombre


Localizacion


Perfil





Tecnologıas NoSQL







Familia de columnas

Nombre


Localizacion


Perfil





Tecnologıas NoSQL







Familia de columnas

Nombre


Localizacion


Perfil





Tecnologıas NoSQL







Familia de columnas

Nombre


Localizacion


Perfil





Tecnologıas NoSQL







Familia de columnas

Nombre


Localizacion


Perfil





Tecnologıas NoSQL


Tecnologıas de BD orientado a columnas

Cassandrahttp://cassandra.apache.org

Hbasehttp://hbase.apache.org




Tecnologıas NoSQL


Creacion de un Esquema



<Keyspaces> <Keyspace Name="AutentiaModel"> 

<ColumnFamily Name="Persona" CompareWith="BytesType"/> <ReplicaPlacementStrategy> org.apache.cassandra.locator.RackUnawareStrategy </ReplicaPlacementStrategy> </Keyspace> ...</Keyspaces>




Tecnologıas NoSQL


Creacion de un Esquema

{ “row_key_1” : { “Nombre” : { ... }, “Localizacion” : { ... }, “Perfil” : { ... } }, “row_key_2” : { “Nombre” : { ... }, “Localizacion” : { ... }, “Perfil” : { ... } }, “row_key_3” : { ...}

Familia de Columnas

{ “row_key_1” : { “Nombre” : { “nombre” : “Juan”, “Apellidos” : “Perez Sanchez” }, “Localizacion” : { “cp”: “10001” }, “Perfil” : { “genero” : “hombre” } }, “row_key_2” : { “Nombre” : { “nombre” : “Carlos”, }, “localizacion” : { “cp” : “86930” } } ...}

Registros

{ “row_key_1” : { “Nombre” : { “nombre” : { 1: Juan }, "Apellidos" :{ 1: Perez Sanchez } }, “Localizacion” : { “cp”: { 1: 10001 } }, “Perfil” : { “genero” : { 1: hombre } } } ...}

Organización de Columnas




Tecnologıas NoSQL


Son las BD mas simples en cuanto a su uso pero difıcil suimplementacion

Simplemente almacena valores identificados por una Clave

Los datos se almacenan como un arreglo de Bytes (BLOB)

Puede almacenar cualquier tipo de valor (schema-less)

Es irrelevante el tipo de contenido; solo le importa la clave yel valor asociado




Tecnologıas NoSQL










Tecnologıas NoSQL










Tecnologıas NoSQL










Tecnologıas NoSQL










Tecnologıas NoSQL


Eficiencia

Lectura

Escritura

Pueden escalar facilmente particionando los valores deacuerdo a su clave




Tecnologıas NoSQL


Eficiencia

Lectura

Escritura





Tecnologıas NoSQL


Eficiencia

Lectura

Escritura





Tecnologıas NoSQL


Tecnologıas de BD orientado a clave-valor

Redishttp://redis.io/

Amazon SimpleDB

Oracle BerkeleyDB




Tecnologıas NoSQL


Arquitectura Redis




Tecnologıas NoSQL


Son simplemente un almacen key-value

El valor no se guarda solo como un campo binario, mas biencoon un formato definido

Siguen siendo schema-less

Altamente escalable




Tecnologıas NoSQL





Altamente escalable




Tecnologıas NoSQL





Altamente escalable




Tecnologıas NoSQL





Altamente escalable




Tecnologıas NoSQL


Tecnologıas de BD orientado a documentos

MongoDB

CouchDB

Base de Datos=Base de Datos

Tabla=Coleccion

Registro ∼ Documento




Tecnologıas NoSQL


Arquitectura MongoDB

Sencillo, potente y rapido

Hace uso de JSON




Tecnologıas NoSQL



{ ”title”: ”MongoDB”, ”Content”: ”Mi contenido” }




Tecnologıas NoSQL



No contiene esquema

Cada documento puede tener distinta estructura

Uso de ODM (Object Document Mapper)

Increiblemente flexible




Tecnologıas NoSQL


Representa la informacion como nodos de un grafo y susrelaciones como aristas.

Significa que se puede usar teorıa de grafos para recorrer labase de datos

De alto rendimiento.

Busquedas optimizadas en facebook y twitter




Tecnologıas NoSQL


Tecnologıas de BD orientado a grafos

Neo4J

Hyperbase-DB

InfoGrid.




Tecnologıas NoSQL


Principales lenguajes donde se pueden utilizar las BDNoSQL

Java

Python

Ruby

PHP




Tecnologıas NoSQL



Java

Python

Ruby

PHP




Tecnologıas NoSQL



Java

Python

Ruby

PHP




Tecnologıas NoSQL



Java

Python

Ruby

PHP




Tecnologıas NoSQL

La Actualidad

La informacion en la red se vuelve cada vez mas compleja y demayor volumen. Toda esta informacion requiere ser almacenado engrandes volumenes de base de datos.A todo esto surge un problema, la lentitud de almacenar y haceroperaciones en las base de datos relacionales.Estos nuevos paradignas de almacenamiento puede mejorardrasticamente las operaciones en las BD.

Que pasarıa con estas BD NoSQL si lo almacenamos enDiscos duros de estado solido?

Documents

Base de Datos NoSQL - tamps.cinvestav.mxfpech/ddb/files/slides/nosql.pdf · Traducir los objetos a un modelo relacional Fernando Pech May Base de Datos NoSQL Noviembre 2011 7/32