Bases de Datos - · Nivel 0 (Data Striping): Acceso a todos los discos en paralelo, colocando bytes de cada archivo en varios discos. Si falla un disco, falla todo el sistema

1

Bases de Datos

Universidad de los AndesDemián Gutierrez

Marzo 2011

2

¿qué es un dato?&&

¿qué es unabase de datos?

...fastidiemos a la gente con estas preguntas

3

Base de Datos / Datos

Base de Datos:Conjunto de datos relacionados entre si

Navathe

Dato:Hechos conocidos que pueden registrarse y que

tienen un significado implícitoNavathe

34

Pedro Pérez

210013/07/75Computación

1298722344 Juan Rondón

2500

30/10/65

6987223

6987223

23

23 23

Dato

Conjunto de Datos

Los datos no tienen valor semántico en si mismos

4

¿de que sirven los datos si no tienen ningún valor

semántico?

5

¿qué es un metadato?

6

Metadatos

PROFESOR

Nombre (CADENA)(NO NULO,

MENOR QUE 10 CARACTERES,MAYOR QUE 3 CARACTERES),

Salario(BsF/Mes) (NUMERICO)(NO NULO, > 0)

Edad (ENTERO, > 0, < 120)Cédula (CADENA)

(NO NULO, 8 CARACTERES),FechaNac (FECHA)

(FORMATO DD/MM/AA)

CódigoDpto ((ENTERO) (NO NULO, > 0)

Metadatos: Son “Datos” que describen “Datos”

Silberschatz

DEPARTAMENTO

Código (ENTERO) (NO NULO, > 0)

NombreDpto (CADENA)(NO NULO,

MENOR QUE 10 CARACTERES,MAYOR QUE 3 CARACTERES),

CédulaJefe (CADENA)(8 CARACTERES)

7

¿información?

8

Información

NombreDpto=Computación

CédulaJefe=6987223

Código=23

Edad=44

Nombre=Juan Rondón

Salario(BsF/Mes)=2500

FechaNac(DD/MM/AA)=30/10/65

Cédula=6987223

CódigoDpto=23

Edad=34

Nombre=Pedro Pérez

Salario(BsF/Mes)=2100


Cédula=12987223

CódigoDpto=23

Basede

Datos

Información = Datos + Metadatos(conjunto de datos organizados)

9

Minimundo / Universo de DiscursoRelación Base de Datos / Mundo Real

BD

Código=23NombreDpto=Computación

CédulaJefe=6987223

Nombre=Pedro PérezSalario(BsF/Mes)=2100

Edad=34Cédula=12987223


CódigoDpto=23

Nombre=Juan RondónSalario(BsF/Mes)=2500

Edad=44Cédula=6987223


CódigoDpto=23

Mundo Real(Minimundo,

Universo de Discurso)

Personas, Automóviles,Dinero, Aviones, Barcos,

Materiales, Insumos, Equipos,Universidades, Escuelas,

Gobierno,Medicina,etcétera ...

Es Representadoen una

Base de Datos

Abstracción o Modelo del Mundo Real

Proceso de Modelado de

Datos

Representación de hechos del

mundo real

10

¿donde se almacenan los datos?

11

¿Donde se Almacenan los Datos?(Físicamente)

Memoria Principal / Almacenamiento Primario (RAM)

Es “direccionable” directamente por las instrucciones del procesador y se puede acceder de forma aleatoria, pero no persiste en el tiempo en caso de reiniciar o apagar el

computador

12


Memoria Secundaria / Almacenamiento Secundario

No es “direccionable” directamente por las instrucciones del procesador (pero se puede acceder de forma

aleatoria) y es persistente en caso de reiniciar o apagar el computador

13

NO es “direccionable” directamente por las instrucciones del procesador y NO se puede acceder de forma

aleatoria (Acceso secuencial)


Memoria de Acceso Secuencial

14

1952: Carretes de cinta de 12” y 1,4 GB

2002: Cartuchos de 1GB-50GB. Prototipo IBM de 1TB

Hoy en día se fabrican Cintas de 800GB y más aún


15


Magnéticos: RAMAC (5 mega caracteres de 7 bits) 4 discos grandes de aluminio (1952), discos removibles de 2MB

(1962), 3340 winchester drive de 60MB (1973), 1GB, 1'' de alto y densidad 354 MB/pul2. Duro (40GB, 60GB, etc.), ZIP

(100MB, 250MB, 750MB), Jaz (1GB), Syquest (44MB) (1993)

Magneto-ópticos (128MB, 650MB, 1.3GB)

Ópticos: Láser que calienta un punto en la cubierta de óxido de metal. Tecnología regrabable. CD-ROM (700MB), DVD

vídeo y DVD-ROM (4.7GB/cara y capa).

Flash Disk: Lentas en escritura, para celulares, cámaras y ahora también para computadoras (Pen Drive), se conectan por los puertos USB (2000), “Discos Duros” de Estado Sólido

(2009-)

16

¿estrategias paraalmacenar

información de forma redundante?

17

Arreglos de Discos(RAID: Redundant Array of Inexpensive Disks)

http://es.wikipedia.org/wiki/RAID

http://es.wikipedia.org/wiki/RAID

18

Arreglos de Discos(RAID: Redundant Array of Inexpensive Disks)

● Nivel 0 (Data Striping): Acceso a todos los discos en paralelo, colocando bytes

de cada archivo en varios discos. Si falla un disco, falla todo el sistema.● Nivel 1 (Data Mirroring): Lee / escribe datos en dos o más discos, si hay una

falla se pasa al espejo instantáneamente. Mejor rendimiento, menor capacidad.

Tolerancia a fallas.● Nivel 2: No disponible comercialmente, discos no estándares.● Nivel 3 (Paridad): Coloca los datos en varios discos, pero usa un disco para

tener los datos de paridad. Si hay una falla, puede reconstruir los datos sin tener

la copia física (espejo).● Nivel 4 (Paridad): Como el nivel 3 pero coloca bloques en vez de bytes, pero el

disco de paridad es el cuello de botella.● Nivel 5 (Paridad): Usa bloques de datos y paridad colocados

en los diferentes discos, eliminando el cuello de botella del 4.● Nivel 6 (Paridad Dual): Como el nivel 5, pero calcula la

paridad dos veces y la escribe en los diferentes discos.

Soporta varias fallas simultáneas, pero baja el rendimiento

del arreglo.

19

¿archivos?¿archivos físicos?

¿lógicos?

20

¿Cómo se Almacena la Información en la MS?(Archivos Físicos)

Archivo Físico:Cilindros, sectores, pistas, etcétera

21

¿Cómo se Almacena la Información en la MS?(Archivos Físicos)

Archivo Físico:Colección de bytes u octetos almacenados en el

medio de almacenamiento secundario

... ... ... ... ... ...

... H o l a

M u n d o ...

... ... 2A AA F2 56

Los datos están físicamente ubicados en algún lugar de

la memoria secundaria

Sobre discos duros y organización física (no validado):http://elendill.wordpress.com/2009/09/28/discos-duros-2/

http://elendill.wordpress.com/2009/09/28/discos-duros-2/

22

Requisitos / Requerimientos

¿se imaginan el problema que tendríamos si fuera necesario

acceder al disco duro teniendo todos estos detalles en mente?

23

¿Cómo se Almacena la Información en la MS?(Archivos Lógicos)

Archivo Lógico: colección de registros que tienen una estructura definida y especificada en el

programa que lo utiliza

Pedro Perez|13445992|25|19750713Luis Guerra|4559352|21|19650324Hector Gutierrez|12835361|44|19500305

Es importante, en lugar de la estructura física en la memoria secundaria, la estructura lógica de los registros

(formato del archivo, etcétera)(¡Independencia Física! = ¡Abstracción!)

Pedro Perez 134459922519750713Luis Guerra 45593522119650324Hector Gutierrez 128353614419500305

24


¿qué es un sistema manejador de archivos?

25

¿Como se accede a los archivos y a la MS(Sistema Manejador de Archivos / SMA)

Pedro Perez 134459922519750713Luis Guerra 45593522119650324Hector Gutierrez 128353614419500305

SMA

Programa deAplicación

El SMA se encarga de los detalles relacionados a la ubicación y distribución física de los archivos en disco (entre otras cosas)

26

Objetivos / Funciones de un SMA

Utilización de los discos: Permitir el manejo de la memoria secundaria / identificación de archivos /

manejo de volumenes

Independencia entre los programas de aplicación y las memorias secundarias: Posibilidad de cambiar los datos de memoria secundaria sin

cambiar los programas de aplicación

Posibilidades de acceso secuencial y aleatorio / direccionamiento relativo

Soporte de múltiples usuarios / procesos: Múltiples usuarios o procesos accediendo de forma

simultanea o distribuida en el tiempo al archivo

27

Objetivos / Funciones de un SMA

Seguridad y protección de archivos: Protección de los archivos contra accesos malintencionados o no

autorizados (Derechos de acceso, claves de protección) y garantizar la conservación de los archivos en caso de fallas de algún equipo o de algún programa (Fallas simples / catastróficas)

Administrar el espacio “libre” de la memoria secundaria

Uso de lenguajes anfitriones: Es posible escribir un programa utilizando operaciones de E/S en algún

tipo de lenguaje de programación. Tener un API para realizar operaciones sobre archivos

28

1. Manipulación de archivos: • Instrucciones básicas:

● CREAR y DESTRUIR un archivo. ● ABRIR, antes de LEER o ESCRIBIR se controla su

identidad y se abre un camino de acceso entre el programa de aplicación y la memoria secundaria.

● Cuando se finaliza el uso del archivo se cierra el camino de acceso con CERRAR.

2. Direccionamiento relativo: este es útil en caso de copia del archivo y control del mismo. • Dirección relativa: desplazamiento con respecto a la

dirección de inicio del mismo. • Generalmente se divide el archivo en páginas (bloques,

grupos, paquetes, intervalos o cubetas), donde la dirección relativa de un octeto se compone del número de página + el número del octeto dentro de ella.

Funciones de un SMA

29

• Tamaño de página: normalmente igual a la longitud del "buffer" de E/S.

• Se puede acceder a una o varias páginas mediante los algoritmos de localización en MS y de conversión de direcciones relativas a direcciones reales y viceversa.

• Los registros son colocados dentro de las páginas por los métodos de acceso siguiendo la organización escogida.

• Si se tienen varios registros dentro de una misma página se dice que ellos están agrupados en un mismo bloque y ese número define el factor de bloqueo.

• Si dentro de la página los registros van unos después de los otros sin que existan huecos intermedios se dice que hay compactación.

• Con la compactación un registro puede estar parte en una página y parte en la página siguiente.

Funciones de un SMA

30

1. Localización de espacio en la memoria secundaria: • El tamaño de un archivo puede ser fijo o variable. • En cualquiera de los dos casos se necesita reservar zonas

de MS continuas para el almacenamiento del mismo. • Dichas zonas se denominan regiones las cuales son

zonas adyacentes asignadas de una sola vez al archivo. • Las regiones asignadas a un archivo generalmente no son

contiguas físicamente por lo que el SMA debe poder encontrarlas.

• Para ello se guardan las listas de las regiones asignadas a los archivos como tablas o como listas enlazadas.

• El tamaño de una región es variable y se asigna a partir de un mínimo llamado unidad de localización, por ejemplo una pista.

• Luego que un archivo se destruye las regiones son liberadas para que puedan usarse nuevamente

Funciones de un SMA

31

1. Localización de los archivos en los volúmenes: • Debe poder identificar un volumen, con un nombre o un número que

le sirve al operador para identificar el volumen al montarlo o desmontarlo en la unidad.

• La etiqueta de un volumen es el primer sector donde se guarda su identificación particular.

• Para encontrar el archivo en el volumen se usa un descriptor de archivo o entrada de un directorio que es el conjunto de informaciones que permiten describir las características de un archivo.

• Tales entradas se agrupan en el directorio que es una tabla del volumen que contiene las entradas del directorio o del catálogo.

• Si el número de archivos es muy grande se tienen varios catálogos formando una jerarquía de directorios.

Funciones de un SMA

32

1. Control de los archivos: • El núcleo del SMA incluye las funciones de:

● compartir archivos, ● resistencia a las fallas, ● seguridad y ● confiabilidad de los datos

● Organización y métodos de acceso selectivo– Un método de acceso es selectivo si él no es secuencial. – Para poder acceder en forma selectiva al registro

deseado es necesario contar con un identificador del registro o del conjunto de registros que se desean obtener luego de la búsqueda.

– Este identificador se llama comúnmente la clave de búsqueda o de recuperación.

Funciones de un SMA

33


¿qué es un SGBD y porque lo necesitamos?

una aplicación tradicional que almacena información en

archivos

34

Aplicaciones Orientadas a Archivos

Bienes Raíces “Tu Casa” C.A.

clientes.txt

...

ventas.txt

...

casas.txt

...

edificios.txt

...

CrearCliente

EditarEliminarCliente

ListarCliente(Todos)

EliminarClientes sin

Ventas

RegistrarVenta

contable.txt

...

ReporteGeneral de

Ventas

CrearEdificio o

CasaReporte

de Ventas(Mercado)

Reportede Ventas(Admin)

ListarEdificios

ListarCasas

edificios_y_casas.tmp

...

Los rectángulos son archivos de texto y los círculos son programas

(de consola, CGI u otros) Aplicación “típica” de PR2

35


problemas que se presentan al almacenar y acceder a los datos usando sólo un SMA

¿por qué un SMA no es adecuado?

36

Información repetida y posiblemente incoherente entre ambos archivos¿Se apellida “Perez” o “Peroza”?

Aplicaciones Orientadas a Archivos(PROBLEMAS)

Información Duplicada / Inconsistencia de la Información

CLIENTES.TXTLuis Guerra | 4559352|21|19650324...Hector Gutierrez|12835361|44|19500305...Pedro Perez |13445992|25|19750713...

VENTAS.TXTPedro Peroza |13445992|Comprador|10|Calle 10,Av 4,5-53Jose Quintero| 4559352|Vendedor |10|Calle 10,Av 4,5-53Luis Moreno |12835361|Compradoe|...

Información repetida y posiblemente incoherente entre ambos archivos¿Se apellida “Perez” o “Peroza”?

Dirección Repetida en el mismo archivo y probablemente en el

archivo casas o edificios

37


Inconsistencias entre los distintos programas...

CLIENTES.TXT (Versión Inicial)Pedro Perez |13445992|25|19750713...Luis Guerra | 4559352|21|19650324...Hector Gutierrez|12835361|44|19500305...

CLIENTES.TXT (Versión Modificada)Pedro Perez |13445992|Calle 23,Av 5...|25|19750713...Luis Guerra | 4559352|Calle 33,Av 6...|21|19650324...Hector Gutierrez|12835361|Sin Dirección |44|19500305...

CrearCliente

El programador encargado de crear cliente decide añadir un campo más al archivo (dirección) lo añade al archivo y olvida actualizar los demás programas...

Los demás programas quedan en un estado inconsistente, ya que no

pueden manejar el campo adicional




Ventas

Reportede Ventas(Mercado)

O peor aún, es necesario hacer

grandes esfuerzos de programación para mantener

todos los programas

actualizados

38

Un programa elimina un registro de un archivo, pero olvida verificar si el registro está relacionado con otro registro en otro archivo,

evitando su eliminación o eliminando los registros relacionados en cascada


Información / Registros relacionados


VENTAS.TXTPedro Perez |13445992|Comprador|10|Calle 10,Av 4,5-53Jose Quintero| 4559352|Vendedor |10|Calle 10,Av 4,5-53Luis Moreno |12835361|Compradoe|...

EliminarClientes

Registro a eliminar

Registro asociado

39


Problemas en caso de existir concurrencia


EliminarClientes



¿Qué ocurre si tres programas acceden al mismo tiempo al mismo archivo y registro?

40


¿Qué pasa si el gerente necesita un reporte (una lista de registros) y no existe aun ningún

programa para obtenerlo?

clientes.txt

...

ventas.txt

...

casas.txt

...

edificios.txt

...


ReporteGeneral de

Ventas


Ahora quiero los clientes ordenados por edad y filtrar por fecha de

compra en el reporte de ventas

41


CrearCliente




Ventas

RegistrarVenta

ReporteGeneral de

Ventas

CrearEdificio o

Casa



ListarEdificios

ListarCasas

Etc...

Código para acceder a los archivos, mantener la coherencia, las relaciones, etc,

¡En su mayoría duplicado en cada programa!


42


¿cómo se resuelve esto?

¿cuál es la evolución lógica del problema?

43

Sistema de Gestión de Base de Datos(SGBD)

Sistema de Gestión de Base de Datos (SGBD): Es un conjunto de programas que permiten a los usuarios crear y mantener una base de datos.

Por tanto, el SGBD es un sistema de software de propósito general que facilita el proceso de definir, construir y manipular bases de datos para diversas

aplicaciones.Navathe

Un Sistema de Gestión de Base de Datos (SGBD) consiste en una colección de datos

interrelacionados y un conjunto de programas para acceder a esos datos.

Silberschatz

44


CrearCliente




Ventas

RegistrarVenta

ReporteGeneral de

Ventas

CrearEdificio o

Casa



ListarEdificios

ListarCasas

Etc...

SGBD: Programas y código común, que me permite manejar de una forma general, abstracta y

transparente, controlada, etcétera, la información que necesitan los programas de aplicación


BD

45


¿SGBD vs Sistema de Bases de Datos, Aplicación

de Bases de Datos?

46


CrearCliente



Ventas

ReporteGeneral de

Ventas

Oracle, MySQL

BDBase deDatos

SGBD(Navathe)

SGBD(Silberschatz)

Programasde

Aplicación

Sistema de Bases de

Datos

47

Objetivos de un SGBD

Independencia física:Estructura de almacenamiento de datos

independiente de su estructura lógica en la realidad

Independencia lógica:Independencia entre los datos tal como son vistos

por las aplicaciones en relación a su estructura lógica en la realidad

Seguridad de los datos:Se debe permitir la protección contra accesos no

autorizados o malintencionados a los datos

48

Transformación

Independencia Física / Lógica

Esquema Físico

Esquema Conceptual

Esquema Externoo Vista 1

BD

Transformación

Nivel(esquema)

Interno

Nivel (esquema) Conceptual

Nivel (esquema) Externo o Nivel

de Visión

Esquema Externoo Vista 2

Esquema Externoo Vista n

Generalmente, se modela el esquema conceptual, el externo y luego se genera

el esquema físico

MS

Independencia Física

Independencia Lógica

SMA, del SO o

incorporado del SGBD

49


Manipulación de los datos por personas no especializadas en computación: Permitir que cualquier persona con autorización consulte los

datos de la base de datos por medio de lenguajes no procedimentales (se dice lo que se quiere pero no

como obtenerlo). No es necesario ser un programador para acceder a los datos.

Acceso eficaz y eficiente a los datos: Eficaz: es posible acceder a los datos, sin necesidad de ser un especialista o de tener mucho conocimiento de como

están estructurados internamente. Eficiente: es posible acceder a los datos empleando cantidades

razonables de tiempo, memoria, procesador, etcétera

50


Administración centralizada de los datos: Los datos están centralizados y son controlados por un

grupo de trabajo que se dedica a la definición de las estructuras de almacenamiento y de los datos de la base de datos, siguiendo su evolución a través del

tiempo

Redundancia de datos controlada: La administración centralizada debe velar por la no

duplicación física de los datos que serán compartidos por todos los usuarios, y en caso que sea absolutamente necesario un cierto nivel de redundancia, éste debe estar estrictamente

controlado por el SGBD

51


Posibilidad de compartir los datos y manejo de concurrencia: Un PA puede usar los datos

almacenados en la BD como lo desee y como si fuera el único en usarlo, sin saber que otro PA puede

estar utilizando los mismos datos o realizando modificaciones concurrentemente en la BD

Coherencia de los datos: El SGBD debe tener ciertas facilidades o útiles para hacer que los PA

respeten las reglas de integridad de la BD, en particular aquellas correspondientes a la

modificación de los datos

52

Actores que participan en un SGBDy en un Programa de Aplicación

Diseñadores de Bases de Datos: Identificar los datos que se serán almacenados y elegir las

estructuras apropiadas

Usuarios Finales: Acceden a la información de la base de datos (Esporádicos / Simples / Avanzados,

otros)

Administradores de Bases de Datos (DBAs): Autorizar acceso a la base de datos, de coordinar y vigilar su empleo, adquirir recursos necesarios de software / hardware, entonar el rendimiento del

SGBD, entre otros.

Programas de Aplicación: Aplicaciones que acceden a la base de datos programáticamente.

App

53

Arquitectura estándarsegún el comité ANSI/X3/SPARC

MS

SMA

SGBD Interno

SGBD Externo

PA

consola

sql>_

Encargado de presentar los datos a los programas de aplicación (PA) y

usuarios, haciendo un análisis e interpretación de las consultas

realizadas por estos

Se ocupa del manejo de los datos almacenados en los archivos, de los enlaces entre los datos y las estructuras, y de la localización y

ensamblaje de esos datos

se encarga del manejo de la

memoria secundaria

54

Arquitectura estándarsegún el comité ANSI/X3/SPARC

Dic. de Datos

Procesadorde EsquemaConceptual

Procesadorde Esquema

Interno

Procesadorde Esquema

Externo

TransformaciónAlmacenamiento

Conceptual


Externo


Interno

Subsistema deAlmacenamiento

(SMA)

MemoriaSecundaria

Programa deAplicación

Admin. deAplicaciones

(DBA)

Admin. deOrganización

(DBA)

Admin. deAplicaciones

(DBA)

ProgramadoresUsuariosFinales

Metadatos

¿Recuerdan la

independencia física /

lógica y los distintos niveles?

Programas para crear /

manipular los distintos

esquemas

1975

55

Otros tipos de datos: imágenes, audio, voz, animación, etc.

Tipos básicos de datos: entero, real, carácter, fecha, etc.

Diferencia entre archivo lógico y físico.

Archivo lógico = físico

Se mantienen todos los tipos de procesamiento

Procesamiento distribuido y/o paralelo.

Procesamiento en lotes, en línea o en tiempo real

Procesamiento en lotes.

Se mantienen los métodos de acceso.

Se mantienen los métodos de acceso.

Aparecen los métodos de acceso.

Sólo archivos secuenciales

Años 90. 5ta. generación de SMBD

Años 70 y 80. 2da. 3ra. y 4ta. generación de SMBD

Finales de los 60 (SMA)

Inicio de los años 60

Desarrol lo / Historia de los SGBD

56

No redundancia. Soporte de evolución del esquema. Manejo de versiones y reglas.

Redundancia y consistencia de datos controlada.

Se mantiene la redundancia y la inconsistencia de datos.

Alto nivel de redundancia de datos, inconsistencia de datos.

Manejo de cualquier tipo de datos

Hay compartición de datos

No hay compartición de datos

No hay compartición de datos

Manejo de objetos compuestos y complejos

Hay independencia lógica, física y de localización.

Independencia física.

Dependencia lógica y física






57

Encapsulación de datos y de programas.

Datos direccionables a nivel de campo y grupo.

Datos direccionables a nivel de registros.

Datos direccionables a nivel de archivos

Transacciones de larga duración y cooperativas

Manejo de la integridad y seguridad de datos.

Se usan algunos recursos de seguridad.

No hay recursos de seguridad






58

Adicionalmente hay recuperación por el identificador del objeto

Hay recuperación por varias claves concatenadas o no

No hay recuperación por varias claves

No hay recuperación por varias claves

Uso de los lenguajes orientados por objetos para descripción y manipulación de objetos.

Aparecen los lenguajes declarativos de descripción y de manipulación de datos.

El SMA tiene sus primitivas de manejo de archivos utilizadas desde los lenguajes.

Lenguajes de programación con las primitivas de manejo de archivos.






59

Desarrol lo de los SGBD(Algunos SGBD, Propietarios y de SL)

MSAccess

60

Gracias

¡Gracias!

Documents

Bases de Datos - · Nivel 0 (Data Striping): Acceso a todos los discos en paralelo, colocando bytes de cada archivo en varios discos. Si falla un disco, falla todo el sistema