19
DESIGN AND ANALYSIS OF QUALITY INFORMATION FOR DATA WAREHOUSES Manfred Jeusfeld, Christoph Quix, Matthias Jarke .

D ESIGN AND A NALYSIS OF Q UALITY I NFORMATION FOR D ATA W AREHOUSES Manfred Jeusfeld, Christoph Quix, Matthias Jarke

Embed Size (px)

Citation preview

Page 1: D ESIGN AND A NALYSIS OF Q UALITY I NFORMATION FOR D ATA W AREHOUSES Manfred Jeusfeld, Christoph Quix, Matthias Jarke

DESIGN AND ANALYSIS OF QUALITY INFORMATION FOR DATA WAREHOUSES

Manfred Jeusfeld, Christoph Quix, Matthias Jarke.

Page 2: D ESIGN AND A NALYSIS OF Q UALITY I NFORMATION FOR D ATA W AREHOUSES Manfred Jeusfeld, Christoph Quix, Matthias Jarke

AGENDA

Introducción Definiciones Presentación del modelo Instanciación y especialización Conclusiones Criticas

Page 3: D ESIGN AND A NALYSIS OF Q UALITY I NFORMATION FOR D ATA W AREHOUSES Manfred Jeusfeld, Christoph Quix, Matthias Jarke

INTRODUCCIÓN

Un Data Warehouse (DW) pueden definirse como repositorios de datos, alimentados por numerosas fuentes.

Page 4: D ESIGN AND A NALYSIS OF Q UALITY I NFORMATION FOR D ATA W AREHOUSES Manfred Jeusfeld, Christoph Quix, Matthias Jarke

INTRODUCCIÓN

En la propuesta se presenta un modelo para evaluar la calidad en un DW.

El modelo permite a diferentes interesados (stakeholders) definir objetivos de calidad.

Esos objetivos se traducen en consultas ejecutables sobre los metadatos.

Page 5: D ESIGN AND A NALYSIS OF Q UALITY I NFORMATION FOR D ATA W AREHOUSES Manfred Jeusfeld, Christoph Quix, Matthias Jarke

DEFINICIONES

Objeto Medible: Objeto al que se le puede asociar un objetivo de calidad.

Objetivo de Calidad: es un requerimiento abstracto, relacionado con un objeto y tiene un interesado (stakeholder), una dimensión y un propósito.

Consulta de Calidad: opera sobre las medidas de calidad para comprobar si un objetivo de calidad es actualmente cumplido.

Page 6: D ESIGN AND A NALYSIS OF Q UALITY I NFORMATION FOR D ATA W AREHOUSES Manfred Jeusfeld, Christoph Quix, Matthias Jarke

DEFINICIONES

Dimensión de Calidad: Se utiliza para definir objetivos de calidad.

Medida de Calidad: Es la actividad documentada para medir la calidad asociada a algún objeto medible.

Métrica: Unidad de medición de la calidad.

Page 7: D ESIGN AND A NALYSIS OF Q UALITY I NFORMATION FOR D ATA W AREHOUSES Manfred Jeusfeld, Christoph Quix, Matthias Jarke

DEFINICIONES

Dominio de Calidad: especifica los valores permitidos para los resultados obtenidos de una medición de calidad.

Rango de Calidad: Es un rango de valores esperados de la medición de calidad.

Page 8: D ESIGN AND A NALYSIS OF Q UALITY I NFORMATION FOR D ATA W AREHOUSES Manfred Jeusfeld, Christoph Quix, Matthias Jarke

META MODELO DE CALIDAD

Usando un enfoque de meta modelado, puede ser construido parte del esquema de la base de metadatos del DW.

Esto permite a los stakeholders representar sus objetivos de calidad explícitamente y la base de metadatos mantiene la relación entre valores de calidad y objetos medibles.

Page 9: D ESIGN AND A NALYSIS OF Q UALITY I NFORMATION FOR D ATA W AREHOUSES Manfred Jeusfeld, Christoph Quix, Matthias Jarke

META MODELO DE CALIDAD

Page 10: D ESIGN AND A NALYSIS OF Q UALITY I NFORMATION FOR D ATA W AREHOUSES Manfred Jeusfeld, Christoph Quix, Matthias Jarke

ESPECIALIZACIÓN E INSTANCIACIÓN DEL MODELO

Codificación de los objetivos de calidad: A modo de ejemplo se define el objetivo de

incrementar la disponibilidad de los datos para una determinada relación.

Codificación de las medidas de calidad:Para ello se plantea la medición del porcentaje de

valores nulos por tuplas de una relación.

Page 11: D ESIGN AND A NALYSIS OF Q UALITY I NFORMATION FOR D ATA W AREHOUSES Manfred Jeusfeld, Christoph Quix, Matthias Jarke

ESPECIALIZACIÓN E INSTANCIACIÓN DEL MODELO

Codificación de un objetivo de calidad

Page 12: D ESIGN AND A NALYSIS OF Q UALITY I NFORMATION FOR D ATA W AREHOUSES Manfred Jeusfeld, Christoph Quix, Matthias Jarke

ESPECIALIZACIÓN E INSTANCIACIÓN DEL MODELO

Codificación de medidas de calidad

Page 13: D ESIGN AND A NALYSIS OF Q UALITY I NFORMATION FOR D ATA W AREHOUSES Manfred Jeusfeld, Christoph Quix, Matthias Jarke

ESPECIALIZACIÓN E INSTANCIACIÓN DEL MODELO Consulta de Calidad

Su propósito es mediar entre el objetivo de calidad y la medida de calidad.

Permite verificar si se cumple un objetivo de calidad.

Para formularlas se utiliza ConceptBase.

ConceptBase es un sistema orientado al manejo de bases de metadatos.

Fue propuesto por Jark y Jeusfeld entre otros.

Page 14: D ESIGN AND A NALYSIS OF Q UALITY I NFORMATION FOR D ATA W AREHOUSES Manfred Jeusfeld, Christoph Quix, Matthias Jarke

ESPECIALIZACIÓN E INSTANCIACIÓN DEL MODELO

Consulta de Calidad. Ejemplos:

QualityQuery TooManyNullValues isA Source,Relation with

constraint

c: $ exists m/MeasureNullValues

(this hasMeasure m) and

not (m in MeasureNullValues^exprange) $

end

Page 15: D ESIGN AND A NALYSIS OF Q UALITY I NFORMATION FOR D ATA W AREHOUSES Manfred Jeusfeld, Christoph Quix, Matthias Jarke

ESPECIALIZACIÓN E INSTANCIACIÓN DEL MODELO Consulta de Calidad. Ejemplos:QualityQuery BetterOnNullvalues isA Source,Relation

with constraint c: $ exists m1,m2/MeasureNullValues (this hasMeasure m1) and (this hasMeasure m2) and (m2 after m1) and exists v1,v2/[0;100] (m1 qualityvalue v1) and (m2 qualityvalue v2) ==> (v1 > v2) $end

Page 16: D ESIGN AND A NALYSIS OF Q UALITY I NFORMATION FOR D ATA W AREHOUSES Manfred Jeusfeld, Christoph Quix, Matthias Jarke

CONCLUSIONES Se presento un meta modelo de calidad para

DW que puede ser usado tanto para diseñar como para analizar medidas de calidad.

Las principales ventajas que remarcan los autores son: Los objetivos de calidad pueden ser formulados

desde las diferentes perspectivas de stakeholders.

Las consultas de calidad son consultas ejecutables en la meta database. La respuesta es la evidencia para un stakeholder para decidir si la calidad es apropiada o no.

Las medidas de calidad son explícitamente guardaos en la meta database.

Page 17: D ESIGN AND A NALYSIS OF Q UALITY I NFORMATION FOR D ATA W AREHOUSES Manfred Jeusfeld, Christoph Quix, Matthias Jarke

CRÍTICAS (POSITIVAS)

El área de trabajo en el que profundiza es relevante.

La redacción es clara, esta bien estructurado y se complementa con imágenes.

El modelo presentado podría aplicarse no solo en DW sino también en Bases Relacionales.

Menciona posibles trabajos a futuro y mejoras.

Page 18: D ESIGN AND A NALYSIS OF Q UALITY I NFORMATION FOR D ATA W AREHOUSES Manfred Jeusfeld, Christoph Quix, Matthias Jarke

CRÍTICAS (NEGATIVAS)

No es auto contenido.

No presenta experimentos reales y los ejemplos teóricos son pocos.

Page 19: D ESIGN AND A NALYSIS OF Q UALITY I NFORMATION FOR D ATA W AREHOUSES Manfred Jeusfeld, Christoph Quix, Matthias Jarke

PREGUNTAS??