Embed Size (px)
Citation preview
Asegurando la Calidad del Dato en
nuestros entornos de BI
Mary Arcia
SQL PASS Venezuela
[email protected]@maryarcia
https://ve.linkedin.com/pub/mary-arcia/Blog: geeks.ms/blogs/marcia
MCTS SQL Server 2005/2008
Organiza
http://tinyurl.com/ComunidadWindows
Patrocinadores del SQL Saturday
Premier Sponsor
Gold Sponsor
Bronze Sponsor
AGENDA
Introducción a la calidad de datos
Calidad de datos en Poyectos de BI
Metodología de Calidad de Datos en BI
Capacidades de Data Quality Services
Proyectos de Data Quality Services
Preguntas
4 |
Qué es Calidad de Datos?
Algunos problemas
5 |
Nuestros envíos postales
tienen un grado de
devolución muy alto.
Los datos de ventas
no me cuadran.El sistema está
maloMuchas personas
Muchas verdades
Por qué necesito calidad de datos?
Imprescindible para una toma de decisiones
correcta.
Pieza básica en la gestión de información
corporativa.
Impacto directo en el negocio.
ROI inmediato.
6 |
“Si los datos son la materia prima con la cual creamos
la Información; entonces la confiabilidad de la
información depende directamente de la calidad de los
datos utilizados para producirla”
En qué afecta la falta de calidad de datos
7 |
A Quién afecta la falta de calidad de datos
Áreas Productivas del Negocio
8 |
Ventas no dispone de información correcta.
Marketing realiza segmentaciones erróneas,
campañas no eficientes.
Dirección toma decisiones basándose en
información errónea.
Atención al Cliente sufre y es causante a la vez de
la mala calidad de los datos.
Tecnología toma tiempos muy largos para la
culminación de los proyectos (Time To Market).
A quién afecta la falta de calidad….
Todo es Dinero….
9 | Caída en ventas
Baja la rentabilidad del negocio
Pérdida de clientes. Segmentación
Poco control sobre el gasto
Análisis de fraude limitado
Qué nos resuelve calidad de datos
10 |
Ahorra dinero.
Aumenta Ventas
Aumenta
rentabilidad del
negocio
Impacto en Múltiples Proyectos
En BI buenos datos….buenas decisiones
11 |
Análisis predictivo
MDM (visión única del cliente/proveedor/producto)
Migraciones: Sistema nuevo con datos buenos (Garbage In/Garbage Out)
Cumplimiento de normativas y leyes
Gestión del CRM, ERP , etc.
Ciclo de Vida en la Calidad de los datos
12 |
1. Descubrir
2. Perfilar
3. Limpiar
4. Match
5. Consolidar
6. Monitorizar
Identificar y medir la calidad de los datos
Definir reglas y
objetivos
de la calidad
de los datos
Diseñar los procesos
de mejora de la
calidad de los datos
Matcheo de información y estadísticas
Implementar
los procesos
de mejora
de calidad
Monitorear
la calidad de
los datos
vs los objetivos
Dimensiones de la calidad de datos
Dimensión Qué mide?
Perfilado de
columna
Cuáles son las caracteríticas físicas de los datos?
Relación Qué relación existe entre grupos de datos?
Redundancia Es un dato redundante?
Existencia Qué dato falta o no nos es útil?
Conformidad Qué dato está almacenado en formato no estándar?
Consistencia Qué datos aportan información no conflictiva?
Precisión Qué datos son incorrectos o están caducados?
Duplicados Qué datos o atributos están repetidos?
Integridad Qué información no está referenciada?
Rango Qué resultados, cálculos, valores están fuera de
rango?
13 |
Dimensiones de calidad de datos
Ejemplo: Maestra de Clientes
Existencia
Existencia
Existencia
Existencia Tenemos todos los datos completos?
Dimensiones de calidad de datos
Ejemplo: Maestra de ClientesConformidad
Conformidad El dato tiene un formato correcto?
Conformidad
Conformidad
Conformidad
Conformidad
Dimensiones de calidad de datos
Ejemplo: Maestra de ClientesConsistencia
Consistencia El dato tiene el formato correcto pero rompe las reglas de negocio
Consistencia
Consistencia
Dimensiones de calidad de datos
Ejemplo: Maestra de Clientes
Duplicidad Los datos aparecen varias veces? Coincidencia difusa
Duplicidad
Duplicidad
Dimensiones de calidad de datos
Ejemplo: Maestra de Clientes
Integridad Las relaciones del dato son consistentes?
Integridad
Dimensiones de calidad de datos
Ejemplo: Maestra de Clientes
Rango Se encuentran los valores entre rangos aceptables?
Rango
Rango
Dimensiones de calidad de datos
Ejemplo: Maestra de Clientes
Precisión El dato representa la realidad exacta? Son las fuentes verificables?
PrecisiónPrecisión
DEMO
Perfilado de Datos
21 |
Qué es Data Quality Services?
Data Quality Services (DQS) es una
solución basada en el conocimiento
de la calidad de datos que permite a
los administradores de datos y
profesionales de IT la mejora de la
calidad de sus datos fácilmente.
En qué nos apoya Data Quality Services?
Conocimiento
Limpieza
Consolidación
Aporte de Valor
Arquitectura de DQS
CLIENTE
Data Quality Services
Client
Componente Integration
Services
SERVIDOR
DQS_MAIN
DQS_PROJECT
DQS_STAGING
Arquitectura de DQS
Dominios
Reglas de matching
Dominios Compuestos
Bases de Conocimiento
DominioReglas y Relacion
es
Valores
Referencias
Externas
Base de Conocimiento
ENTIDAD
Tarjetahabientes
Apellidos y Nombres
Nacionalidad
Nro. Tarjeta
Tipo Producto
Limite de CréditoAtributos
DQKB_Tarjetahabiente
Dominios
Tipo de Producto
Límite de Crédito
Nacionalidad
6 dígitos dentro
de un rango
Lista de
Valores y
correcciones
Lista de
Valores y
correcciones
DEMO
Construyendo una Base de Conocimiento
27 |
Proyectos DQS Proyectos de Cleansing
Limpieza de Datos
Partiendo de la
Base de Conocimiento
Información Extra
Sobre las decisiones
que toma
Base de Conocimiento
en la nube
Consumir datos
Proyectos DQS Proyectos de Matching
Creación de Reglas
Política de comportamiento
del motor DQS
Matching
Lógica Difusa
Agrega Metadatos
Exportación
Datos que quedan
en el modelo
SQL Server, Excel, DQS
Ciclo de Vida de Proyectos BI sin DQ
Detectar Orígenes
Información Extra
Pruebas de Carga de Datos
Desarrollo de
Informes
Pruebas y cuadresUAT
Aceptación Final
Ciclo de Vida de Proyectos BI con DQ
Detectar Orígenes
Información Extra
Análisis de Perfilado de Datos
Procesos de Carga
Enriquecimiento y Matching
UATAceptación
Final
Monitorear DQ
Pruebas y cuadres
Desarrollo de
Informes
Impacto de DQ en Proyectos de BI
Aumenta la rapidez de implementación
Menor Time To Market del Proyecto
Menor esfuerzo en la fase de pruebas y UAT
Mejora la calidad de la información decisiones
Genera origenes de datos de calidad para Campañas
Mayor confianza y usabilidad de la aplicación
Mayor cumplimiento de expectativas y obtención de mayor satisfacción.
33 |
34 |
[email protected] geeks.ms/blogs/marcia/
@maryarcia
PREGUNTAS Y RESPUESTAS
SQL PASS
Venezuela
Mary Arcia
