Microsoft ModelamientoDatos Complementario (1)

5/19/2018 Microsoft ModelamientoDatos Complementario (1)

1/66

Modelamiento

Dimensional


2/66

Agenda

Qu es Datawarehouse?

Qu es Datamart?

Datawarehouse & Datamart

Fases en el Modelamiento Dimensional

Dimensiones y Medidas

Star Schema

Llaves Artificiales

Modelo Analtico DimensionalOLAP

Metodologa Datawarehousing


3/66


Las Bases de Datos son creadas especficamente para

dar soporte a las decisiones.

La informacin es extrada desde los sistemas bases y/o

externo, transformada e integrada.

Un DWH contiene informacin basada en el tiempo.


4/66


La estructura del DWH es simplificada en trminos

comunes del negocio, hacindola ms fcil de usar y

entender.

Los datos son analizados bsicamente para detectarpatrones y tendencias.


5/66

Qu es Datamart?

Un Datamart es una base de datos que consolidainformacin relevante de un departamento de laempresa o una determinada lnea de negocio para la

toma de decisiones.

El mbito de la informacin de un Datamart estorientado a satisfacer las necesidades de unidadesde negocio especficas de la organizacin.


6/66

Data Warehouses& DataMart

Propiedades

Areas

Alcance

Fuente de Datos

Tamao (tpico)

Implementacin

DataWarehouse

Empresarial

Mltiples

Muchos

100 GB to > 1 TB

Meses a Aos

Data Mart

Departamental

nicas

Pocos

< 100 GB

Meses

DataWareHouse Data Mart


7/66

Modelando un

Datawarehouse


8/66

I. Definir el Modelo de Negocios(Modelo Conceptual)

II. Crear el Modelo Dimensional(Modelo Lgico)III. Crear el Modelo Fsico


9/66

Caso: Tarjetas de Crdito

El rea de tarjetas de crdito de un banco deseaimplementar un datamart. Se desea visualizar lainformacin de crditos concedidos y pagos hasta llegar acada tarjeta.

Las tarjetas pueden ser de dos tipos: VISA yMASTERCARD. Tambin se desea visualizar los crditosy pagos por cada vendedor y cada cliente.

Cada cliente pertenece a un distrito, cada distrito a unaprovincia y cada provincia a un departamento.

Cada vendedor pertenece a una agencia, y cada agenciapertenece a un distrito, cada distrito a una provincia y cadaprovincia a un departamento.

Las mtricas deben visualizarse como totalizados anuales,

semestrales, trimestrales y mensuales.


10/66

Tablas de Dimensiones

Contienen entidades del negocio.

Utiliza terminologa del negocio.

Poseen datos descriptivos.

Pueden contener subniveles.


11/66

Ejemplo de Dimensiones

Cliente.

Almacn.

Producto.

Servicio.

Empleado.

Partes.

Contrato.

Vendedor.

Cuenta.

Estatus.

Ubicacin.

Tiempo.


12/66

Tabla de Hechos

Contiene informacion a medir relacionadas a losprocesos o eventos que son analizados por lasdimensiones contenidas en las tablas de dimensiones.

Cada Hecho es un Evento

La informacin que contiene es un evento ocurrido.

Permite definir la relacin entre 2 o ms dimensiones.

Son usualmente ms grandes que las tablas deDimensiones.


13/66

Ejemplo de Tabla de Hechos

Ventas.

Ordenes.

Envos.

Cuentas.

Reservaciones

Rentas.

Nivelde Inventario.

Balance Contable.

Chequeo de Txs.

TxsATM.

Suscripciones

Atenciones.


14/66


El rea de tarjetas de crdito de un banco desea implementarun datamart. Se desea visualizar la informacin de crditosconcedidos y pagos hasta llegar a cada tarjeta.

Las tarjetas pueden ser de dos tipos: VISA y

MASTERCARD. Tambin se desea visualizar los crditos ypagos por cada vendedor y cada cliente.



Las mtricas deben visualizarse como totalizados anuales,semestrales, trimestrales y mensuales.


15/66



MASTERCARD. Tambin se desea visualizar los crditos ypagos por cada vendedor y cada cliente.






16/66



MASTERCARD. Tambin se desea visualizar los crditos ypagos por cadavendedory cada cliente.






17/66



MASTERCARD. Tambin se desea visualizar los crditos ypagos por cadavendedory cadacliente.






18/66





Cada vendedor pertenece a una agencia, y cada agenciapertenece a undistrito, cada distrito a unaprovinciay cadaprovincia a undepartamento.




19/66






Las mtricas deben visualizarse como totalizados anuales,semestrales,trimestralesymensuales.



20/66

El rea de tarjetas de crdito de un banco desea implementarun datamart. Se desea visualizar la informacin decrditosconcedidosy pagos hasta llegar a cada tarjeta.








21/66

El rea de tarjetas de crdito de un banco desea implementarun datamart. Se desea visualizar la informacin decrditosconcedidosypagoshasta llegar a cada tarjeta.








22/66

Dimensiones y Medidas

Dimensiones

Cliente

VendedorTipo Tarjeta

Tiempo

Medidas

Crditos concedidos

Pagos


23/66

Fase II: Crear el Modelo Dimensional (ModeloLgico)

Analizar los sistemas fuentes

Identificar las Tablas de hechos

Trasladar las medidas del negocio en las tablas deHechos

Identificar las medidas base y las derivadas

Identificar las tablas de dimensin

Relacionar las Tablas de Hechos y las tablasdimensionales


24/66

Diseo Dimensional

Centrado en el anlisis de procesos de negocios yeventos.

Implementa 2 modelos legibles para el usuario de

negocio e identificable por los manejadores de base dedatos.

Estos modelos son desnormalizados:

Modelo Star

Modelo Snowflake


25/66

Opciones de Diseo de la Bodega de Datos.

Normalizado

Combination

Star (Estrella)

Snowflake (Copo de

Nieve)

Alto desempeo.Desnormalizacin.

Mayor almacenamiento.

Reduce redundancia

Normalizacin de dimensiones

Mayor complejidad de

navegacin

Apropiado para ambientes

complejos

Bajo desempeo

Esquemas sencillos.


26/66

Quesun Modelo Estrella?

Es un Modelo desnormalizado de base de datosrelacional para representar datos de formamultidimensional.

Es la forma ms simple de un esquema de DataWarehouse, la misma que contiene una o msdimensiones y tablas de hechos.

El Centro de la estrella consiste en una tabla de hechosgrande que est conectada a las tablas dimensionalesen base a las relaciones.

Las ventajas del Modelo Estrella son:

Fcil entendimiento de los datos

Alto rendimiento (Performance)


27/66

Modelo Estrella

CLIENTE_DIM

Cliente_Key

IdCliente

Departamento

Provincia

Distrito

NombreCliente

TIEMPO_DIM

Tiempo_Key

Ao

Semestre

Trimestre

Mes

TIPOTARJETA_DIM

TipoTarjeta_Key

IdTipoTarjeta

TipoTarjeta

NumeroTarjeta

VENDEDOR_DIM

Vendedor_Key

IdVendedor

Departamento

Provincia

Distrito

Agencia

NombreVendedor

TARJETAS_FACT

Tiempo_Key

Cliente_Key

Vendedor_Key

TipoTarjeta_Key

CreditosConcedidos

Pagos

RESUMENTARJETAS_FACT

Tiempo_Key

Cliente_Key

TipoTarjeta_Key

CreditosConcedidos

Pagos


28/66

Consideraciones del Modelo Estrella

Organizacin del modelo de datos

Debe lucir como el negocio

Reconocido por los tipos del negocio

Aprobado por la gente del negocio

Tres reglas de diseo para el modelamiento de

Star Schema: Simple

Simple

Simple


29/66

Tipos de Llavesen la BD Dimensional

Desde el punto de vista Relacional

Llave primaria (PKs)

Llave fornea (FKs)

Llave compuesta

Desde el Punto de Vista MultiDimensional

Llave artificial (Ak, Sk)


30/66

Usode Llavesartificiales

Ventaja de incluir llaves artificiales:

Control sobre la data

Reduce el tamao de la tabla de hecho

Evitar usar las siguientes llaves como llavedel Warehouse:

Llaves naturales de produccin (OLTP)

Llaves inteligentes, con significadoembebido (smart key)

Product Key: 38972


31/66

Ejemplo de Llaves Artificiales

Prod_AK Producto_ID Producto_Nombre Marca_Cod

1 126-7878 Cereal NES

2 125-9889 Cafe NES

3 125-9889 Cafe ALP

4 766-1288 Bebida Gaseosa KR


32/66

Granularidad

Todas las medidas deben estar al mismo nivel de detalle.

Detalle de Ordenes

Id de Fecha Id de Cliente

Id de Producto

Unidades

Monto


33/66

Contenido de las tablas de Hechos

Adicionalmente puede tener atributos.

Product Key

Order Date Key

Due Date Key

Ship Date Key

Customer Key

Territory Key

Sales Amount

Tax Amount

Sales Order

Number

Freight

Product Sales Fact

Llaves Dimensionales Llave mltiples

Medidas


34/66

Ejemplo

Tablade HechosProduct

Key

Order

Date Key

Due Date

Key

Ship

Date Key

Custome

r Key

Territory

Key

Sales

Amount

Tax

Amount

Sales

Order

Number

Freight

1 2 3 4 12 1 100 21.57 SO43701 79.20

1 2 2 2 11 2 150 30.20 SO43702 75.30

2 2 2 3 11 2 200 14.56 SO43700 70.20


35/66

Ejemplo

DimensinTiempo

TimeKey FullDate DayName Month Quarter Semester Year

1 2001-07-01 Sunday July 3 2 2001

2 2001-07-02 Monday July 3 2 2001

3 2001-07-03 Tuesday July 3 2 2001

4 2001-07-04 Wednesday July 3 2 2001


36/66

Ejemplo

Product Key Product Code Product Name Product Subcategory Color Status

218 HL-U509 Sport-100

Helmet, Black

31 Black Current

219 SO-B909-M Mountain Bike

Socks, M

23 White NULL

220 SO-B909-L Mountain Bike

Socks, L

23 White NULL

221 HL-U509-B Sport-100

Helmet, Blue

31 Blue NULL

DimensinProducto


37/66

Dimensin Empleado

Employee

Key

Parent

Employee Key

Sales

Territory Key

First Name Last Name Marital Status Email

Address

3 14 11 Roberto Brown 2 rbrown@adw.

com

4 3 11 Rob Ford 2 [email protected]

m

5 3 11 Kevin Walters 2 kwalters@adw

.com

6 267 11 Mary Higa 2 [email protected]

om

Territory Key Territory Code Sales Territory

Region

Sales Territory

Country

Sales Territory

Group

1 1 NorthWest United States North America

2 2 NorthEast United States North America

3 3 Central United States North America

DimensinTerritorio


38/66

Dimensin Cliente. Departamento

.. Provincia

Distrito

. Nombre cliente

Dimensin Vendedor. Departamento

.. Provincia Distrito

. Agencia

.. Nombre Vendedor

Dimensin Tipo Tarjeta. Tipo Tarjeta

.. Nro. Tarjeta

Dimensin Tiempo. Ao

.. Semestre

Trimestre

. Mes

Modelode Jerarquia


39/66

De modelamientorelacionalHacia modelamientomultidimensional


40/66

ORDER

order_num (PK)customer_ID (FK)

store_ID (FK)

clerk_ID (FK)

date

STORE

store_ID (PK)

store_name

address

district

floor_type

CLERK

clerk_id (PK)

clerk_name

clerk_grade

CUSTOMERcustomer_ID (PK)

customer_name

purchase_profile

credit_profile

address

STORE

store_key (PK)

store_ID

store_name

Address

CLERK

clerk_key (PK)

clerk_id

clerk_name

clerk_grade

CUSTOMERcustomer_key (PK)

Customer_ID

customer_name

purchase_profile

credit_profile

address


41/66

ORDER

order_num (PK)

customer_ID (FK)

store_ID (FK)

clerk_ID (FK)

date

PRODUCTSKU (PK)

description

brand

category

PROMOTION

promotion_NUM (PK)

promotion_name

price_type

ad_type

ORDER-LINEorder_num (PK) (FK)

SKU (PK) (FK)

promotion_key (FK)

dollars_sold

units_sold

dollars_cost

PRODUCT

product_key (PK)

SKU

description

brand

category

PROMOTION

promotion_key (PK)

promotion_name

price_type

ad_type

TIME

time_key (PK)

SQL_date

day_of_week

month


42/66

TIMEtime_key (PK)

SQL_date

day_of_week

month

STORE

store_key (PK)

store_ID

store_name

address

district

floor_type

CLERK

clerk_key (PK)

clerk_id

clerk_name

clerk_grade

PRODUCTproduct_key (PK)

SKU

description

brand

category

CUSTOMERcustomer_key (PK)

customer_name

purchase_profile

credit_profile

address

PROMOTION

promotion_key (PK)

promotion_name

price_type

ad_type

FACT

time_key (FK)

store_key (FK)

clerk_key (FK)

product_key (FK)

customer_key (FK)promotion_key (FK)

dollars_sold

units_sold

dollars_cost


43/66

ORDERSTORE

CLERK

PRODUCTCUSTOMER

PROMOTION

ORDER-LINE

TIME_DIM

STORE_DIM

CLERK_DIM

PRODUCT_DIMCUSTOMER_DIM

PROMOTION_DIM

FACT


44/66

DrillUp / Down

Dimensin Tiempo

Cambiar el Nivel de

Detalle de la Consulta

Ao

Trimestre

Mes

Da


45/66

Consideracionesparael diseode la

tabladimensional de Tiempo

Se debe usar una tabla dimensional o un

server time dimension?

Que calendarios y jerarquias se requiere?

Que granularidad debo usar?May

12


46/66

DimensinTiempo

Day

Day of Week

Type of Day

Fiscal Quarter

Fiscal Year

Fiscal

Month

FiscalWeek

CalendarYear

Calendar

Quarter

Calendar

Month

Calendar

Week

Holiday


47/66


48/66

Qu son dimensionesChanging Dimension?

Type 1 slowly changing dimension



*


49/66

Tipo 1:

Esta Metodologa sobrescribe los datos antiguos con los nuevos datos y, portanto, no realiza un seguimiento de los datos histricos en absoluto.

Ejemplo sera el de una tabla de base de datos que mantiene la informacin

del proveedor.Supplier_key Supplier_Name Supplier_State

001 Phlogistical Supply

Company

CA

Supplier_key Supplier_Name Supplier_State

001 Phlogis tical Supply

Company

IL

El dato antiguo

es reemplazado

por el actual.


50/66

Tipo 2:

Un nuevo registro se inserta cada vez que se introduzca una modificacin.

Supplier_key Supplier_Code Supplier_Name Supplier_State version

001 ABC Phlogistical

Supply

Company

CA 0


Supply

Company

IL 1

Supplier_key Supplier_Code Supplier_Name Supplier_State version


Supply

Company

CA 0

Se inserta el

nuevo registroen versiones


51/66

Tipo 2:

Un nuevo registro se inserta cada vez que se introduzca una modificacin.

Supplier_key Supplier_Code Supplier_Name Supplier_State Start_Date End_Date


Supply

Company

CA 01-Jan-

2000

NULL

Supplier_key Supplier_Code Supplier_Name Supplier_State Start_Date End_Date


Supply

Company

CA 01-Jan-

2000

21-Dec-2004


Supply

Company

IL 22-Dec-

2004

NULL

Se inserta el

nuevo registro

en Fecha de

inicio y fechaFinal


52/66

Tipo 3: No requiere registros adicionales

No requiere modificaciones de llaves.

No recomendado cuando los cambios son frecuentes

Supplier_key Supplier_Name Original_Supplier_State


Company

CA

Supplier_key Supplier_Name Original_Supplier_St

ate

Effective_Date Current_Supplier_Stat

e


Company

CA 22-Dec-2004 IL

Se inserta los

datosmodificados en

columnas

adicionales


53/66

ModeloAnalticoMultidimensional


54/66

Elementos de un modelo

multidimensional -OLAP

Mtricas

Dimensiones Jerarquas

Atributos


55/66

Anlisis MultidimensionalDimensin, Miembro, Mtricas

Ene Feb Mar Abr

Alimentos

Bazar

Bebidas

Directa

Mayoristas

Minoristas

Otro

Canal de

ventas

Mtricas

Cantidad de clientes 200

Ventas 3,000,000

Utilidad 500,000Crecimiento 15%

Jerarquas Caminos de agregacin

Producto Canal Venta Tiempo

Categora CanalVenta Ao

SubCategora SubCanalVenta Trimestre

Producto Mes Semana

Da


56/66

Mtricas

Lo que queremos analizar Indicadores de gestin

Valores numricos del anlisis

Ejemplos: Ventas en Monto

Ventas en unidades

Cantidad de Clientes

Utilidad

Margen de Contribucin

Costo

Stock


57/66

Dimensiones

Son las perspectivas de anlisis

Analizamos las ventas

Por Tienda

Por Vendedor

Por Producto

Por Semana

Por Departamento

Por Marca

Por Mes

Por Territorio de Ventas

Por Pas


58/66

Tiposde Dimensiones

Regular

Role-playing

Fact Many-many

Referenced


59/66

CLIENTE_DIM

Cliente_Key

IdCliente

Departamento

Provincia

Distrito

NombreCliente

TIEMPO_DIM

Tiempo_Key

Ao

Semestre

Trimestre

Mes

TARJETAS_FACT

Tiempo_Key

Cliente_Key

Vendedor_Key

TipoTarjeta_Key

CreditosConcedidos

Pagos

Regular Dimension

Un foreign key existe entre la tabla de Hecho y la tabladimensional


60/66

TIEMPO_DIM

Tiempo_Key

Ao

Semestre

Trimestre

Mes

TARJETAS_FACT

Tiempo_Key

Tiempo_Fiscal_Key

Cliente_Key

Vendedor_Key

TipoTarjeta_Key

CreditosConcedidos

Pagos

Role-playing Dimension

Una dimension puede ser usada multiples veces sobre elmismo cubo/measure group.

Se ve dos dimensiones distintas :

Tiempo TiempoFiscal


61/66

TARJETAS_FACT

Tiempo_Key

Tiempo_Fiscal_Key

Cliente_Key

Vendedor_Key

TipoTarjeta_Key

DetalleTarjeta

CreditosConcedidos

Pagos

Fact Dimension

Una dimension basada sobre un atributo de una tabla dehechos.

Tambien es conocida como dimensin degenerada


62/66

Many to many

Utiliza un grupo de medidas intermedia

INTERNETSALESREASON_FACT

SalesOrdenNumber_Key

SalesOrdenLineNumber_Key

SalesReason_Key

SALESREASON_DIM

SalesReason_Key

SalesReasonAlternate_Key

INTERNETSALES_FACT



Product_Key


63/66

Dimensin Referenciada

Es una dimensin que no esta directamente relacionadacon la tabla de hechos

GEOGRAPHY_DIM

Geography_Key

Departamento

Provincia

Distrito

RESELLER_DIM

Reseller_Key

Geography_Key

Telefono

TipoNegocio

NumeroEmpleados

RESELLERSALES_FACT



Product_Key

Reseller_Key

Employee_Key

..


64/66

Jerarquas

Son los niveles de agrupacin dentro de unadimensin.

Tambin se conocen como los caminos de drill-down o roll-up

Una dimensin puede tener ms de unajerarqua.

Ejemplo: Dimensin Tiempo

Jerarquas:

Ao-Trimestre-Mes-Da

Ao-Semana-Da


65/66

Atributos

Son caractersticas de los miembros de las dimensiones

Pueden ser usados para clasificar, filtrar, o buscarinformacin dentro de modelo

Ejemplo:

Dimensin = Producto, Miembro = Producto

Atributos: Unidad de medida, Empaque, Color, Categora, SubCategora, Marca

Algunos atributos se pueden convertir en miembros de

una dimensin en una de sus jerarquas.

Todos los miembros de una dimensin son atributos dela misma, no todos los atributos de una dimensinpertenecen a una jerarqua.


66/66

Documents

Microsoft ModelamientoDatos Complementario (1)