TECANA AMERICAN UNIVERSITY BACHELOR OF SCIENCE IN COMPUTER SCIENCE

Trabajo Especial de Grado

BI EN LA INDUSTRIA DEL RETAIL BUSINESS INTELLIGENCE EN LA INDUSTRIA DE CONSUMO MASIVO

Presentado por: Iván Vera Torres Como requisito para optar al titulo: Bachelor of Science in Computer Science

“Por la presente juro y doy fe que soy el único autor del presente trabajo especial de grado y que su contenido es consecuencia de mi trabajo, experiencia e investigación académica”

Guayaquil, Noviembre de 2006

- 2 -

- 3 -

DEDICATORIA

A Dios, quien día a día, me ha dado fuerza para llevar a cabo todo lo

que me he propuesto en mi vida, guiándome a escoger los caminos

correctos.

A mi esposa, Amalia, a mis hijos Iván Elías, Domenica y Adrián, que son

la luz de mi vida, quienes me dieron el cariño y el apoyo necesario para

alcanzar esta meta.

A mis Padres Darmin Iván y Maria Hermelinda quienes siempre me han

guiado.

Papá te dedico este trabajo por el empuje, confianza y apoyo que me

has dado en todos los momentos de mi vida.

Mamá esto es para ti por el amor y la paciencia

.

Iván Vera Torres

- 4 -

AGRADECIMIENTO

A Dios, por darme la oportunidad y permitirme alcanzar esta meta.

A mi familia, de quien he sacrificado parte de mi tiempo hacia ellos

para la consecución de esta meta.

A mis Padres, que por sobre todas las cosas me ha empujado y guiado en

el camino correcto.

A mi hermano, porque con su ejemplo de dedicación, entereza en el

alcance de sus metas sin que el sepa me ha dado la confianza y el tesón

de que yo también puedo alcanzar estas metas.

Iván Vera Torres

- 5 -

ÍNDICE

DEDICATORIA ................................................................................................... - 3 - AGRADECIMIENTO .......................................................................................... - 4 - Índice .................................................................................................................... - 5 - RESUMEN ........................................................................................................... - 7 - INTRODUCCION ................................................................................................ - 8 - LISTA DE SIGLAS .............................................................................................. - 9 - CAPITULO I: EL PROBLEMA DE LA INVESTIGACION ............................ - 10 - 1.1. PLANTEAMIENTO DEL PROBLEMA............................................. - 10 - 1.2. JUSTIFICACION DE LA INVESTIGACION .................................... - 11 - 1.3. OBJETIVOS GENERALES ............................................................... - 11 - 1.4. OBJETIVOS ESPECIFICOS .............................................................. - 11 - 1.5. ALCANCES ....................................................................................... - 11 - 1.6. LIMITACIONES ................................................................................ - 11 - CAPITULO II: MARCO TEORICO ................................................................. - 12 - 2.1. ALGO SOBRE HISTORIA DEL COMERCIO Y LOS NEGOCIOS. . - 12 - 2.2. CONCEPTOS BI ................................................................................ - 18 - 2.3. ESTRUCTURA DE UNA SOLUCION BI.......................................... - 18 - 2.4. VENTAJAS ........................................................................................ - 19 - 2.5. RESTRICCIONES .............................................................................. - 19 - CAPITULO III: MARCO METODOLOGICO ................................................. - 20 - 3.1. COMPONENTES DE BUSINESS INTELLIGENTE (BI) .................. - 20 - CAPITULO IV: DESARROLLO y analisis ...................................................... - 21 - 4.1. ORIGENES DE DATOS.- .................................................................. - 21 - Dentro de una solucion BI se denomina origen de datos a todo tipo de medio de

almacenamiento de información con el que cuenten las organizaciones o empresas. ............................................................................................ - 21 -

4.2. ETL (Extraction, Transformation and Load en sus siglas en Ingles) .... - 22 - 4.3. DATAWAREHOUSE y DATA MINING ........................................... - 28 - 4.4 MOTOR OLAP .................................................................................. - 47 - 4.5. HERRAMIENTAS DE APOYO A LA GESTION DEL USUARIO

FINAL ................................................................................................ - 50 - 4.6. EL FUTURO DE BUSINESS INTELLIGENCE................................. - 53 - CONCLUSIONES .............................................................................................. - 55 - RECOMENDACIONES ..................................................................................... - 56 - BIBLIOGRAFIA ................................................................................................ - 57 - PUBLICACIONES – consultorias en esta area.................................................... - 57 -

- 6 -

INDICE DE GRAFICOS

Figura 1: Arquitectura base de un proceso de generación de datos BI…. - 18- Figura 2: Ejemplo de un DTS con conexiones, tareas y control de flujo

de procesos…………………………………………………… - 24- Figura 3: Ejemplo que detalla un dts…………………………………… - 26- Figura 4: Conexiones existentes en la barra de herramientas de

SQL Server 2000……………………………………………… - 27- Figura 5: Ejemplo que detalla un dts donde se encuentran varios orígenes

de datos y fluyen a un mismo proceso……………………….. - 27- Figura 6: Detalle de un proceso de Datawarehouse y algunas salidas de

información…………………………………………………… - 28- Figura 7: Ejemplo de composición de datos de un cubo de información.. - 47- Figura 8: Ejemplo de construcción de un cubo con arquitectura tipo

Estrella………………………………………………………… - 48- Figura 9: Distintos tipos de procesamientos de cubos…………………… - 49- Figura 10: la plataforma ProClarity, esta seria la tercera capa de explotación

de datos……………………………………………………….. - 51-

- 7 -

RESUMEN

La Sociedad del Conocimiento se caracteriza por la utilización de la información para generar conocimiento, con el fin de mejorar los procesos de cualquier organización: la información es un bien cada vez menos restringido, más compartido y la ventaja competitiva de las organizaciones radica en interpretarla y convertirla en un elemento diferencial, en un activo productivo y rentable. Los antiguos sistemas de información a la Dirección, que convertían datos operacionales en indicadores de gestión, se han visto absorbidos y superados por un nuevo concepto del tratamiento de la información para la toma decisiones que, bajo el nombre de Business Intelligence, evoluciona con fuerza en el ámbito de las Tecnologías de la Información. La idea del presente trabajo es enfocar la utilización de Business Intelligence en el mundo del consumo masivo, y para esto nos valemos, a manera de ejemplo, de las herramientas que Microsoft pone a nuestro alcance. Debemos entender todo el proceso que conlleva la generación de un proyecto de este tipo desde los repositorios de orígenes de datos hasta la explotación de la información por el usuario final. Son múltiples los beneficios que ofrece a las empresas, entre ellos se encuentra la generación de una ventaja competitiva. Hay una gran variedad de soluciones de BI que en suma, son muy similares, pero para que se considere completa debe reunir cuatro componentes: multidimensionalidad, data mining, agentes y data warehouse. Son ya muchas las empresas que han implementado soluciones de BI y se han visto enormemente beneficiadas. La mejor forma de resumir todo lo anterior es por medio de la frase de Bill Gates, Director de Microsoft, "BI ayuda a rastrear lo que en realidad funciona y lo que no".

- 8 -

INTRODUCCION

La importancia creciente que ha ido adquiriendo la información dentro de las organizaciones puede ser entendida como consecuencia de tres factores. El primero, la necesidad de éstas de adaptarse a un entorno cada vez más cambiante y complejo. El segundo, la intensificación del componente informativo en todas las actividades económicas y sociales. El tercero, el potencial de las tecnologías de la información en la mejora de la eficacia y eficiencia del tratamiento de la información, provocando una nueva revolución en el orden social y económico, que se ha denominado Sociedad de la Información. Se trata de una revolución basada en la información, pues los avances tecnológicos actuales permiten procesar, almacenar, recuperar y comunicar información en cualquiera de sus formas (voz, textos, imágenes) sin importar la distancia, el tiempo o el volumen. Con respecto al tema elegido y su relación con la práctica empresarial, comienzan a evidenciarse efectos importantes de la aplicación de las Tecnologías de Información sobre los resultados de las empresas, que afectan tanto a aspectos internos como externos de las organizaciones añadiendo valor a las actividades de las empresas, generando nuevas formas de hacer las cosas, nuevas formas de utilizar mejor la información que influyen en la eficacia y eficiencia de las empresas. Para mantenerse competitiva una empresa, los gerentes y tomadores de decisiones requieren de un acceso rápido y fácil a información útil y valiosa de la empresa. Una forma de solucionar este problema es por medio del uso de herramientas de Business Intelligence o Inteligencia de Negocios. En ocasiones hemos escuchado hablar de la inteligencia de negocios y no sabemos lo que significa. Mucho se dice acerca de ella, pero pocos saben en realidad lo que esta puede hacer por su negocio.

- 9 -

LISTA DE SIGLAS

BI – Business Intelligence (Inteligencia de Negocios) CSV – Comma Separated Values (Valores separados por comas) DBMS – Database management system (Sistema manejador de base de datos) DOLAP - On-Line Analytical Processing (Desktop On-Line Analytical Processing) DSS – Decision support system (Sistema de Soporte de decisions) DTS – Data Transformation Services (Servicio de Transformación de Datos) DW – Datawarehouse (Tienda de datos) DWA – Datawarehouse Architecture (Arquitectura de tienda de datos) EIS – Executive Information System (Sistema de Información Ejecutiva) ER – Entidad-Relación ETL – Extraction, Transformation and Load (Extracción, Transformación y Carga) FTP – File Transfer Protocol (Protocolo de transferencia de archivos) GC – Gestión del Conocimiento HOLAP – Hybrid On-Line Analytical Processing HTML – Hypertext Markup Language KPI – Key Performance Indicators MDAC – Microsoft Data Access Controllers MDX – MultiDimensional eXpressions MOLAP – Multidimensional On-Line Analytical Processing ODBC – Open Database Connectivity OLAP – On-Line Analytical Processing OLEDB – Object Linking and Embedding Database OLTP – On-Line Transactional Processing ROLAP – Relational On-Line Analytical Processing RUP – Rational Unified Process SGBD – Sistema Gerenciador de Base de Datos SIG – Sistemas de Información Gerencial SQL – Structured Query Language TI – Tecnología da Información TXT – Abreviación de Texto VM – Visión Multidimensional Nota importante: Hay siglas que son mas comúnmente utilizadas en ingles que en español

- 10 -

CAPITULO I: EL PROBLEMA DE LA

INVESTIGACION

1.1. PLANTEAMIENTO DEL PROBLEMA Antes de abordar los problemas en esta industria, lo primero, seria definirla y entender el funcionamiento macro de estas. La tendencia de las empresas del área retail es reinventar su negocio en torno al cliente. El cambio tecnológico se está centrando en la visión de 360º, donde todo gira en torno a lograr la satisfacción del cliente para conseguir que la gestión de la empresa sea exitosa. En esta carrera, los proveedores se esfuerzan por incorporar herramientas tecnológicas en las empresas que ya reconocen los beneficios de éstas y por introducirlas en los segmentos de mercado que aún no los ven tan claramente, como cadenas de fast food y estaciones de servicio. Los grandes retailers, por su parte, han hecho eco y se auto-imponen exigencias como el trabajo online, de manera de asegurar el mejor servicio posible y en cualquier circunstancia. Una de las necesidades primordiales de las empresas de retail es buscar alianzas con proveedores que entreguen soluciones creativas a sus problemáticas. En el mercado retail, los márgenes son cada vez más bajos, por lo tanto, se esta siempre en busca de herramientas tecnológicas que permitan disminuir costos operativos para maximizar -dentro de lo posible- las utilidades. Todas las inversiones tienen que pagarse en el tiempo y es absolutamente necesario demostrar con números que valen la pena. La rentabilidad es, a juicio de muchos gerentes, la mayor exigencia hoy en día. Existe gran cantidad de tecnología disponible, pero las empresas sólo están dispuestas a implementarla dentro de sus procesos de negocios si ésta garantiza una rentabilidad atractiva en el corto o mediano plazo. Cada vez podemos aprovechar más la tecnología disponible para ofrecer nuevos servicios a los clientes. Llegar a conocer de manera efectiva al cliente para cautivarlo es definido por los asistentes como el sueño dorado de todo retail. Incorporarse de lleno al mundo de las comunicaciones es otro desafío ineludible para los retailers. Se ha comprobado que mientras trabajamos en línea nuestro nivel de competencia aumenta. Gracias al uso que hacemos de la tecnología podemos distribuir más rápido nuestros productos a nuestras sucursales, mejorar nuestro inventario, eliminar el stock out en las tiendas, contar con medios de pago más

- 11 -

rápidos y convenientes y, en definitiva, atender mejor a nuestros clientes, que es lo que nos mueve a todos hoy en día. 1.2. JUSTIFICACION DE LA INVESTIGACION Algo peor que no tener información disponible, es tener mucha información y no saber qué hacer con ella. La Inteligencia de Negocios o Business Intelligence (BI) es la solución a ese problema, pues por medio de dicha información puede generar escenarios, pronósticos y reportes que apoyen a la toma de decisiones, lo que se traduce en una ventaja competitiva. La clave para BI es la información y uno de sus mayores beneficios es la posibilidad de utilizarla en la toma de decisiones en las distintas áreas de la empresa, tales como, ventas, marketing, finanzas, etc. 1.3. OBJETIVOS GENERALES El objetivo principal de este trabajo, es conocer el negocio del consumo masivo (Retail), e implantar un sistema de soporte a la toma de decisiones con la ayuda de una herramienta de Inteligencia de Negocios para la exploración de datos. Estaremos en capacidad de entender perfectamente todos los aspectos de construcción de un proyecto BI, así como de sentar las bases para seguir explorando los datos de la organización, a través de una metodología de desarrollo ágil y eficaz. 1.4. OBJETIVOS ESPECIFICOS En la actualidad hay una gran variedad de software de BI con aplicaciones similares que pueden ser utilizados en las diferentes áreas de la empresa, como lo habíamos indicado antes. Sin embargo, para el planteamiento de este trabajo tomaremos como base las herramientas Microsoft de BI para realizar un entendimiento global de todo el proceso, dado que Microsoft junto con Proclarity (herramienta adquirida por Microsoft, de explotación de datos) son software altamente probados y algunos de estos, de uso común en muchas empresas para sus operaciones diarias. 1.5. ALCANCES El alcance previsto para este trabajo, es de entender una arquitectura tipo de un proyecto de Business Intelligence, desde los orígenes de información que se pueden tomar, elaborar un DataMart, generar los cubos de información, etc., hasta la forma de distribución de la información generada por este proceso. 1.6. LIMITACIONES Por obvias razones de índole de formato para la entrega de este documento, es necesario aclarar que se asumen ciertos conocimientos de programación y manejo de proyectos. Dentro de las Limitaciones de este trabajo, se encuentra las normas detalladas y mejores prácticas para la construcción de un DataWarehouse, uso de minería de datos, y ventajas competitivas de las herramientas Microsoft versus herramientas de otras casas de software como por ejemplo Oracle e IBM entre otras.

- 12 -

CAPITULO II: MARCO TEORICO

2.1. ALGO SOBRE HISTORIA DEL COMERCIO Y LOS NEGOCIOS. Recordemos que la empresa de Retail -Consumo Masivo - en su forma más general de Negocio es del tipo comercial, por lo que abocaremos un poco de la historia del comercio y los negocios. Primera idea: la cultura del comercio y el negocio aparece en las comunidades productivas en las que la moral no es otra cosa que una buena costumbre para desarrollar un territorio sin dañarlo. En el Antiguo Testamento se habla del desarrollo sostenible. La palabra justicia está determinada como el uso debido de algo, su rentabilidad estimada y, paralelamente al uso, su conservación para que la próxima generación haga lo mismo. Si le quitamos al Antiguo Testamente su carácter sagrado o tomamos su contenido como algo relativo al trabajo con sentido de rentabilidad, es decir como un oficio de hombres libres (como lo entienden los calvinistas y los judíos), encontramos que allí se enseña a comerciar y a tener negocios, pero no para explotar o engañar al otro sino para que la comunidad crezca. Los libros del Antiguo Testamento establecen los principios del nosotros y no del yo salvaje que ahora nos caracteriza. O sea que se plantea la esencia del negocio inteligente, que no es el de lograr una gran riqueza de una vez sino el de obtener resultados beneficiosos todo el tiempo. Esto para no entrar en crisis. Segunda idea: el comercio no se desarrolla sólo con productos naturales sino que logra su mayor esplendor con aquello que es manufacturado. La transformación fue lo que hizo famosas esas civilizaciones. Allí hacían algo que los demás no tenían. Los hombres de la Biblia, hablan de Egipto como bodega y almacén (negocio) para obtener lo que les hace falta. Allí, en Egipto, ya se nota un pensamiento estratégico: se debe racionalizar el consumo de la cosecha, almacenarla, contarla, dotarla de un precio. Los sueños de José (las vacas gordas y flacas), la llegada de los hijos de Jacob a comprar trigo, ilustran sobre el caso. Esto para mencionar historias que todos conocemos. Las civilizaciones productivas primitivas constituyeron los primeros centros de producción, transformación e intercambio. No sólo dependieron de lo que sus cosechas le daban sino que se dieron a la transformación y, como resultado, a la creación de bienes no comunes (tejidos de lana y seda, orfebrería, trabajo de los metales etc.), lo que la enriqueció porque no sólo dependieron de sus ventajas

- 13 -

comparativas sino de las competitivas. Y la riqueza se produjo bajo el concepto económico de que lo que es escaso es caro. Tercera idea: no se despreció ningún mercado. En todos había algo que negociar, incluso seres humanos. En ese tiempo esclavos, hoy deportistas y reinas de belleza. Los fenicios, los vikingos y los griegos, grandes navegantes y buenos comerciantes (si bien los dos últimos cuando no tenían que comerciar se daban a la piratería). Tanto hubo comercio en las costas europeas como en las africanas, en las que estaban situados los comercios del norte y el sur y a los que llegaban hombres de todos los tipos trayendo consigo cosas desconocidas o mejor elaboradas que en otras partes. Los fenicios comerciaban telas, colorantes, esencias, especias, armas, ámbar, piedras preciosas y conocimiento. Y fueron prósperos debido a la estricta contabilidad que hacían de sus negociaciones. Jean Mazel, en su libro El secreto de los fenicios, dice que a ellos les debemos el concepto de comercio organizado Los fenicios, que son el paradigma del comercio, fueron los creadores de los estudios de mercado y de alguna manera de la publicidad. Se cuenta que cuando llegaban a una playa desconocida descargaban allí la mercancía y la adornaban para que se viera más bonita. Luego se retiraban y, escondidos, miraban como los habitantes se acercaban tomaban algo y dejaban a cambio otro artículo. De esta manera los fenicios probaban lo que se necesitaba en el lugar y cuál era el valor que los habitantes estaban dispuestos a dar por el producto. Y si bien esta práctica era riesgosa, pues podrían ser robados o valorados en menos de lo que valían los artículos dejados, ellos asumían el riesgo. De los vikingos se sabe que comerciaban con vino en forma de mermelada, con pieles y maderas. Y que no sólo llegaron a Terranova sino que, haciendo navegación de cabotaje (siguiendo la costa), tocaron las costas de Palestina y allí se mezclaron y negociaron con las gentes. Ya con los griegos, que comienzan a navegar desde de la isla de Creta (famosa por el rey Minos y el Minotauro, por el mítico Dédalo y su hijo Ícaro) hasta las distintas islas del mar Egeo, comerciando y, si era del caso, saqueando, aparecen distintas formas de comercio: a la manera fenicia, llevando lo que otros necesitaban; a su manera, imponiendo el consumo con las armas etc. Los romanos, herederos de los griegos, nombraron al Mediterráneo mare nostrum (nuestro mar) y desde el puerto de Ostia establecieron la ruta de comercio marítimo más completa que se haya conocido hasta que se dio el descubrimiento de América. Cuarta idea: orden en la producción y los negocios. Todo desorden, por pequeño que sea, lleva al caos. Sin saberlo, el libro de los Números ya hablaba del efecto mariposa.

- 14 -

Este libro es muy interesante porque aquí se hace el primer censo del pueblo de Israel en el desierto, contando cada tribu, su especialidad productiva y normalizando la forma de hacer el comercio entre cada una de ellas y con los extranjeros. En términos modernos, se hizo un estudio de participación de mercados y de zonas de influencia. Y los contabilistas serán los levitas, que llevaran cuentas exactas de cada actividad. El libro de los Números establece un orden en la producción y los negocios, a partir de bases de datos confiables y, como sucede en el mismo libro, se realiza esta base de datos dos veces indicando con ellos que la información hay que estar actualizando para que los cambios no pasen desapercibidos y terminen afectando la actividad comercial e industrial. Quinta idea: el comercio y los productos no se quedan en lo que son sino que al entrar en contacto con otros espacios sufren cambios. Así el producto mejora sus condiciones en la medida en que el cliente interviene, con los usos que le da a lo que compra, en la elaboración del producto. Esto justifica la investigación permanente de ambas partes: cliente y producto, el uno en relación con el otro. Y viceversa. Los limes romanos fueron los mayores centros de intercambio y negocios de Roma, ya que en esa frontera militar siempre aparecía lo nuevo, lo desconocido, eso que no estaba en el imperio pero que existía. El lime era el contacto con el bárbaro (con lo que es diferente). Como consecuencia de esos limes se fueron moldeando los idiomas romances y al tiempo, los intercambios comerciales y los productos mestizos, lo que permitió que algo sufriera variaciones sin perder su esencia. Esto, en el mundo del comercio, fue importante porque la variación en el producto facilitó innovaciones, arreglos en los procesos (reingenierías), nuevos mercados y la aparición permanente de la novedad. Sexta idea: La globalización no es nada nuevo. Es una manera de extender los mercados y los comercios. El gran negocio, la ruta de la seda y las especias, desde Occidente, la que iba por Afganistán y la que llevaba a la India y a China, no sólo eran unas líneas de abastecimiento de productos caros y bien terminados (en el caso de las sedas y las joyas) sino también de productos necesarios para la conservación de la carne que comían los europeos, a la que le era necesaria las especias (el clavo, el comino, la canela etc.), el azúcar y la sal. Quien controlara estas rutas, tendría además la posibilidad de entrar en ese gran mercado de intercambio que eran las tierras del Khan.

- 15 -

Séptima idea: el comercio en Europa medieval y renacentista se hizo a través de ejércitos armados. Luego la idea se siguió practicando a través de la Jus Belli (la denominada guerra justa). Cuando se dieron los primeros burgos en Europa, siempre situados en el cruce de los caminos y de los ríos, floreció la industria a través de los gremios, gente especializada en hacer algo. Estos burgos, amparados por algún obispo o por un señor feudal, desarrollaron la industria a tal punto de calidad y belleza que los señores de esos lugares, creyendo que los artesanos ganaban mucho con esto que hacían, impusieron impuestos muy altos, tanto que a los gremios ya no les fue rentable producir. Entonces se quejaron a su señor y este, como sabía que su riqueza dependía de la carga impositiva que aparecía en la medida en que las cosas se pudieran comerciar, llamó a los Condottierri o los creó o éstos aparecieron sin más (no es claro). Y comenzaron a representar el burgo. El Condottier era un hombre que sabía de armas, tenía un ejército privado y estaba en capacidad de someter ciudades obligando a los vencidos a comprar los productos del burgo que representaban. Así, a cambio de una parte de las ganancias, extendieron el comercio. Y en esa extensión, los productos mejoraron para obtener mayores ganancias, dando pie a una nueva burguesía y al crecimiento de las artes liberales. Aparecieron nuevos gremios productivos, los banqueros (que prestaban dinero sentados en un banco), los físicos que vendían remedios y curaban enfermedades, los circos, los pequeños negocios y las caravanas de comerciantes. A través de operaciones militares y de imponer el miedo, se creció el comercio en Europa. El negocio entonces fue tener un ejército como punta de lanza para no sólo abrir mercados sino para someterlos. Algo no muy moral, pero es costumbre que sigue vigente. Lo practicaron los españoles en América, los ingleses en China y en la India, los belgas en el Congo, los franceses en Argelia, los norteamericanos en Cuba etc. Es conveniente anotar que los Condottieri llevaban contables con ellos a fin de que las operaciones se leyeran en términos de deber y haber. Octava idea: El comercio es cuestión de rutas, de públicos objetivos, de nichos. Hay que saber qué necesita el otro y llegar a él de la manera más rápida y eficiente (justo a tiempo). Este es el negocio. Uno de los reyes de Portugal es Enrique el navegante, un rey que nunca navegó. Sin embargo este rey promovió no sólo el comercio sino los descubrimientos de nuevas rutas comerciales. Debido a la condiciones de Portugal, que tiene más de costa que de ancho, los portugueses fueron más hombres de mar que de tierra. Y como los griegos y los árabes, hicieron sus mejores caminos en el mar. A los portugueses les tocó el océano atlántico, las islas Azores y la ruta hacia el oriente navegando a cabotaje por las costas de África.

- 16 -

Ellos, como después los holandeses, tuvieron claro que el mejor comercio era el de ultramar. No sólo era menos competido sino más atractivo porque de las islas y tierras lejanas conocidas podían traer productos asombrosos y además tener colonias que sirvieran de base a la producción europea y al intercambio de bienes. Esta conducta de comercio, hizo que muchos navegantes buscaran apoyo para nuevos descubrimientos, asegurando que a su regreso abundarían las riquezas. Uno de ellos fue Hernando de Magallanes. Novena idea: los mercados se extienden en la medida en que hay real intercambio. Y cuando una cultura traslada parte (gente de esa cultura) a otro sitio Cortés fue quizás el más grande de los estrategas españoles llegados a América y el que más oportunidades vio. Era un hombre curioso y ordenado, un gran contabilista de los bienes que tenía y un excelente narrador de aquello que lo asombraba. Fruto de sus vivencias son las cartas de relación a Carlos V, en la que narra lo que ve en el imperio de los aztecas. Una de estas cartas tiene que ver con el mercado de Tenochitlán, el más fabuloso comercio de la Europa y América de esos días. Décima idea: Los grandes negocios dependen de la calidad del mercado, del justo a tiempo y del concepto de calidad de vida que se pacte con los consumidores. Hasta finales del siglo XVIII, las ciudades islámicas (Bagdad, Damasco, Basora, Samarcanda, Istanbul) eran más importantes y con comercios más amplios que las occidentales. Pero al llegar la máquina de vapor y con ella su mayor expresión, el tren, las condiciones cambiaron radicalmente. Con las máquinas se impuso la tecnología occidental sobre la oriental y los excedentes de producción se multiplicaron a consecuencia de la producción en serie que había tenido sus primeros inicios en los principios económicos de La riqueza de las naciones de Adam Smith. Esta producción en serie cambió las condiciones del mercado y los negocios porque los productos se hicieron más baratos, así como el transporte que ahora cargaba mercancía por toneladas y se desplazaba sin necesidad de postas y por encima de carrileras. Y como es natural, las operaciones mercantiles se hicieron mayores y los efectos contables más detallados (lo que cuesta hacer algo y lo que cuesta venderlo), pues ya no sólo estaban los coste fijos y los diferidos sino que a la producción y el comercio se le agregaban ahora bienes de capital y bienes inmuebles. Y también oficios nuevos: jefes de bodega, logística de transporte, vagones especiales etc. Con la revolución industrial apareció una clase media en capacidad de consumir regularmente, lo que obligó a atender los mercados de manera estable y a competir con conceptos de calidad, confort, duración, justo a tiempo, financiación e innovación permanente.

- 17 -

Los grandes negocios nacieron de la calidad del mercado y de los consumidores y de la amplitud de la clase media que fue la que puso a circular dinero en cantidades nunca vistas y que no sólo gastó en lo que necesitaba para vivir sino en diversión, viajes, salud y cultura, lo que permitió el nacimiento de las empresas de servicios. Undécima idea: los viejos no tienen la razón pero tienen el camino. Los mercados modernos, son mercados que se amplían y se contraen de acuerdo a lo que aparece en los medios de comunicación, a las jugadas de bolsa y al optimismo de las personas. Sin embargo, existe una premisa que los japoneses y los chinos han entendido muy bien: hay que tomar un maestro, aprenderle, igualarlo y luego superarlo. Esta idea, que aparece en Buda y en Confucio, los ha hecho competitivos e innovadores. En occidente Emmanuel Kant decía en el Discurso sobre la Ilustración, que nada estaba completo y por eso todo admitía mejoras. De igual manera Benjamín Franklin llamaba a ahorrar el 25 por ciento de toda intención de consumo (si voy a comprar cuatro, compro tres) para mantener siempre dinero en el bolsillo. Pero ni a Kant ni a Franklin les hemos hecho caso y el mercado comienza a ser de los que practican las ideas de Buda y de Confucio. Duodécima idea: Los nuevos mercados y la tecnología moderna no funcionan con criterios antiguos sino nuevos. No se puede esperar que un avión se comporte como un pájaro. Así como en el siglo XVII, con el descubrimiento de Australia, el mundo estaba unido por rutas marítimas y esto le imponía un ritmo al uso del tiempo, hoy estamos unidos por la red. O sea que los negocios son más rápidos y es más rápida la transferencia de dinero. Pero, viene la pregunta. ¿A quién le vendemos ahora que todos los mercados están no sólo descubiertos sino abastecidos por todas partes? Los que piensan en esto han (hemos) pasado de una tecnología a otra y los paradigmas de negocio siguen siendo clásicos, aplicados a la vieja tecnología en que nacimos y no a la nueva que aparece: en occidente, DMD (dinero-mercancía-dinero) y en oriente, MDM (mercancía-dinero-mercancía). Creo que la tecnología digital y los nuevos negocios pertenecen a las nuevas generaciones, a las que nacieron en la era de la red y deben manejar el mudo que tienen. Estas personas tienen ahora cinco años. Cuando cumplan 25 ya buena parte de la humanidad que hace negocios estará muerta o jubilada. Pero para ellos habrá nacido el nuevo concepto de mercado y de negocio y la historia continuará sin parar, así como ha sido a pesar de las guerras y las pestes.

- 18 -

2.2. CONCEPTOS BI Se entiende por BI (Business Intelligence o Inteligencia de Negocios en español) el conjunto de herramientas que ayudan a la toma de decisiones, y permiten en tiempo real y de un modo interactivo el análisis y la manipulación de información crítica y relevante. BI posibilita a las organizaciones acceder a un gran volumen de información y rápidamente traducirlo en conocimiento, para de esta forma establecer decisiones y actuar con relación a las mismas. Básicamente es un proceso en el cual se toma información interna de la empresa, así como información externa relevante para el análisis y comparación de datos, se los procesa (Transforma), se completa la información faltante (de ser el caso), y se la alista en un formato entendible a las herramientas de explotación quien es la que interactúa con el usuario final. 2.3. ESTRUCTURA DE UNA SOLUCION BI Grafico explicativo del proceso BI

Fig. 1: Arquitectura base de un proceso de generación de datos BI

- 19 -

2.4. VENTAJAS Podemos mencionar algunos otros beneficios de la aplicación de BI, entre los que se puede destacar:

Minimiza el tiempo requerido para recoger toda la información de negocios relevante.

Transformar información en Inteligencia del negocio. Proporciona herramientas de análisis para la toma de decisiones. Reduce el ciclo desde la decisión a la acción. Elaboración automática de cuadros de mando para la dirección.

2.5. RESTRICCIONES Uno de las mayores restricciones es que las empresas no poseen historia de datos para realizar predicciones futuras observando el comportamiento histórico de la operación del negocio (Venta, Recuperación de Cartera, etc)

- 20 -

CAPITULO III: MARCO METODOLOGICO

3.1. COMPONENTES DE BUSINESS INTELLIGENTE (BI) Business Intelligence se compone de un conjunto de metodologías, aplicaciones y tecnologías que permiten reunir, depurar y transformar, en conocimiento, datos de los sistemas transaccionales e información desestructurada, sustituyendo a los antiguos Sistemas de información gerencial. Las distintas aplicaciones BI están compuestas básicamente de:

Una base de datos relacional para almacenar datos provenientes de toda la empresa.

Un software para extraer, transformar y cargar datos de los distintos sistemas

ya existentes en la empresa

Construcción de un Datawarehouse y Minería de Datos

Un motor OLAP (OnLine Analytical Processing) para analizar datos y compararlos con las múltiples dimensiones o criterios que corresponden a reglas del negocio especificas.

Finalmente, necesitamos de un software adecuado para explotación de los

datos, que sea amigable al usuario final Todos estos conceptos, lo estaremos analizando detalladamente en el capitulo de desarrollo y Análisis.

- 21 -

CAPITULO IV: DESARROLLO Y ANALISIS

4.1. ORIGENES DE DATOS.-

Dentro de una solucion BI se denomina origen de datos a todo tipo de medio de almacenamiento de información con el que cuenten las organizaciones o empresas.

Existen diversos tipos de orígenes de datos entre los cuales tenemos los siguientes:

Bases de Datos Relacionales.- Una base de datos relacional es una base de datos basada en un modelo relacional. Estrictamente hablando el término se refiere a una colección específica de datos.

Este es el modelo más utilizado en la actualidad para modelar problemas reales y administrar datos dinámicamente. Su idea fundamental es el uso de relaciones. Estas relaciones podrían considerarse en forma lógica como conjuntos de datos llamados tuplas. Pese a que esta es la teoría de las bases de datos relacionales creadas por Edgar Frank Codd, la mayoría de las veces se conceptualiza de una manera más fácil de imaginar. Esto es, pensando en cada relación como si fuese una tabla que está compuesto por registros (las filas de una tabla), que representarían las tuplas, y campos (las columnas de una tabla).

Existen diferentes Motores de bases de datos como por ejemplo: Oracle DB2 SQL Server Informix Sybase Postgres MySql

Archivos de Excel.- Existen empresas que aun almacenan su información transaccional en Archivos de Excel, sin embargo los mismos tambien se definen como un origen de datos. Estos Archivos de Excel pueden ser incluso subidos a una base de datos como por ejemplo SQL SERVER, y llegar a formar tablas que relacionadas entre si llegarían a formar una base de datos relacional.

- 22 -

Archivo CSV.- (Coma Separate Value), Los archivos CSV son archivos de texto, separados por comas como su nombre mismo lo indica, este tipo de archivos forman parte de los orígenes de datos, puesto que tienen el mismo tratamiento que el de los archivos de Excel.

Existen muchos mas orígenes de datos, como por ejemplo paginas HTML, Documentos de texto (TXT), etc. Sin embargo hemos nombrado los mas utilizados para la creación de soluciones BI, puesto que estos orígenes de datos deben coherencia en la información que contienen, se puede incluso tomar información desde mas de un origen de datos para la creación una sola solucion BI.

4.2. ETL (Extraction, Transformation and Load en sus siglas en Ingles) (Extracción, Transformación y Carga de datos) Como parte integrada de una solución BI, existe un primer proceso denominado ETL (extracción transformación y carga de datos), este proceso es quizás el más importante dentro de la construcción de la solucion.

Extraccion.- Se refiere a la extraccion de los datos más relevantes y específicos de los diferentes orígenes de datos para el armaje del Datawarehouse

Transformación.- Se refiere al acoplamiento que se le vaya a dar a la data extraída para el correcto uso de la misma en el Datawarehouse

Carga.- Se refiere a la carga de la data una vez transformada y estructurada a la base de datos ya multidimensional para la explotacion de la misma dentro del Datawarehouse.

El ETL es la primera fase de un proyecto datawarehouse dentro de una solucion BI. Sin embargo, a pesar de ser la menos glamorosa, es fundamental para su éxito. De hecho, la fase de ETL es considerada:

Crítica: porque el resto de las fases del proyecto se alimentan de ella y no pueden comenzar hasta que la ETL ha concluido satisfactoriamente;

una fuente potencial de costes inesperados: dado que, si bien no debería absorber más allá del 60% del tiempo de ejecución del proyecto de datawarehouse, no es infrecuente que llegue a acaparar el 90% de él y que, además, acabe provocando retrasos importantes en su ejecución;

- 23 -

específica: porque la información que se extrae de las bases de datos empresariales para la realización de estudios de datawarehouse tiene que ajustarse a unos criterios de contenido, calidad y formato a los que los responsables de los sistemas de información de las empresas no están habituados;

difícil: porque conlleva el extraer e integrar datos de fuentes muy diversas y plataformas muchas veces heterogéneas y acceder a información contenida en sistemas que no están concebidos ni diseñados para las exigencias de un proceso masivo de análisis de datos;

multidisciplinar: porque no se trata de una actividad meramente técnica; implica la adquisición en un plazo de tiempo corto de la visión de negocio necesaria para comprender el valor funcional de la información bajo, además, las ópticas distintas de los distintos usuarios finales, los distintos departamentos de la empresa.

Para los procesos ETL, existen herramientas especializadas para hacer mucho más prácticos los mismos, para este caso vamos a hacer referencia a la Herramienta de Microsoft, SQL Server y su componente (Data Tranformation Services) Data Tranformation Services DTS

¿Qué son los Data Tranformation Services?

DTS es un conjunto de herramientas que permiten importar, exportar y transformar datos heterogéneos entre uno o más orígenes de datos, como Microsoft SQL Server, Microsoft Excel, Microsoft Access. La conectividad la proporciona OLE DB, un estándar abierto para el acceso a datos.

Los orígenes de datos de ODBC (Open Database Connectivity) se admiten gracias al proveedor Microsoft OLE DB para ODBC. Este componente permite además la conexión a diversos orígenes de datos que no pertenecen a Microsoft como Oracle, Sybase, DB2, Informix, Archivos TXT, o archivos CSV, etc.

- 24 -

Fig.2: Ejemplo de un DTS con conexiones, tareas y control de flujo de procesos En el grafico podemos observar tres de las diversas conexiones que puede realizar un DTS, como son: un archivo TXT, Excel y desde un ERP por medio de un ODBC, tambien existen los DATALINK los cuales son configurable para conectarse a un origen de datos especifico. Introducción a Data Tranformation Services DTS La mayoría de las organizaciones disponen de distintos formatos y ubicaciones en los que almacenar los datos. Para favorecer la toma de decisiones, mejorar el rendimiento de los sistemas y actualizar los sistemas existentes, con frecuencia es preciso mover los datos de una ubicación a otra.

Los Servicios de transformación de datos (DTS) de Microsoft SQL Server 2000 proporcionan las herramientas necesarias para extraer, transformar y consolidar los datos de fuentes dispares a destinos únicos o múltiples. Dichas herramientas de DTS permiten crear soluciones para el movimiento de datos personalizadas que se ajustan a las necesidades especiales de una organización. Ej.:

Caso: El almacén de datos contiene datos históricos sobre las operaciones empresariales, en este caso se resumen los datos por medio del Analysis services de Microsoft SQL Server 2000. Se hace preciso actualizar el almacén de datos cada noche desde la base de datos de procesamiento de transacciones en línea

- 25 -

(OLTP), sistema que se encuentra funcionando 24 horas al día, por lo que el rendimiento, en este caso concreto, es fundamental.

Solución: Se puede crear una solución DTS que utilice el protocolo de transferencia de archivos (FTP) para mover los archivos de datos a la unidad local, que cargue los datos en una tabla de hechos y que los agregue utilizando Analysis services. Se puede programar que la solución DTS se ejecute cada noche y emplear las nuevas opciones de conexión de DTS para realizar un seguimiento de la duración del proceso, permitiendo de este modo analizar el rendimiento periódicamente.

Las siguientes son las herramientas disponibles para la creación y ejecución de los paquetes:

El Asistente para la importación o exportación, que permite crear paquetes DTS relativamente simples y admite la migración de datos y las transformaciones simples.

El Diseñador DTS, que implementa de forma gráfica el modelo de objetos DTS, permitiendo al usuario crear paquetes DTS con una variada funcionalidad.

DTSRun, utilidad de solicitud de comandos empleada para ejecutar paquetes DTS existentes.

DTSRunUI, una interfaz gráfica a DTSRun, que también permite el paso de variables globales y la generación de líneas de comando.

SQLAgent, que no constituye una aplicación DTS, pero que éste emplea para programar la ejecución de los paquetes.

La utilización del modelo de objetos DTS permite crear y ejecutar paquetes por medio de la programación, crear tareas y desarrollar transformaciones personalizadas.

Un paquete DTS generalmente incluye una o varias tareas, cada una de las cuales define un elemento de trabajo que se puede llevar a cabo durante la ejecución del paquete. Las tareas se pueden emplear para:

Transformar datos

Copiar y administrar datos

Ejecutar tareas como trabajos dentro de un paquete También se pueden crear tareas personalizadas mediante programación y, a continuación, integrarlas en el Diseñador DTS utilizando el comando Registrar tarea personalizada.

- 26 -

Flujos de trabajo: Establecimiento de la prioridad en las tareas

Cuando se define un grupo de tareas, existe por norma general un orden establecido en su ejecución, en cuyo caso, cada una de las tareas constituye un paso en el proceso. En el Diseñador DTS, se pueden manipular las tareas en la hoja de estilo y utilizar restricciones de prioridad que controlen la secuencia en la que éstas se ejecutan.

Fig.3: Ejemplo que detalla un dts donde se encuentra una tarea con conexión al servidor Srv02, luego pasa a ejecutar una tarea denominada Proc01, y luego de esta a la tarea Proc02

Conexiones: Acceso y movimiento de los datos

Para poder ejecutar con éxito las tareas de DTS que permiten copiar y transformar datos, un paquete DTS debe establecer las conexiones adecuadas a los datos de origen y destino y a cualquier otro origen de datos adicional, por ejemplo, las tablas de consulta.

Cuando se crea un paquete, el usuario configura las conexiones seleccionando el tipo en una lista de proveedores OLE DB y de controladores ODBC. Los tipos de conexiones disponibles son los siguientes:

Controladores de Microsoft Data Access Components (MDAC)

Controladores Microsoft Jet

Otros controladores como: Archivo de texto (Origen), Archivo de texto (Destino)

DTS permite utilizar cualquier conexión OLE DB. Los iconos que aparecen en la barra de herramientas de conexión proporcionan un rápido acceso a las conexiones más comunes.

- 27 -

Fig.4: Distintas conexiones existentes en la barra de herramientas de SQL Server 2000

Bombeo de datos: Transformación de los datos

El bombeo de datos de DTS es un objeto DTS que lleva a cabo la importación, exportación y transformación de los datos. Se utiliza durante la ejecución de las tareas de transformación de datos, de consulta controlada por datos y de bombeo paralelo de datos. Dichas tareas crean conjuntos de filas en las conexiones de origen y destino y, a continuación, una instancia de bombeo de datos que mueve las filas entre el origen y el destino. A medida que se va copiando cada fila, se producen transformaciones en las mismas.

Fig.5: Ejemplo que detalla un dts donde se encuentran varios origenes de datos y fluyen a un mismo proceso

- 28 -

4.3. DATAWAREHOUSE y DATA MINING

Fig.6: Detalle de un proceso de Datawarehouse y algunas salidas de información

Que es un Datawarehouse?

Hoy en día toda empresa necesita depositar mucha confianza en la toma de decisiones sobre los negocios, para tomar dichas decisiones requerimos hechos y cifras. Sabemos que la competencia crece en todo momento entonces las decisiones que debemos tomar en nuestra empresa deben ser mas aceleradas; pero que pasa si tenemos una montaña de información la cual debe ser analizada, lógicamente pensamos que necesitaríamos mucho tiempo.

Por ese motivo se requieren herramientas que nos ayuden a minimizar el tiempo para analizar mucha información con mayor velocidad y precisión; utilizando dichas herramientas logramos mantenernos competitivos, ya que nuestros negocios deben reaccionar al cambio del mercado. De otro modo el mercado globalizado, la presión inmensa de la competencia, los arranques tecnológicos, etc. Debilitaran nuestra empresa. Esto nos muestra que las empresas invierten en tecnología y soluciones con las cuales se mantienen en este mundo cambiante, ahora las empresas no dependen tan solo de factores como ubicación, productos, etc. Sino también del conocimiento. Tal conocimiento basado en información comprensible, detallada y relevante es crucial para lograr y sostener ventaja competitiva. El poseer conocimientos correctos significa tener respuestas correctas y realizar decisiones estratégicas para la ejecución

- 29 -

de la empresa. Pero las tareas de recolectar, procesar, limpiar y transformar la información necesaria para la toma de decisiones no es una tarea sencilla mas si consideramos que una empresa tiene distintas áreas que a veces se encuentran alejadas de los ejecutivos de negocios.

El Componente de Bussines Intelligence que resuelve este caos de los datos es el Datawarehouse.

Datawarehouse es el centro de la arquitectura para los sistemas de información en la década de los '90. Soporta el procesamiento informático al proveer una plataforma sólida, a partir de los datos históricos para hacer el análisis. Facilita la integración de sistemas de aplicación no integrados. Organiza y almacena los datos que se necesitan para el procesamiento analítico, informático sobre una amplia perspectiva de tiempo.

Un Datawarehouse o Depósito de Datos es una colección de datos orientado a temas, integrado, no volátil, de tiempo variante, que se usa para el soporte del proceso de toma de decisiones gerenciales.

Se puede caracterizar un datawarehouse haciendo un contraste de cómo los datos de un negocio almacenados en un datawarehouse, difieren de los datos operacionales usados por las aplicaciones de producción.

Base de Datos Operacional Datawarehouse Datos Operacionales Datos del negocio para Información Orientado a la aplicación Orientado al sujeto Actual Actual + histórico Detallada Detallada + más resumida Cambia continuamente Estable

El ingreso de datos en el datawarehouse viene desde el ambiente operacional en casi todos los casos. El datawarehouse es siempre un almacén de datos transformados y separados físicamente de la aplicación donde se encontraron los datos en el ambiente operacional.

Características de un Datawarehouse

Entre las principales se tiene:

Orientado al tema Integrado De tiempo variante No volátil

- 30 -

Orientado a Temas

Una primera característica del datawarehouse es que la información se clasifica en base a los aspectos que son de interés para la empresa. Siendo así, los datos tomados están en contraste con los clásicos procesos orientados a las aplicaciones.

El ambiente operacional se diseña alrededor de las aplicaciones y funciones tales como préstamos, ahorros, tarjeta bancaria y depósitos para una institución financiera. Por ejemplo, una aplicación de ingreso de órdenes puede acceder a los datos sobre clientes, productos y cuentas. La base de datos combina estos elementos en una estructura que acomoda las necesidades de la aplicación.

En el ambiente data warehousing se organiza alrededor de sujetos tales como cliente, vendedor, producto y actividad. Por ejemplo, para un fabricante, éstos pueden ser clientes, productos, proveedores y vendedores. Para una universidad pueden ser estudiantes, clases y profesores. Para un hospital pueden ser pacientes, personal médico, medicamentos, etc.

La alineación alrededor de las áreas de los temas afecta el diseño y la implementación de los datos encontrados en el datawarehouse. Las principales áreas de los temas influyen en la parte más importante de la estructura clave.

Las aplicaciones están relacionadas con el diseño de la base de datos y del proceso. En data warehousing se enfoca el modelamiento de datos y el diseño de la base de datos. El diseño del proceso (en su forma clásica) no es separado de este ambiente.

Las diferencias entre la orientación de procesos y funciones de las aplicaciones y la orientación a temas, radican en el contenido de la data a escala detallada. En el datawarehouse se excluye la información que no será usada por el proceso de sistemas de soporte de decisiones, mientras que la información de las orientadas a las aplicaciones, contiene datos para satisfacer de inmediato los requerimientos funcionales y de proceso, que pueden ser usados o no por el analista de soporte de decisiones.

Otra diferencia importante está en la interrelación de la información. Los datos operacionales mantienen una relación continua entre dos o más tablas basadas en una regla comercial que está vigente. Las del datawarehouse miden un espectro de tiempo y las relaciones encontradas en el datawarehouse son

- 31 -

muchas. Muchas de las reglas comerciales (y sus correspondientes relaciones de datos) se representan en el datawarehouse, entre dos o más tablas.

Integración

El aspecto más importante del ambiente data warehousing es que la información encontrada al interior está siempre integrada.

La integración de datos se muestra de muchas maneras: en convenciones de nombres consistentes, en la medida uniforme de variables, en la codificación de estructuras consistentes, en atributos físicos de los datos consistentes, fuentes múltiples y otros.

A través de los años, los diseñadores de las diferentes aplicaciones han tomado sus propias decisiones sobre cómo se debería construir una aplicación. Los estilos y diseños personalizados se muestran de muchas maneras.

Se diferencian en la codificación, en las estructuras claves, en sus características físicas, en las convenciones de nombramiento y otros. La capacidad colectiva de muchos de los diseñadores de aplicaciones, para crear aplicaciones inconsistentes, es fabulosa

Codificación

Los diseñadores de aplicaciones codifican el campo GÉNERO en varias formas. Un diseñador representa GÉNERO como una "M" y una "F", otros como un "1" y un "0", otros como una "X" y una "Y" e inclusive, como "masculino" y "femenino".

No importa mucho cómo el GÉNERO llega al datawarehouse. Probablemente "M" y "F" sean tan buenas como cualquier otra representación. Lo importante es que sea de cualquier fuente de donde venga, el GÉNERO debe llegar al datawarehouse en un estado integrado y uniforme.

Por lo tanto, cuando el GÉNERO se carga en el datawarehouse desde una aplicación, donde ha sido representado en formato "M" y "F", los datos deben convertirse al formato del datawarehouse.

Medida de atributos

- 32 -

Los diseñadores de aplicaciones miden las unidades de medida de las tuberías en una variedad de formas. Un diseñador almacena los datos de tuberías en centímetros, otros en pulgadas, otros en millones de pies cúbicos por segundo y otros en yardas.

Al dar medidas a los atributos, la transformación traduce las diversas unidades de medida usadas en las diferentes bases de datos para transformarlas en una medida estándar común.

Cualquiera que sea la fuente, cuando la información de la tubería llegue al datawarehouse necesitará ser medida de la misma manera.

Convenciones de Nombramiento

El mismo elemento es frecuentemente referido por nombres diferentes en las diversas aplicaciones. El proceso de transformación asegura que se use preferentemente el nombre de usuario.

Fuentes Múltiples

El mismo elemento puede derivarse desde fuentes múltiples. En este caso, el proceso de transformación debe asegurar que la fuente apropiada sea usada, documentada y movida al depósito.

Los puntos de integración afectan casi todos los aspectos de diseño - las características físicas de los datos, la disyuntiva de tener más de una de fuente de datos, el problema de estándares de denominación inconsistentes, formatos de fecha inconsistentes y otros.

Cualquiera que sea la forma del diseño, el resultado es el mismo - la información necesita ser almacenada en el datawarehouse en un modelo globalmente aceptable y singular, aun cuando los sistemas operacionales subyacentes almacenen los datos de manera diferente.

Cuando el analista de sistema de soporte de decisiones observe el datawarehouse, su enfoque deberá estar en el uso de los datos que se encuentre en el depósito, antes que preguntarse sobre la confiabilidad o consistencia de los datos.

De Tiempo Variante

Toda la información del datawarehouse es requerida en algún momento. Esta característica básica de los datos en un depósito, es muy diferente de la información encontrada en el ambiente operacional. En éstos, la

- 33 -

información se requiere al momento de acceder. En otras palabras, en el ambiente operacional, cuando usted accede a una unidad de información, usted espera que los valores requeridos se obtengan a partir del momento de acceso.

Como la información en el datawarehouse es solicitada en cualquier momento (es decir, no "ahora mismo"), los datos encontrados en el depósito se llaman de "tiempo variante".

Los datos históricos son de poco uso en el procesamiento operacional. La información del depósito por el contraste, debe incluir los datos históricos para usarse en la identificación y evaluación de tendencias.

La información es útil sólo cuando es estable. Los datos operacionales cambian sobre una base momento a momento. La perspectiva más grande, esencial para el análisis y la toma de decisiones, requiere una base de datos estable.

La actualización (insertar, borrar y modificar), se hace regularmente en el ambiente operacional sobre una base de registro por registro. Pero la manipulación básica de los datos que ocurre en el datawarehouse es mucho más simple. Hay dos únicos tipos de operaciones: la carga inicial de datos y el acceso a los mismos. No hay actualización de datos (en el sentido general de actualización) en el depósito, como una parte normal de procesamiento.

Hay algunas consecuencias muy importantes de esta diferencia básica, entre el procesamiento operacional y del datawarehouse. En el nivel de diseño, la necesidad de ser precavido para actualizar las anomalías no es un factor en el datawarehouse, ya que no se hace la actualización de datos. Esto significa que en el nivel físico de diseño, se pueden tomar libertades para optimizar el acceso a los datos, particularmente al usar la normalización y desnormalización física.

Otra consecuencia de la simplicidad de la operación del datawarehouse está en la tecnología subyacente, utilizada para correr los datos en el depósito. Teniendo que soportar la actualización de registro por registro en modo on-line (como es frecuente en el caso del procesamiento operacional) requiere que la tecnología tenga un fundamento muy complejo debajo de una fachada de simplicidad.

La tecnología permite realizar copias de seguridad y recuperación, transacciones e integridad de los datos y la detección y solución al

- 34 -

estancamiento que es más complejo. En el datawarehouse no es necesario el procesamiento.

La fuente de casi toda la información del datawarehouse es el ambiente operacional. A simple vista, se puede pensar que hay redundancia masiva de datos entre los dos ambientes. Desde luego, es la primera impresión de muchas personas. Dicho razonamiento es superficial y demuestra una carencia de entendimiento con respecto a qué ocurre en el datawarehouse.

Por lo tanto es necesario considerar lo siguiente:

Los datos se filtran cuando pasan desde el ambiente operacional al de depósito. Existe mucha data que nunca sale del ambiente operacional. Sólo los datos que realmente se necesitan ingresarán al ambiente de datawarehouse.

El horizonte de tiempo de los datos es muy diferente de un ambiente al otro. La información en el ambiente operacional es más reciente con respecto a la del datawarehouse. Desde la perspectiva de los horizontes de tiempo únicos, hay poca superposición entre los ambientes operacionales y de datawarehouse.

El datawarehouse contiene un resumen de la información que no se encuentra en el ambiente operacional.

Los datos experimentan una transformación fundamental cuando pasa al datawarehouse. La mayor parte de los datos se alteran significativamente al ser seleccionados y movidos al datawarehouse. Dicho de otra manera, la mayoría de los datos se alteran física y radicalmente cuando se mueven al depósito. No es la misma data que reside en el ambiente operacional desde el punto de vista de integración.

Función de un Datawarehouse Un Almacén de Datos debe entregar la información correcta a la gente indicada en el momento adecuado en el formato correcto. El Almacén de Datos da respuesta a las necesidades de usuarios conocedores, utilizando Sistemas de ayuda en la decisión (DSS), Sistemas de información ejecutiva (EIS) o herramientas para hacer consulta o informes. Los usuarios finales fácilmente pueden hacer consultas sobre sus Almacenes de Datos sin tocar o afectar la operación del sistema.

Arquitectura de un Datawarehouse

Una de las razones por las que el desarrollo de un datawarehouse crece rápidamente, es que realmente es una tecnología muy entendible. De hecho, data warehousing puede representar mejor la estructura amplia de una empresa para administrar los

- 35 -

datos informacionales dentro de la organización. A fin de comprender cómo se relacionan todos los componentes involucrados en una estrategia data warehousing, es esencial tener una Arquitectura Datawarehouse.

Elementos constituyentes de una Arquitectura Datawarehouse

Una Arquitectura Datawarehouse (Datawarehouse Architecture - DWA) es una forma de representar la estructura total de datos, comunicación, procesamiento y presentación, que existe para los usuarios finales que disponen de una computadora dentro de la empresa.

La arquitectura se constituye de un número de partes interconectadas:

Base de datos operacional / Nivel de base de datos externo Nivel de acceso a la información Nivel de acceso a los datos Nivel de directorio de datos Nivel de gestión de proceso Nivel de mensaje de la aplicación Nivel de datawarehouse Nivel de organización de datos

Base de datos operacional / Nivel de base de datos externo

Los sistemas operacionales procesan datos para apoyar las necesidades operacionales críticas. Para hacer eso, se han creado las bases de datos operacionales históricas que proveen una estructura de procesamiento eficiente, para un número relativamente pequeño de transacciones comerciales bien definidas.

Sin embargo, a causa del enfoque limitado de los sistemas operacionales, las bases de datos diseñadas para soportar estos sistemas, tienen dificultad al acceder a los datos para otra gestión o propósitos informáticos.

Esta dificultad en acceder a los datos operacionales es amplificada por el hecho que muchos de estos sistemas tienen de 10 a 15 años de antigüedad. El tiempo de algunos de estos sistemas significa que la tecnología de acceso a los datos disponible para obtener los datos operacionales, es así mismo antigua.

Ciertamente, la meta del data warehousing es liberar la información que es almacenada en bases de datos operacionales y combinarla con la información desde otra fuente de datos, generalmente externa.

- 36 -

Cada vez más, las organizaciones grandes adquieren datos adicionales desde bases de datos externas. Esta información incluye tendencias demográficas, econométricas, adquisitivas y competitivas (que pueden ser proporcionadas por Instituciones Oficiales - INEI). Internet o también llamada "information superhighway" (supercarretera de la información) provee el acceso a más recursos de datos todos los días.

Nivel de acceso a la información

El nivel de acceso a la información de la arquitectura datawarehouse, es el nivel del que el usuario final se encarga directamente. En particular, representa las herramientas que el usuario final normalmente usa día a día. Por ejemplo: EXCEL

Este nivel también incluye el hardware y software involucrados en mostrar información en pantalla y emitir reportes de impresión, hojas de cálculo, gráficos y diagramas para el análisis y presentación. Hace dos décadas que el nivel de acceso a la información se ha expandido enormemente, especialmente a los usuarios finales quienes se han volcado a los PCS monousuarios y los PCS en redes.

Actualmente, existen herramientas más y más sofisticadas para manipular, analizar y presentar los datos, sin embargo, hay problemas significativos al tratar de convertir los datos tal como han sido recolectados y que se encuentran contenidos en los sistemas operacionales en información fácil y transparente para las herramientas de los usuarios finales. Una de las claves para esto es encontrar un lenguaje de datos común que puede usarse a través de toda la empresa.

Nivel de acceso a los datos

El nivel de acceso a los datos de la arquitectura datawarehouse está involucrado con el nivel de acceso a la información para conversar en el nivel operacional. En la red mundial de hoy, el lenguaje de datos común que ha surgido es SQL. Originalmente, SQL fue desarrollado por IBM como un lenguaje de consulta, pero en los últimos veinte años ha llegado a ser el estándar para el intercambio de datos.

Uno de los adelantos claves de los últimos años ha sido el desarrollo de una serie de "filtros" de acceso a datos, tales como EDA/SQL para acceder a casi todo los Sistemas de Gestión de Base de Datos (Data Base Management Systems - DBMSs) y sistemas de archivos de datos, relacionales o no. Estos filtros permiten a las herramientas de acceso a

- 37 -

la información, acceder también a la data almacenada en sistemas de gestión de base de datos que tienen veinte años de antigüedad.

El nivel de acceso a los datos no solamente conecta DBMSS diferentes y sistemas de archivos sobre el mismo hardware, sino también a los fabricantes y protocolos de red. Una de las claves de una estrategia data warehousing es proveer a los usuarios finales con "acceso a datos universales".

El acceso a los datos universales significa que, teóricamente por lo menos, los usuarios finales sin tener en cuenta la herramienta de acceso a la información o ubicación, deberían ser capaces de acceder a cualquier o todos los datos en la empresa que es necesaria para ellos, para hacer su trabajo.

El nivel de acceso a los datos entonces es responsable de la interfaces entre las herramientas de acceso a la información y las bases de datos operacionales. En algunos casos, esto es todo lo que un usuario final necesita. Sin embargo, en general, las organizaciones desarrollan un plan mucho más sofisticado para el soporte del data warehousing.

Nivel de Directorio de Datos

A fin de proveer el acceso a los datos universales, es absolutamente necesario mantener alguna forma de directorio de datos o repositorio de la información metadata. La metadata es la información alrededor de los datos dentro de la empresa.

A fin de tener un depósito totalmente funcional, es necesario tener una variedad de metadata disponibles, información sobre las vistas de datos de los usuarios finales e información sobre las bases de datos operacionales. Idealmente, los usuarios finales deberían de acceder a los datos desde el datawarehouse (o desde las bases de datos operacionales), sin tener que conocer dónde residen los datos o la forma en que se han almacenados.

Nivel de Gestión de Procesos

El nivel de gestión de procesos tiene que ver con la programación de diversas tareas que deben realizarse para construir y mantener el datawarehouse y la información del directorio de datos. Este nivel puede depender del alto nivel de control de trabajo para muchos procesos (procedimientos) que deben ocurrir para mantener el datawarehouse actualizado.

- 38 -

Nivel de Mensaje de la Aplicación

El nivel de mensaje de la aplicación tiene que ver con el transporte de información alrededor de la red de la empresa. El mensaje de aplicación se refiere también como "subproducto", pero puede involucrar sólo protocolos de red. Puede usarse por ejemplo, para aislar aplicaciones operacionales o estratégicas a partir del formato de datos exacto, recolectar transacciones o los mensajes y entregarlos a una ubicación segura en un tiempo seguro.

Nivel DataWarehouse (Físico)

En el datawarehouse (núcleo) es donde ocurre la data actual, usada principalmente para usos estratégicos. En algunos casos, uno puede pensar del datawarehouse simplemente como una vista lógica o virtual de datos. En muchos ejemplos, el datawarehouse puede no involucrar almacenamiento de datos.

En un datawarehouse físico, copias, en algunos casos, muchas copias de datos operacionales y/o externos, son almacenados realmente en una forma que es fácil de acceder y es altamente flexible. Cada vez más, los datawarehouse son almacenados sobre plataformas cliente/servidor, pero por lo general se almacenan sobre mainframes.

Nivel de Organización de Datos

El componente final de la arquitectura datawarehouse es la organización de los datos. Se llama también gestión de copia o réplica, pero de hecho, incluye todos los procesos necesarios como seleccionar, editar, resumir, combinar y cargar datos en el depósito y acceder a la información desde bases de datos operacionales y/o externas.

La organización de datos involucra con frecuencia una programación compleja, pero cada vez más, están creándose las herramientas data warehousing para ayudar en este proceso. Involucra también programas de análisis de calidad de datos y filtros que identifican modelos y estructura de datos dentro de la data operacional existente.

Estructura de un Datawarehouse El ambiente de un Datawarehouse queda definido por la suma de los diferentes DataMart (conjunto de datos relacionados con un tema en particular) integrados, no sólo a nivel físico sino también a nivel lógico.

- 39 -

Los datawarehouse tienen una estructura distinta. Hay niveles diferentes de esquematización y detalle que delimitan el datawarehouse

Detalle de datos actuales

En gran parte, el interés más importante radica en el detalle de los datos actuales, debido a que:

Refleja las ocurrencias más recientes, las cuales son de gran interés Es voluminoso, ya que se almacena al más bajo nivel de granularidad. Casi siempre se almacena en disco, el cual es de fácil acceso, aunque

su administración sea costosa y compleja.

Detalle de datos antiguos

La data antigua es aquella que se almacena sobre alguna forma de almacenamiento masivo. No es frecuentemente su acceso y se almacena a un nivel de detalle, consistente con los datos detallados actuales. Mientras no sea prioritario el almacenamiento en un medio de almacenaje alterno, a causa del gran volumen de datos unido al acceso no frecuente de los mismos, es poco usual utilizar el disco como medio de almacenamiento.

Datos ligeramente resumidos

La data ligeramente resumida es aquella que proviene desde un bajo nivel de detalle encontrado al nivel de detalle actual. Este nivel del datawarehouse casi siempre se almacena en disco. Los puntos en los que se basa el diseñador para construirlo son:

Que la unidad de tiempo se encuentre sobre la esquematización hecha. Qué contenidos (atributos) tendrá la data ligeramente resumida.

A veces se encuentra en el ambiente de datawarehouse y en otros, fuera del límite de la tecnología que ampara al datawarehouse. (De todos modos, los datos completamente resumidos son parte del datawarehouse sin considerar donde se alojan los datos físicamente.)

Metadata

La data antigua es aquella que se almacena sobre alguna forma de almacenamiento masivo. No es frecuentemente su acceso y se almacena a un nivel de detalle, consistente con los datos detallados actuales. Mientras no sea prioritario el almacenamiento en un medio de almacenaje alterno, a causa del

- 40 -

gran volumen de datos unido al acceso no frecuente de los mismos, es poco usual utilizar el disco como medio de almacenamiento.

El componente final del datawarehouse es el de la metadata. De muchas maneras la metadata se sitúa en una dimensión diferente al de otros datos del datawarehouse, debido a que su contenido no es tomado directamente desde el ambiente operacional.

La metadata juega un rol especial y muy importante en el datawarehouse y es usada como:

Un directorio para ayudar al analista a ubicar los contenidos del datawarehouse.

Una guía para la trazabilidad de los datos, de cómo se transforma, del ambiente operacional al de datawarehouse.

Una guía de los algoritmos usados para la esquematización entre el detalle de datos actual, con los datos ligeramente resumidos y éstos, con los datos completamente resumidos, etc.

La metadata juega un papel mucho más importante en un ambiente data warehousing que en un operacional clásico.

La metadata contiene (al menos):

La estructura de los datos Los algoritmos usados para la esquematización La trazabilidad desde el ambiente operacional al datawarehouse

La información adicional que no se esquematiza es almacenada en el datawarehouse. En muchas ocasiones, allí se hará el análisis y se producirá un tipo u otro de resumen. El único tipo de esquematización que se almacena permanentemente en el datawarehouse, es el de los datos que son usados frecuentemente. En otras palabras, si un analista produce un resumen que tiene una probabilidad muy baja de ser usado nuevamente, entonces la esquematización no es almacenada en el datawarehouse.

Diseño de un Datawarehouse Para construir un Datawarehouse se necesitan herramientas para ayudar a la migración y a la transformación de los datos hacia la bodega de datos. Ya construido, se requieren medios para manejar grandes volúmenes de información. Dependiendo de la estructura interna de los datos de la Bodega y especialmente del tipo de consultas a realizar, se diseña la arquitectura de la Bodega de datos. Con este criterio los datos deben ser repartidos entre numerosos Data Marts. Para abordar un proyecto

- 41 -

de Datawarehouse (Bodega de Datos) es necesario hacer el levantamiento de algunos temas generales de la Organización, los cuales se analizarán en la siguiente tabla:

Ambiente Actual

Cualquier solución propuesta de Datawarehouse debe estar muy orientada por las necesidades del negocio y debe ser compatible con la arquitectura técnica existente y planeada de la compañía.

Ambiente De Negocios

Es indispensable tener el conocimiento exacto sobre el tipo de negocios de la Organización y el soporte que representa la información dentro de todo su proceso de toma de decisiones.

Ambiente Técnico

Se debe incluir tanto el aspecto de ambiente hardware: mainframes, servidores, redes, así como aplicaciones y herramientas. Se dará énfasis a los Sistemas de Soporte en la Decisión, si existen en la actualidad, cómo operan, etc.

Expectativas De Los Usuarios Un proyecto de Bodega de Datos no es un proyecto tecnológico, es una forma de Vida de las Organizaciones y como tal, tiene que contar con el apoyo de todos los usuarios y su convencimiento sobre su bondad.

Etapas de Desarrollo

Con el conocimiento previo, ya se entra en el desarrollo de una Estrategia Conceptual para la construcción de un DW.

Usos del Datawarehouse

Los datos operacionales y los datos del datawarehouse son accedidos por usuarios que usan los datos de maneras diferentes.

- 42 -

Uso de Base de Datos Operacionales Uso de Datawarehouse Muchos usuarios concurrentes Pocos usuarios concurrentes

Consultas predefinidas y actualizables Consultas complejas, frecuentemente no anticipadas.

Cantidades pequeñas de datos detallados Cantidades grandes de datos detallados Requerimientos de respuesta inmediata Requerimientos de respuesta no críticos Maneras diferentes de uso de datos

Los usuarios de un datawarehouse necesitan acceder a los datos complejos, frecuentemente desde fuentes múltiples y de formas no predecibles.

Los usuarios que accedan a los datos operacionales, comúnmente efectúan tareas predefinidas que, generalmente requieren acceso a una sola base de datos de una aplicación. Por el contrario, los usuarios que accedan al datawarehouse, efectúan tareas que requieren acceso a un conjunto de datos desde fuentes múltiples y frecuentemente no son predecibles. Lo único que se conoce (si es modelada correctamente) es el conjunto inicial de datos que se han establecido en el depósito.

Por ejemplo, un especialista en el cuidado de la salud podría necesitar acceder a los datos actuales e históricos para analizar las tendencias de costos, usando un conjunto de consultas predefinidas. Por el contrario, un representante de ventas podría necesitar acceder a los datos de cliente y producto para evaluar la eficacia de una campaña de marketing, creando consultas base o ad-hoc para encontrar nuevamente necesidades definidas.

En efecto, los usuarios frecuentemente comienzan buscando en los datos resumidos y como identifican áreas de interés, comienzan a acceder al conjunto de datos detallado. Los conjuntos de datos resumidos representan el "Qué" de una situación y los conjuntos de datos detallados permiten a los usuarios construir un cuadro sobre "Cómo" se ha derivado esa situación.

Las consultas de los usuarios accedan a cantidades grandes de datos

Debido a la necesidad de investigar tendencias y evaluar las relaciones entre muchas clases de datos, las consultas al datawarehouse permiten acceder a volúmenes muy grandes tanto de data detallada como resumida. Debido a los requerimientos de datos históricos, los datawarehouse evolucionan para llegar a un tamaño más grande que sus orígenes operacionales (de 10 a 100 veces más grande).

- 43 -

Las consultas de los usuarios no tienen tiempos de respuesta críticos

Las transacciones operacionales necesitan una respuesta inmediata porque un cliente puede estar esperando una respuesta. En el datawarehouse, por el contrario, tiene un requerimiento de respuesta no crítico porque el resultado frecuentemente se usa en un proceso de análisis y toma de decisiones. Aunque los tiempos de respuesta no son críticos, los usuarios esperan una respuesta dentro del mismo día en que es hecha la consulta.

Por lo general, los diferentes niveles de datos dentro del datawarehouse reciben diferentes usos. A más alto nivel de esquematización, se tiene mayor uso de los datos.

La data más resumida, permite capturar los datos en forma más rápida y eficiente. Si en una tarea se encuentra que se hace mucho procesamiento a niveles de detalle del datawarehouse, entonces se consumirá muchos recursos de máquina. Es mejor hacer el procesamiento a niveles más altos de esquematización como sea posible.

Para muchas tareas, el analista de sistemas de soporte de decisiones usa la información detallada en un pre datawarehouse. La seguridad de la información de detalle se consigue de muchas maneras, aun cuando estén disponibles otros niveles de esquematización. Una de las actividades del diseñador de datos es el de desconectar al usuario del sistema de soporte de decisiones del uso constante de datos con un detalle más bajo.

El diseñador de datos tiene dos predisposiciones:

1. Instalar un sistema chargeback, donde el usuario final pague por los recursos consumidos

2. Señalar el mejor tiempo de respuesta que puede obtenerse cuando se trabaja con la data a un nivel alto de esquematización, a diferencia de un pobre tiempo de respuesta que resulta de trabajar con los datos a un nivel bajo de detalle.

Para ilustrar cómo un datawarehouse puede ayudar a una organización a mejorar sus operaciones, se muestra un ejemplo de lo que es el desarrollo de actividades sin tener un datawarehouse.

Considere un problema bastante típico en una compañía de fabricación grande en el que se pide una información (un reporte) que no está disponible.

El informe incluye las finanzas actuales, el inventario y la condición de personal, acompañado de comparaciones del mes actual con el anterior y el

- 44 -

mismo mes del año anterior, con una comparación adicional de los 3 años precedentes. Se debe explicar cada desviación de la tendencia que cae fuera de un rango predefinido.

Sin un datawarehouse, el informe es preparado de la manera siguiente:

La información financiera actual se obtiene desde una base de datos mediante un programa de extracción de datos, el inventario actual de otro programa de extracción de otra base de datos, la condición actual de personal de un tercer programa de extracción y la información histórica desde una copia de seguridad de cinta magnética o CD-ROM.

Lo más interesante es que se ha pedido otro informe que continúe al primer informe (debido a que las preguntas se originaron a partir del anterior). El hecho es, que ninguno de los trabajos realizados hasta aquí (por ejemplo, diversos programas de extracción) se pueden usar para los próximos o para cualquier reporte subsiguiente. Imagine el tiempo y el esfuerzo que se ha desperdiciado por un enfoque anticuado. Las inconsistencias deben identificarse en cada conjunto de datos extraídos y resolverse, por lo general, manualmente. Cuando se completa todo este procesamiento, el reporte puede ser formateado, impreso, revisado y transmitido.

Nuevamente, el punto importante aquí es que todo el trabajo desempeñado para hacer este informe no afecta a otros reportes que pueden solicitarse es decir, todos ellos son independientes y caros, desde el punto de vista de recursos y productividad.

Al crear un datawarehouse y combinar todos los datos requeridos, se obtienen los siguientes beneficios:

Las inconsistencias de los datos se resuelven automáticamente cuando los elementos de datos se cargan en el datawarehouse, no manualmente, cada vez que se prepara un reporte.

Los errores que ocurrieron durante el proceso complejo de la preparación del informe, se minimizan porque el proceso es ahora mucho más simple.

Los elementos de datos son fácilmente accesibles para otros usos, no sólo para un reporte particular.

- 45 -

MINERÍA DE DATOS

La Minería de Datos es un conjunto de técnicas para la inducción de conocimiento útil a partir de masas ingentes de datos. Tiene, por lo tanto, un solapamiento importante con otras disciplinas como la estadística tradicional, el reconocimiento de patrones, la inteligencia artificial, etc. Se la suele distinguir de ellas por el campo de aplicación: se suele aceptar que la minería de datos estudia información acumulada en empresas y otras organizaciones acerca de sus clientes, usuarios, etc., y las interacciones de éstos con aquéllas de manera que el conocimiento que pueda extraerse de ella sirva para mejorar la rentabilidad, el nivel de servicio, redefinir estrategias de marketing, etc.

Tradicionalmente, las técnicas de minería de datos se aplicaban sobre información contenida en almacenes de datos. De hecho, muchas grandes empresas e instituciones han creado y alimentan bases de datos especialmente diseñadas para proyectos de minería de datos en las que centralizan información potencialmente útil de todas sus áreas de negocio, etc. No obstante, actualmente está cobrando una importancia cada vez mayor la minería de datos desestructurados como información contenida en ficheros de texto, en Internet, etc.

Ejemplos de uso de la minería de datos El ejemplo clásico —aparte de algo rancio y, posiblemente, apócrifo— de aplicación de la minería de datos tiene que ver con la detección de hábitos de compra en supermercados. Un estudio muy citado detectó que los viernes había una cantidad inusualmente elevada de clientes que adquirían a la vez pañales y cerveza. Se detectó que se debía a que dicho día solían acudir al supermercado padres jóvenes cuya perspectiva para el fin de semana consistía en quedarse en casa cuidando de su hijo y viendo la televisión con una cerveza en la mano. El supermercado pudo incrementar sus ventas de cerveza colocándolas próximas a los pañales para fomentar las ventas compulsivas.

Un caso análogo es el de la detección de transacciones de blanqueo de dinero o de fraude en el uso de tarjetas de crédito o de servicios de telefonía móvil e, incluso, en la relación de los contribuyentes con el fisco. Generalmente, estas operaciones fraudulentas o ilegales suelen seguir patrones característicos que permiten, con cierto grado de probabilidad, distinguirlas de las legítimas y desarrollar así mecanismos para tomar medidas rápidas frente a ellas.

Minería de datos y otras disciplinas análogas Suscita cierta polémica el definir las fronteras existentes entre la minería de datos y disciplinas análogas, como pueden serlo la estadística, la inteligencia artificial, etc.

- 46 -

Hay quienes sostienen que la minería de datos no es sino estadística envuelta en una jerga de negocios que la conviertan en un producto vendible. Otros, en cambio, encuentran en ella una serie de problemas y métodos específicos que la hacen distinta de otras disciplinas.

El hecho es que la práctica totalidad de los modelos y algoritmos de uso general en minería de datos —redes neuronales, árboles de regresión y clasificación, modelos logísticos, análisis de componentes principales, etc. gozan de una tradición relativamente larga en otros campos.

Protocolo de un proyecto de minería de datos Un proyecto de minería de datos tiene varias fases necesarias que son, esencialmente:

Comprensión del negocio y del problema que se quiere resolver Determinación, obtención y limpieza de los datos necesarios Creación de modelos matemáticos Validación, comunicación, etc. de los resultados obtenidos Integración, si procede, de los resultados en un sistema transaccional o

similar

La relación entre todas estas fases sólo es lineal sobre el papel. En realidad, es mucho más compleja y esconde toda una jerarquía de subfases. A través de la experiencia acumulada en proyectos de minería de datos se han ido desarrollando metodologías que permiten gestionar esta complejidad de una manera más o menos uniforme.

Tendencias La minería de datos ha sufrido transformaciones en los últimos años de acuerdo con cambios tecnológicos, de estrategias de marketing, la extensión de los modelos de compra en línea, etc. Los más importantes de ellos son:

La importancia que han cobrado los datos no estructurados (texto, páginas de Internet, etc.)

La necesidad de integrar los algoritmos y resultados obtenidos en sistemas operacionales, portales de Internet, etc.

La exigencia de que los procesos funcionen prácticamente en línea (por ejemplo, que frente a un fraude con una tarjeta de crédito, ésta pueda ser cancelada casi al instante)

Existen herramientas específicas para la creación de Datawarehouse y Minerías de Datos, por efecto de este material vamos a utilizar la Herramienta Microsoft SQL Server – Análisis Services

- 47 -

4.4 MOTOR OLAP

OLAP es el acrónimo en inglés de procesamiento analítico en línea (On-Line Analytical Processing). Es una solución utilizada en el campo de la Inteligencia de Negocios (Business Intelligence), la cual consiste en consultas a estructuras multidimensionales (o Cubos OLAP) que contienen datos resumidos de grandes Bases de Datos o Sistemas Transaccionales (OLTP). Se usa en informes de negocios de ventas, marketing, informes de dirección, minería de datos y áreas similares.

Cubos De Información (DataMart)

Fig.7: Ejemplo de composición de datos de un cubo de información. Contiene datos de fechas, productos y ciudades. El slice en rojo significa la parte proporcional a todos los productos, todas las ciudades para el año 2005

Un DataMart es una vista lógica de los datos en bruto provistos por su sistema transaccional hacia el Datawarehouse. Se les llama DataMart, porque representan un conjunto de datos relacionados con un tema en particular como Ventas, Operaciones, Recursos Humanos, etc., y están a disposición de los "clientes" a quienes les puede interesar la misma. Esta información puede accesarse por el usuario final mediante "Tablas Dinámicas" de MS-Excel o programas personalizados para la explotacion de datos. Las Tablas Dinámicas le permiten manipular las vistas (cruces, filtrados, organización) de la información con mucha facilidad. Los cubos de información (DataMart) se producen con mucha rapidez. A ellos se les aplican las reglas de seguridad de acceso necesarias La información estratégica está clasificada en: Dimensiones y Variables. El análisis está basado en las dimensiones y por lo tanto es llamado: Análisis multidimensional. Llevando estos conceptos a un Datawarehouse, que se conforma de varios DataMarts. Los cubos de información o DataMart están

Producto1

Producto2

Producto 3

- 48 -

compuestos por Dimensiones y Variables o Métricas, donde la unión de estas forma segmentos de información.

La estructura de un cubo de información o datamart esta generalmente representada por una tabla de hechos (Fact Table) y dimensiones dentro de un modelo estrella.

Fig.8: Ejemplo de construcción de un cubo con arquitectura tipo estrella. Se observa una tabla de hechos (Fact table) y 5 dimensiones.

Dimensiones

Son atributos relativos a las variables. Son las perspectivas de análisis de las variables. (Forman parte de la Dimension Table – Tabla de Dimensiones)

Variables

También llamadas “indicadores de gestión”, son los datos que están siendo analizados. Forman parte de la Fact Tabla (Tabla de Hecho) Más formalmente, las variables representan algún aspecto cuantificable o medible de los objetos o eventos a analizar. Normalmente, las variables son representadas por valores detallados y numéricos para cada instancia del objeto o evento medido. En forma contraria, las

Fact Table

EEmmppllooyyeeee__DDiimm EmployeeKey EmployeeID ...

TTiimmee__DDiimm TimeKey TheDate ...

PPrroodduucctt__DDiimm ProductKey ProductID ...

CCuussttoommeerr__DDiimm CustomerKey CustomerID ...

SShhiippppeerr__DDiimm ShipperKey ShipperID ...

Sales_Fact Time Key Employee Key Product Key Customer Key Shipper Key

Sales Amount Unit Sales

Dimension Table

Dimension Table Dimension

Table

Dimension Table

Dimension Table

- 49 -

dimensiones son atributos relativos a las variables, y son utilizadas para ordenar, agrupar o abreviar los valores de las mismas. Las dimensiones poseen una granularidad menor, tomando como valores un conjunto de elementos menor que el de las variables.

Diferencias entre OLTP - OLAP

OLTP

OLTP (OnLine Transaction Processing) es un tipo de procesamiento de transacciones a través de una red de computadoras. Algunos tipos de aplicaciones OLTP pueden ser banca electrónica, procesamiento de pedidos o comercio electrónico. Es un programa que facilita y administra aplicaciones transaccionales, usualmente para data entry y transacciones en empresas, incluyendo bancos, aerolíneas, etc. Los nuevos paquetes de Software para OLTP se basa en la arquitectura cliente-servidor ya que suelen ser utilizados por empresas que no se encuentran 100% en el mismo medio físico, sino expandidas geográficamente.

OLAP

La razón de usar OLAP para las consultas es la velocidad de respuesta. Una base de datos relacional almacena entidades en tablas discretas si han sido normalizadas. Esta estructura es buena en un sistema OLTP pero para las complejas consultas multitabla es relativamente lenta. Un modelo mejor para búsquedas, aunque peor desde el punto de vista operativo, es una base de datos multidimensional. La principal característica que potencia a OLAP, es que es lo más rápido a la hora de hacer selects, en contraposición con OLTP que es la mejor opción para INSERTS, UPDATES Y DELETES.

Existen algunas clasificaciones entre las implementaciones OLAP. La clasificación está hecha sobre la base de en qué tipo de motor son almacenados los datos

Fig.9: Distintos tipos de procesamientos de cubos.

- 50 -

MOLAP es una implementación OLAP que almacena los datos en una base de datos multidimensional por lo tanto las consultas es mucho mas rápida a la hora de formar los segmentos(slice) de información

ROLAP es una implementación OLAP que almacena los datos en un motor relacional por lo tanto la consultas son mucho mas lentas

HOLAP (Hybrid OLAP) almacena algunos datos en una motor de bases de datos relacional y otros en una base de datos multidimensional

DOLAP es un OLAP orientados a equipos de escritorio (Desktop OLAP). Trae toda la información que necesita analizar desde la base de datos relacional y la guarda en el escritorio. Desde ese momento, todas las consultas y análisis son hechas contra los datos guardados en el escritorio

4.5. HERRAMIENTAS DE APOYO A LA GESTION DEL USUARIO

FINAL Explotación de Datos Hoy día, las organizaciones se enfrentan a condiciones empresariales cada vez más complejas y dinámicas que requieren tomar decisiones rápidamente. Sus negocios se ven afectados directamente por la rapidez a la que puedan entender los datos actuales en relación con datos históricos. Para que las empresas conserven la competitividad y reduzcan costos, necesitan desplegar mejor tecnología que permita tomar decisiones de forma más rápida e inteligente. Bajo el concepto general “soporte a la toma de decisiones” se esconden múltiples necesidades particulares: contrastar que todo va bien, analizar diferentes aspectos de la evolución de la empresa, presentar información de forma más intuitiva, comparar información en diferentes periodos de tiempo, comparar resultados con previsiones, identificar comportamientos y evoluciones excepcionales, confirmar o descubrir tendencias e interrelaciones, necesidad de realizar análisis predictivos. Son todas ellas necesidades parciales dentro del concepto general “soporte a la toma de decisiones” Existen herramientas de apoyo a la gestión del usuario final que permiten explotar la información proporcionada por un Datawarehouse dentro de una solucion BI que permitan llegar al concepto general. Dentro de estas herramientas para efectos de explotacion y publicación de datos existen muchas, para este caso usaremos como ejemplo la herramienta Proclarity Analytic Paltaform Proclarity Analytic Platform

- 51 -

Fig.10: En la plataforma ProClarity, esta seria la tercera capa de explotación de datos. La plataforma de desarrollo de ProClarity es el sistema para construir soluciones de análisis personalizas. Las aplicaciones de análisis creadas con ProClarity pueden escalarse en la empresa y ayudan a los individuos a transformar información en conocimiento. Los productos y servicios de ProClarity aumentan la velocidad a la que las organizaciones pueden tomar decisiones informadas, optimizadas para influir directamente en el rendimiento. Las soluciones de ProClarity están personalizadas alrededor de procesos empresariales y flujos de trabajo de tomas de decisión. Algunas de las marcas más conocidas del mundo de la industria minorista, mayorista, logística y de fabricación aprovechan las soluciones de ProClarity para resolver sus retos más críticos y complejos de business intelligence. Productos de Análisis de Proclarity Gestionar una organización no había sido nunca tan exigente. La velocidad a la que cambian las condiciones empresariales es asombrosa. Cada vez hay más normas y reglamentos La competencia es cada vez mas Grande. Su almacén de datos puede ser un arma poderosa para luchar contra estos problemas o un peso que lastre a toda la organización. La familia de productos ProClarity está diseñada para mejorar el rendimiento de la inversión de su almacén de datos. ProClarity Analytics ProClarity Analytics ayuda al personal encargado de tomar decisiones a transformar en conocimiento grandes cantidades de datos, gracias a sus visualizaciones

- 52 -

impactantes, fácil navegación y conexiones con fuentes de datos vivas y diversas. A los usuarios se les permite explorar y descubrir tendencias por ellos mismos, lo que libera al departamento de TI de las constantes solicitudes de generación de informes. Gracias a las herramientas de business intelligence fáciles de usar de ProClarity, la potencia del análisis ya no está limitada a unos cuantos analistas dentro de la organización. El personal encargado de la toma de decisiones, los analistas, los consumidores de información y el cuadro ejecutivo interactúan con la información utilizando varias herramientas de exploración de datos en interfaces de escritorio y de Web. Plataforma Analytics

La plataforma Analytics reduce rápidamente las barreras de costo, tiempo y complejidad para crear aplicaciones de análisis personalizadas, asegurando al mismo tiempo los beneficios de productividad, adopción de usuarios y ventaja competitiva. También ofrece posibilidades inmediatas para capturar el conocimiento que necesita en ese momento. La plataforma ProClarity Analytics es la base para más de 50 aplicaciones comerciales y cientos de sofisticadas aplicaciones corporativas.

Estándar Web de ProClarity

ANALIZAR el negocio: averiguar lo que ha ocurrido

Aprovecha la información en línea compartiendo capacidades a la vez que mantiene los estándares corporativos y los conjuntos de datos. Los usuarios pueden realizar análisis por ellos mismos, en lugar de crear cuellos de botella aumentando así la eficacia y la productividad.

ProClarity Professional

COMPRENDER el negocio: por qué ha ocurrido

Facilita el análisis de datos de causas origen, el cálculo avanzado y la exploración, a retos empresariales y conjuntos de datos complejos. Disponible como cliente Web y de escritorio, Professional permite a los usuarios publicar su trabajo en Analytics Server, permitiendo que otros aprovechen ese trabajo y potencien su propia productividad.

Business Reporter para Excel

- 53 -

Ahora los usuarios pueden importar inmediatamente datos multidimensionales en su conocido entorno de MS Excel. No es necesario aprender ninguna técnica de programación. Una vez dentro de Excel, los datos se pueden utilizar en fórmulas y diagramas y pueden formatearse para crear informes listos para su distribución general.

Visor de tablero

SUPERVISAR el progreso: asegurarse de que el plan funciona La instantánea personalizada y única de todo usuario de las medidas de rendimiento que utilizan para supervisar su trabajo. El tablero sólo muestra el contenido más destacable y útil para cada usuario mientras les permite realizar consultas ad-hoc, añadir contenido externo y compartir las mejores prácticas con otro personal de toma de decisiones sin sacrificar ni menoscabar las definiciones de gestión centralizada y rendimiento corporativo.

ProClarity para SharePoint Portal Server

Ofrece una solución de portal robusta con análisis incorporados que ofrece un único punto de información empresarial centralizada. Permite a los usuarios trabajar más eficazmente y crear business intelligence con vistas rápidas de indicadores de rendimiento clave (KPI) definidos y otras métricas empresariales. SharePoint Portal Server facilita la publicación de vistas analíticas significativas para toda la organización del tipo "una versión de la verdad".

Publicación de Datos – Compartiendo información Herramienta Proclarity

4.6. EL FUTURO DE BUSINESS INTELLIGENCE

André Rossini, analista de Mercado de Software de IDC Brasil

- 54 -

En los últimos años, la s soluciones de inteligencia de negocios se han expandido más dentro de las empresas. Anteriormente, se concentraban en aplicaciones departamentales, hoy en día se manifiestan como proyectos estratégicos. ¿A qué atribuye estos cambios? André Rossini – Se podría decir que han sido dos los factores que han motivado estos cambios en las empresas. El primer factor es que, la utilización de las soluciones de inteligencia de negocios de forma descentralizada y departamental, genera algunos desafíos para las empresas, en especial la integración de la información entre las diferentes áreas. Cada vez mas, era mas difícil para las grandes empresas acceder los datos globales de forma integrada, cuando las soluciones son utilizadas por departamentos, sin la debida integración. La integración es fundamental para facilitar una visión general de la compañía. El segundo factor consiste en que cuando la información se concentra en los sistemas departamentales, su vuelve aún más complicado seguir un criterio común de comparación al procesar el análisis del desempeño de cada área, y el acceso a determinada información de las áreas de negocio se limita a este contexto.

La estandarización en una sola plataforma de inteligencia de negocios es una tendencia de la cual ya se ven los efectos, tanto en el mercado mundial, como en el Brasil. IDC especula que esta tendencia será una de las tónicas del mercado de inteligencia de negocios durante los próximos años. Existe una inclinación a que las empresas adopten plataformas que integren una serie de herramientas y soluciones de inteligencia de negocios ofrecidas por el mismo proveedor. Esta situación se viene presentando con cierta lentitud y persistencia, especialmente entre las empresas grandes.

Sin embargo, recordemos que, al tiempo con la estandarización, seguirán existiendo proveedores especializados en determinadas herramientas, las cuales las empresas también consideran soluciones de inteligencia de negocios; será común que en un futuro las empresas utilicen una plataforma mayor de inteligencia de negocios, y que además tengan productos independientes en áreas como GIS, Data Mining, ABC Costing, y otras herramientas específicas unidas a la administración del desempeño.

- 55 -

CONCLUSIONES

Dentro del mundo de los negocios y, de las organizaciones en general, la "Inteligencia de Negocios", es un concepto respaldado por una nueva manera de hacer las cosas, posible, gracias a los avances de los Sistemas de Información y de las Tecnologías de Información.

El grado de internacionalización en las relaciones económicas y sociales y la creciente influencia de los avances tecnológicos, son algunas de las causas por las que las organizaciones deben desarrollar la "habilidad" de adaptación a los cambios en los entornos.

La Inteligencia de Negocios ahora radica en la competencia para tomar decisiones, para enfoques dinámicos de los problemas y oportunidades y para desarrollar los recursos y capacidades internas de la organización. Generar cambios estratégicos construidos con los recursos de la organización, para desarrolla una organización más flexible y dinámica, con el apoyo de las tecnologías para la toma de decisiones y la intervención de los expertos del negocio. Es importante entender que las herramientas de soporte a la toma de decisiones, son eso, herramientas, y que la selección y uso, simplifican muchas operaciones y procesos en el negocio, pero que los tomadores de decisiones son la piedra angular.

Factores que toma en cuenta, en mayor o menor grado, como son la velocidad de cambio, innovación de nuevos modelos de negocio, nuevas estructuras de relaciones entre las empresas, sus clientes y asociados, la conectividad de personas, organizaciones y países, y el valor del conocimiento residente en la empresa; su conocimiento y habilidades y el uso de sistemas inteligentes para la toma de decisiones, a esta integración se le denomina Inteligencia del Negocio, que genera ventajas competitivas.

- 56 -

RECOMENDACIONES

Junto con este tipo de Proyectos es recomendable invertir tiempo en depuración de datos, pues usualmente salen datos incoherentes por cambios en las plataformas o migraciones de datos.

Es altamente recomendable administrar la granularidad y temporalidad de

la información cargada en los cubos, manteniendo siempre su valor analítico, con el menor consumo de almacenamiento y procesamiento de servidores.

Es importante, dependiendo del caso, subir al DW información no

estructurada respecto al mercado y la competencia.

- 57 -

BIBLIOGRAFIA

Introducción a la Minería de datos Pearson – Prentice Hall Jose Hernandez Orallo Microsoft: Course 2074 Implement OLAP Solution with Sql Server 2000 MDX Solutions with Microsoft Sql Server Analysis Services George Spofford Applied Microsoft Analysis Services 2005: And Microsoft Business Intelligence Platform Teo Lachev Información solicitada a: http://alarcos.inf-cr.uclm.es/per/mserrano/ Información de las distintas casas de Software: Oracle, Microsoft, ProClarity: www.oracle.com www.microsoft.com www.proclarity.com

PUBLICACIONES – CONSULTORIAS EN ESTA AREA

ARTEFACTA – Ecuador (Cadena de Retail en electrodomésticos para el hogar) Solución con BI: Gestión de la Cartera de Crédito y gestión comercial. Incluye sitio Web con Publicaciones en línea de la operación del Negocio para acceso a Gerentes de Área CARSA – Perú (Cadena de Retail en electrodomésticos para el hogar) Solución con BI: Control Comercial de Ventas e Inventario detallado. Intranet para consumo de la organización a nivel País.

- 58 -

ETA FASHION – Ecuador (Cadena de Retail en ropa) Solución con BI: Indicadores respecto de la Tarjeta de Crédito corporativa. Normativas de orientación de Mercado OTRAS CONSULTORIAS BI EN EMPRESAS NO RETAIL AUTORIDAD PORTUARIA DE GUAYAQUIL – Ecuador (Gobierno) Solución con BI: Indicadores de Gestión en las áreas de Operaciones del puerto (entrada, salida, servicios a buques, etc.). BANCO PICHINCHA – Ecuador (Banca) Solución con BI: Gestión de conocimiento en el análisis de Deserciones y Tendencias de Clientes. DELBANK – Ecuador (Banca) Solución con BI: Control de Riesgos de Mercado y liquidez BANCO FINANCIERO – Perú (Banca) Solución con BI: Control de Operación de otorgamiento de créditos para clientes Carsa REFERENCIAS ELECTRONICAS http://www.proclarity.com/es/products.asp http://es.wikipedia.org/wiki/Miner%C3%ADa_de_datos http://todobi.blogspot.com/2006_03_01_todobi_archive.html http://www.monografias.com/trabajos6/dawa/dawa.shtml http://es.wikipedia.org/wiki/Base_de_datos_relacional