45
USP-FEA Inteligência de Negócios METADADOS UNIVERSIDADE DE SÃO PAULO - FEA Fulvio Cristofoli – Nr. USP: 55.34.485

Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

  • Upload
    lenhu

  • View
    217

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

US

P-F

EA

I n

telig

ênci

a de

N

egóc

ios

METADADOS

UNIVERSIDADE DE SÃO PAULO - FEA

Fulvio Cristofoli – Nr. USP: 55.34.485

Page 2: Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

US

P-F

EA

I n

telig

ênci

a de

N

egóc

ios

ObjetivoObjetivo

Apresentar os principais conceitos relacionados a

Metadados, suas características, Metadados, suas características, exemplos, vantagens e

desvantagens.

Page 3: Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

US

P-F

EA

I n

telig

ênci

a de

N

egóc

ios

Origem da PalavraOrigem da Palavra

O prefixo "meta" vem do grego e significa "após" ou "esse que ultrapassa”.

Ele designa uma noção que sucede à uma outra,

ou seja,

podemos designar "a informação sobre a informação”

Os metadados provêem uma descrição concisa a respeito dos dados.

Os dados podem ser documentos, coleção de documentos, gráficos, tabelas, imagens, vídeos, entre tantos outros.

Page 4: Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

US

P-F

EA

I n

telig

ênci

a de

N

egóc

ios

ConceitoConceito

A grande maioria dos usuários da Tecnologia da Informação já utilizou algum tipo de metadados, mesmo não tendo conhecimento do seu significado e até mesmo do seu uso.

“São dados.Mas são dados que fazem referência a outros dados.”

Na literatura sobre metadados, a definição mais encontrada é a de que eles representam "dados sobre dados“.eles representam "dados sobre dados“.

Metadado é uma abstração do dado, capaz, por exemplo, de indicar se uma determinada base de dados existe, quais são os atributos de uma tabela e suas características, tais como: tamanho e/ou formato. INMON, William H. Enterprise meta data. DM Review Magazine, v. 8, n. 10, Nov. 1998.

Page 5: Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

US

P-F

EA

I n

telig

ênci

a de

N

egóc

ios

ConceitoConceito

Metadados são dados que descrevem atributos de um recurso. Ele suporta um número de funções: localização, descoberta, documentação, avaliação, seleção, etc. BIEBER, Monty. Data warehousing in government. DM Review Magazine, v. 8, n.5, May 1998.

Metadados fornece o contexto para entender os dados através do tempo. DESIO, Vince. Informational Metadata. Disponível na Internet. http://www.datawarehouse.com/resources/articles/desio.htm

Metadados é dado associado com objetos que ajuda seus usuários potenciais a ter vantagem completa do conhecimento da sua existência ou características. MORIATY, Terry. What is Metadata? Database Programming and Design, San Mateo, v. 10, n. 7, p. 57-59, July 1997

Metadados é o instrumental para transformar dados brutos em conhecimento. RIBEIRO, Gilberto Pessanha. Metadados geoespaciais digitais. In: WORKSHOP DE BANCOS DE DADOS NÃO CONVENCIONAIS, (2. : 1995 : Niterói) Anais... Niterói, 1995

Page 6: Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

US

P-F

EA

I n

telig

ênci

a de

N

egóc

ios

ImportânciaImportância

Metadados é extremamente importante para o BI pois transforma dados em informação empresarial, aumentado a

produtividade.

Flexibilidade Produtividade

As regras de negócio das aplicações alternam de forma muito rápida, o que implica no fato das aplicações precisarem ser desenvolvidas rapidamente e de

forma flexível.

Page 7: Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

US

P-F

EA

I n

telig

ênci

a de

N

egóc

ios

ImportânciaImportância

Por Exemplo:

O que é o lucro?

É a Receita das Vendas menos os Custos de Produção.

Os metadados asseguram a correta interpretação (baseada em

atividades, objetos, relações e regras) do que os dados realmente

significam para o negócio.

Ou é um cálculo mais complicado, como:

O “Total das receitas anuais, menos A soma do custo médio real por produto, menosOverhead deduzido de cada produto acumulado da produção anual, menosGratificações, menosCupons de descontos, dividido por doze?“

Page 8: Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

US

P-F

EA

I n

telig

ênci

a de

N

egóc

ios

ImportânciaImportância

Será que todas as empresas têm a mesma compreensão de lucro? Existe somente um cálculo para o lucro?

Se existem diferentes interpretações do lucro, todas as interpretações são legítimas?

Se existirem várias versões para os cálculos de lucro, vários elementos devem ser criados, cada um com seu próprio nome, a definição, o conteúdo, as regras, os nome, a definição, o conteúdo, as regras, os relacionamentos, e assim por diante.

Toda esta informação contextual sobre o lucro é meta dados.

Segundo Moriarty (1997), a finalidade principal dos metadados é documentar e organizar de forma estruturada os dados das organizações,

com o objetivo de minimizar duplicação de esforços e facilitar a manutenção dos dados.

Page 9: Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

US

P-F

EA

I n

telig

ênci

a de

N

egóc

ios

ExemploExemplo

Versão Original

Primeiro Título: For MeTítulo Oficial: Comme d'habitudeComposição de: Claude François e Jacques RevauxLetra de: Claude François e Gilles ThibautPaís: FrançaMês de Lançamento: NovembroAno de Lançamento: 1967Tamanho Música: 4:10Nome Álbum: Comme d´habitudeNome Álbum: Comme d´habitudeGravadora: PhillipsGênero: Romântica

Page 10: Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

US

P-F

EA

I n

telig

ênci

a de

N

egóc

ios

ExemploExemplo

Versão Inglês

Título: My WayDireitos autorais: Paul AnkaCantor: Frank SinatraPaís: Estados UnidosMês de Lançamento: 13 de fevereiroAno de Lançamento: 1968Tamanho Música: 4:04Nome Álbum: My WayGravadora: Reprise RecordsGravadora: Reprise Records

Warner Bros UKGênero: POP Clássico

Page 11: Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

US

P-F

EA

I n

telig

ênci

a de

N

egóc

ios

ExemploExemplo

Versão Inglês

Título: My WayDireitos autorais: Paul AnkaCantor: Elvis PresleyPaís: Estados UnidosGravação – Versão Estúdio: Junho 1971Tamanho Música: 4:04Nome Álbum: Walk A Mile In My ShoesGravadora: BMGGênero: POP RockGênero: POP Rock

Page 12: Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

US

P-F

EA

I n

telig

ênci

a de

N

egóc

ios

ExemploExemplo

Outras Versões

Título: My WayLuciano Pavarotti, Plácido Domingo e José Carreras

Sex PistolsSid ViciousThe Great Rock'n'Roll Swindle - 1980

Page 13: Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

US

P-F

EA

I n

telig

ênci

a de

N

egóc

ios

Categorias de MetadadosCategorias de Metadados

Existem duas categorias de Metadados:

Metadados Técnico: é a descrição dos dados necessários pelas várias ferramentas para armazenar, manipular ou movimentar os dados. Estas ferramentas incluem banco de dados relacionais, ferramentas de desenvolvimento de aplicações, ferramentas de modelagem, ferramentas de pesquisa em banco de dados, ferramentas OLAP, etc.

Por exemplo:

• Representação de Tipos;• Representação de Tipos;• Descrição de Conteúdo;• Classificação de conteúdo;• Composição de documentos;• História de documentos;• Localização de documentos;• Estatística; etc.

Algumas estratégias para integração:

• Construir uma ponte proprietária entre vários produtos;• Fornecer uma solução completa de data warehouse ou de ambiente de desenvolvimento;• Criar um padrão de troca de metadados.

Page 14: Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

US

P-F

EA

I n

telig

ênci

a de

N

egóc

ios

Categorias de MetadadosCategorias de Metadados

Metadados de negócio: é a descrição de dados necessários pelos usuários de negócio, para entender o contexto do negócio e o significado dos dados.

Seu maior uso e para armazenamento de, e quando for usado para gerar regras de negócio executáveis, a definição de metadados será:

“A representação de instruções de regra de negócio de acordo com o esquema de classificação que pode ser transformado

em sistemas de informação do negócio.”

Administração do Warehouse

TécnicoTécnico

NegóciosNegócios

Page 15: Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

US

P-F

EA

I n

telig

ênci

a de

N

egóc

ios

Tecnologias de MetadadosTecnologias de Metadados

A tecnologia de metadados está surgindo em função:

• Necessidade de conhecer melhor os dados que são mantidos na organização;

• Conhecer com mais detalhes os dados de outras organizações.

A Catalogação dos dados propiciará uma maior utilização de metadados

por usuários com múltiplos interesses.

Page 16: Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

US

P-F

EA

I n

telig

ênci

a de

N

egóc

ios

Metadados como Instrumento de NavegaçãoMetadados como Instrumento de Navegação

Em um ambiente de BI (apoio à tomada de decisões), os metadados assumem um novo nível de importância - um novo

papel:

o de navegação, e não apenas documentação.

Os metadados ajudam os empresários a:

• Localizar;• Localizar;• Gerenciar;• Compreender; e• Utilizar os dados em banco de dados de BI.

É FATO:

Os executivos / empresários / alto escalão, normalmente não têm as competências técnicas, nem o tempo ou vontade, de “decifrar” códigos de programação.

Page 17: Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

US

P-F

EA

I n

telig

ênci

a de

N

egóc

ios

Metadados como Instrumento de NavegaçãoMetadados como Instrumento de Navegação

Eles também não querem ficar dependentes do departamento de TI para interpretar o sentido e/o conteúdo dos dados depois de ter sido manipulada pelos programas.

Ele deverá ser capaz de acessar os metadados, que passaria então para ele ou ajudaria efetivamente a navegar através do meio ambiente de BI e interpretar os dados de BI - Apoio à tomada de decisões.

Page 18: Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

US

P-F

EA

I n

telig

ênci

a de

N

egóc

ios

Contextualização na OrganizaçãoContextualização na Organização

As organizações que não documentam seus dados ficam sujeitas a:

• Superposição de esforços de coleta de dados;• Superposição de manutenção de seus dados;• Vulneráveis a problemas de inconsistências;• Pagarão um alto custo pelo não uso ou uso impróprio dessa informação.

Page 19: Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

US

P-F

EA

I n

telig

ênci

a de

N

egóc

ios

Padronização de MetadadosPadronização de Metadados

Algumas importâncias da padronização dos Metadados:

Os esforços do líder de projeto é minimizado, por não criar seu próprio material de trabalho.

As chances de sucesso do projeto e a sua qualidade aumentam.

Com o uso de padrões o gerenciamento deveria ser a habilidade do líder de projeto em desenvolver produtos de alta qualidade em um ambiente controlado.ambiente controlado.

Os metadados deveriam incluir a informação contextual que é necessária para gerenciar, recuperar e interpretar a

informação eletrônica (LORIST e MEER, 2001)

Page 20: Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

US

P-F

EA

I n

telig

ênci

a de

N

egóc

ios

Classificações de MetadadosClassificações de Metadados

De acordo com Moss, os componentes podem ser divididos em quatro grupos:

a propriedade, características descritivas, normas e políticas, bem como as características físicas

Page 21: Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

US

P-F

EA

I n

telig

ênci

a de

N

egóc

ios

Classificações de MetadadosClassificações de Metadados

Propriedade

Os dados são propriedade da organização. No entanto, uma vez que a organização é uma entidade legal e não uma pessoa, alguém na organização deve assumir a responsabilidade e autoridade para definir políticas, determinar regras, e estabelecer normas para a organização dos dados.

Sistemas fontes dos quais se extrai os dados de DWSistemas fontes dos quais se extrai os dados de DW• Informações descritivas das fontes

• responsabilidades

Captura dosDados

• responsabilidades• frequências de atualização• limitacões legais de cada fonte• métodos de acesso, direitos, privilégios

• BDs operacionais• esquema do sistema (estruturas, restrições)

• Informações Organizacionais • Regras de negócio

Processo de capturaProcesso de captura• como, quando e quem • qual a plataforma sob cada sistema fonte

Depuração dos metadadosDepuração dos metadados• tratamento dos metadados que vão ser efetivamente utilizados

Page 22: Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

US

P-F

EA

I n

telig

ênci

a de

N

egóc

ios

Classificações de MetadadosClassificações de Metadados

Características descritivas

Nome: Cada objeto de dados, elemento de dados, e do processo deverá ter um nome único.

Definição: Cada objeto de dados, elemento de dados, e as empresas deveriam ter um breve processo de definição explicando o que é.

Tipo e duração: A cada elemento de dados deve ter um tipo e tamanho oficial declarado.

Domínio: Cada elemento de dados deve ter declarado um conjunto de valores admissíveis.

Notas: Fatos adicional fatos de interesse sobre os dados ou processos .

Integraçãodos Dados

Ambiente de DW Ambiente de DW -- modelo estrelamodelo estrela• definições de dimensões e tabelas de fatos.• políticas de dimensões que evoluem.• correspondências entre as chaves.

Procedência de cada dadoProcedência de cada dado• mapeamento do dado presente no novo ambiente.

Processo de integraçãoProcesso de integração• transformações feitas sobre os esquemas originais.• informações de como o dado foi limpo.• quais correções e ou alterações foram realizadas.

Page 23: Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

US

P-F

EA

I n

telig

ênci

a de

N

egóc

ios

Classificações de MetadadosClassificações de Metadados

Regras e Políticas

Relação: Os dados são objetos relacionados entre si através de atividades empresariais. O repositório de metadados deve ser capaz de armazenar informações sobre esses relacionamentos.

Regras empresariais e políticas empresariais: São as regras técnicas de conversão de dados, regras sobre integridade dos dados ou regras de processamento.

Segurança: Requisitos de segurança aplicados aos dados, metadados, processos, bases de dados, aplicações, ferramentas, e Web sites.

Limpeza: Métricas sobre a reconciliação totais de ETL e sobre a qualidade do dados.

Aplicabilidade: Os novos dados são captados e inseridos, e os dados são antigos deixam de ser usados.Aplicabilidade: Os novos dados são captados e inseridos, e os dados são antigos deixam de ser usados.

Oportunidade: Os executivos vão querer saber quando os dados foram atualizados pela última vez.

DW de acordo com a utilização de seus usuáriosDW de acordo com a utilização de seus usuários• que usuários estão fazendo acessos e a que dados.• com que frequência.• quais são as consultas mais e menos frequentes.• quais são as consultas mais demoradas.

Carga e utilizaçãoCarga e utilização• quanto tempo levam as atualizações dos dados.• quais os responsáveis pela extração dos dados.• quando são realizadas.

Funções AdministrativasFunções Administrativas• que usuários podem ter acesso aos dados.

Gerênciado DW

Page 24: Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

US

P-F

EA

I n

telig

ênci

a de

N

egóc

ios

Classificações de MetadadosClassificações de Metadados

Características Físicas

Origem (fonte): A origem dos dados para cada elemento deve ser documentado.

Localização física: Os vários componentes de metadados (por exemplo, tabelas, colunas, nomes de dados) devem ter sua origem descrita.

Transformação: Os dados da origem podem ser mudados. Dependendo do processo, pode exigir regras mais complicadas que envolvem transformações editando, filtrando, combinando, separando, ou traduzindo estes dados.

Derivados - Provenientes: Este armazena o local das colunas.

Agregação e sumarização: Semelhante a derivação, agregação e sumarização. Todas as regras devem ser armazenados. devem ser armazenados.

Volume e crescimento: Documentar o tamanho e o crescimento das bases de dados em função do número de linhas e o percentual de crescimento esperado.

•• descrição, interpretação dos dados.• história dos dados nas fases anteriores.• operações que podem ser realizadas sobre os dados.• cardinalidade de cada dimensão.• e todos as demais informações importantes para o processo de análise..

Acessoaos Dados

Page 25: Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

US

P-F

EA

I n

telig

ênci

a de

N

egóc

ios

Classificações de MetadadosClassificações de Metadados

Metadados

Captura dosDados

Integraçãodos Dados

Acessoaos Dados

Gerênciado DW

Page 26: Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

US

P-F

EA

I n

telig

ênci

a de

N

egóc

ios

Priorização de ComponentesPriorização de Componentes

Os componentes devem ser priorizados de acordo com cada empresa e com cada projetos. ( Obrigatório - Importante - Opcional )

Page 27: Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

US

P-F

EA

I n

telig

ênci

a de

N

egóc

ios

Alguns Desafios Enfrentados...Alguns Desafios Enfrentados...

Desafios enfrentados na implementação de um repositório de metadados:

Desafios técnicos – Recursos Infra-Estrutura; Desafios Pessoais – Pessoas envolvidas;Desafios de Orçamento – Falta de investimento financeiro;Desafios de Usabilidade – Sistemas com alto grau de usabilidade;Desafios Políticos – Necessidade do comprometimento de todos os envolvidos no projeto.

Page 28: Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

US

P-F

EA

I n

telig

ênci

a de

N

egóc

ios

O Modelo LógicoO Modelo Lógico

O modelo lógico de metadados é um modelo que indica os objetos, as relações entre os objetos, a cardinalidade e os possíveis relacionamentos.

A diferença entre um modelo lógico de um repositório de metadados e um modelo lógico de dados para uma aplicação empresarial reside na natureza dos objetos.

Todos os objetos de metadados devem ter elementos que abrangem o nome, definição, tamanho e duração, a descrição do conteúdo, relacionamentos, regras comerciais, segurança, limpeza, localização física, aplicabilidade, a atualidade, volume e notas.atualidade, volume e notas.

Page 29: Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

US

P-F

EA

I n

telig

ênci

a de

N

egóc

ios

Atividades de AnáliseAtividades de Análise

“As atividades não precisam ser executadas de forma linear”

Analisar os requisitos do repositório de metadados: Determina a priorização e requisitos específicos para o seu projeto de BI.

Page 30: Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

US

P-F

EA

I n

telig

ênci

a de

N

egóc

ios

Atividades de AnáliseAtividades de Análise

Analisar os requisitos da interface para o repositório de metadados: Será adquirido ou construído? Permitirá interfacear com todos os sistemas e possíveis fontes de informação?

Page 31: Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

US

P-F

EA

I n

telig

ênci

a de

N

egóc

ios

Atividades de AnáliseAtividades de Análise

Analisar o repositório de dados e o acesso aos requisitos de informação: Os dados do seu banco de dados pode ser acessado, consultado, e relatados?

Identificar as necessidades de acesso ao metadados, os requisitos de segurança, e outras requisições que forem necessárias.

Avalie modos de exibição alternativos, tais como Arquivos PDF, HTML, SQL entre outros.HTML, SQL entre outros.

Page 32: Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

US

P-F

EA

I n

telig

ênci

a de

N

egóc

ios

Atividades de AnáliseAtividades de Análise

Crie o modelo lógico.

Desenhe o modelo lógico como um modelo ER (entidade –relacionamento) para mostrar explicitamente as relações entre os objetos de metadados.

Page 33: Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

US

P-F

EA

I n

telig

ênci

a de

N

egóc

ios

Atividades de AnáliseAtividades de Análise

Crie o metadados.

Descreve os dados exigidos de forma detalhada.

Page 34: Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

US

P-F

EA

I n

telig

ênci

a de

N

egóc

ios

RiscosRiscos

Uma vez que um dos objetivos do Sistema de apoio à tomada de decisões é eliminar inconsistências, a fonte de dados deve ser padronizada.

A Padronização invariavelmente resulta em alterar muito a fonte de dados.

Estas alterações devem ser documentadas. Este traço é chamado de metadados, e pessoas de negócios precisam dela chamado de metadados, e pessoas de negócios precisam dela para navegar eficazmente através do BI apoio à tomada de decisões ambientais.

Sem metadados, os empresários terão dificuldades na compreensão e na utilização dos dados.

“Imagine você dirigindo um carro durante semanas ou meses sem um mapa, descobrindo seu caminho de forma aleatória para o seu destino.”

Page 35: Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

US

P-F

EA

I n

telig

ênci

a de

N

egóc

ios

EXERCÍCIOEXERCÍCIO

Quais informações são necessárias Quais informações são necessárias na construção de um repositório na construção de um repositório na construção de um repositório na construção de um repositório para uma biblioteca?para uma biblioteca?

Page 36: Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

US

P-F

EA

I n

telig

ênci

a de

N

egóc

ios Primeiro: Lembrando que em uma biblioteca podemos ter:

• Livros;

• Jornais;

• Revistas Científicas;

• Revistas Comerciais;

• CD´s; • CD´s;

• DVD´s;

• Vídeos VHS;

• Vídeos Digitais;

• Acessos eletrônicos à portais.

Page 37: Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

US

P-F

EA

I n

telig

ênci

a de

N

egóc

ios Código da Biblioteca

Classificação (livro, artigo, revista, etc.)Formato (digital ou impresso)Título da Obra / ArtigoGênero (área)ClassificaçãoISBNISSNAnoEditora (todos os dados referentes a esta editora)Autores (todos os dados referentes aos autores)Palavras ChavesSinopseQuantidade de PáginasQuantidade de PáginasTamanho do ArquivoData de entrada no acervoQuantidade de exemplaresDados do doador (todos os dados referentes a doação)Dados da aquisição (todos os dados referentes a aquisição)Localização física da bibliotecaAlaCorredorPrateleira

Page 38: Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

US

P-F

EA

I n

telig

ênci

a de

N

egóc

ios

Historiando Repositórios Historiando Repositórios

Os administradores têm tentado definir e organizar os metadados desde o início de 1980.

A maioria dos administradores de dados utilizavam dicionários de dados genéricos (repositórios de metadados costumavam ser chamados de dicionários de dados)

Poucos tentaram projetar e construir seus próprios repositórios. Alguns dicionários eram bastante sofisticados e expansíveis, além de poder armazenar e atender aos todos os requisitos. armazenar e atender aos todos os requisitos.

No entanto, havia muitos problemas associados a estes primeiros esforços.

Inserir estes primeiros dicionários de dados exigia um esforço manual, que era moroso e enfadonho.

A falta de qualificação técnica por parte da maioria dos administradores de dados impediu-os de expandir o dicionário de dados com funcionalidades personalizadas para torná-las mais úteis.

Page 39: Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

US

P-F

EA

I n

telig

ênci

a de

N

egóc

ios

Historiando Repositórios Historiando Repositórios

A falta de normas (ou a falta de cumprimento das normas), criaram um caminho intransponível para os administradores, pois tinham dados conflitantes e inconsistentes.

OS Metadados não OS Metadados não podem ser evitados, especialmente os metadados técnicos, pois os sistemas de gestão de dados (SGBDs) e demais ferramentas não funcionam sem ele.

Page 40: Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

US

P-F

EA

I n

telig

ênci

a de

N

egóc

ios

Algumas soluçõesAlgumas soluções

Independentemente de qual tipo de repositório de metadados que a empresa escolher, a empresa

deve ter a compreensão de que estas soluções são grandes e caras.

Centralizado Descentralizado Distribuído XML

Page 41: Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

US

P-F

EA

I n

telig

ênci

a de

N

egóc

ios

Desenho do MetadadosDesenho do Metadados

Entidade – Relacionamento = ER x Orientação a Objetos = OO

ERÉ um modelo diagramático que descreve o modelo de dados de um sistema. Sua maior aplicação é para visualizar o relacionamento entre tabelas de um banco de dados, no qual as relações são construídas através da associação de um ou mais atributos destas tabelas.

Vantagens DesvantagensFáceis de ler e de fácil compreensão. Mudanças e melhorias podem exigir um redesenho de

dados, bem como descarregá-lo e recarregá-lo no repositório de metadados.

Devido à natureza intuitiva e explícita do projeto, as perguntas podem ser escritas com relativamente simplicidade.

O modelo físico é bastante grande, com muitos relações tornando a arquitetura complexa.

Desenhos de ER são facilmente implementáveis em estruturas de dados relacionais.

Os Objetos de metadados devem ter suas relações devem ser muito bem definidas .

Page 42: Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

US

P-F

EA

I n

telig

ênci

a de

N

egóc

ios

Desenho do MetadadosDesenho do Metadados

Entidade – Relacionamento = ER x Orientação a Objetos = OO

OOEle é baseado na composição e interação entre diversas unidades de software chamadas de objetos. Têm como meta identificar o melhor conjunto de objetos para descrever um sistema de software. O funcionamento deste sistema se dá através do relacionamento e troca de mensagens entre estes objetos.

Vantagens DesvantagensSão extremamente flexíveis. Não precisam redesenhar os banco de dados quando forem necessárias mudanças.

Uma vez que este objeto contenha todas as instâncias (linhas) de metadados, esse quadro se tornam muito grande. Este acesso pode afetar o desempenho.

Os desenhos são simplistas e, portanto, fácil de manter e implementar (crescer).

As consultas são muito mais difíceis de serem escritas e exigirá muitas entradas. Requer conhecimento avançado de SQL.

Os desenhos OO são de fácil implementação. Requerem um alto aprendizado. O modelo de dados físico é muito abstrato (de difícil compreensão), e as extensas regras levam tempo para entender.

Page 43: Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

US

P-F

EA

I n

telig

ênci

a de

N

egóc

ios

ComprandoComprando

Quando for selecionar um repositório de metadados, você nunca deve começar com a pergunta:

"Qual é o melhor produto deste tipo no mercado?"

Em vez disso, começar sempre com as seguintes perguntas:

Quais são as nossas necessidades?

Quais os nossos requisitos em relação à: - Obrigatório (deve-se ter) - Obrigatório (deve-se ter) - Importante (positivo ter) - Opcional (bom ter)

Dos modelos existentes no mercado (se existir) faça uma comparação entre:

modelo físico (concepção do produto) com seus modelo lógico de metanálise , para determinar se modelo cobre todos os requisitos de metadados que precisa.

Page 44: Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

US

P-F

EA

I n

telig

ênci

a de

N

egóc

ios

Desenhando as atividadesDesenhando as atividades

As atividades de desenho do repositório de metadados não precisam ser executadas linearmente.

• Desenhar o repositório de dados do metadados.• Instalar e testar o repositório de metadados.• Desenhar o processo de migração de metadados.• Desenhar o aplicativo de dados do metadados.

Page 45: Slides - Metadados - Stoa: Página Principalstoa.usp.br/cristofoli/files/675/6553/Slides+-+Metadados.pdf · INMON, William H. Enterprise meta data. DM Review Magazine , v. 8, n. 10,

US

P-F

EA

I n

telig

ênci

a de

N

egóc

ios

Construindo as atividadesConstruindo as atividades

Atividades associadas com o desenvolvimento do repositório de metadados.

• Construa o banco de dados do repositório de metadados.• Construir e testar as interfaces de processo de migração.• Construir e testar a aplicação de metadados.• Teste o programa de repositório de metadados e “verifique se funciona”.• Preparar o repositório de metadados para a produção.• Fornecer treinamento.

Finalmente deve-se documentar:

• Plano dos repositórios desenvolvidos (objetivos de cada um, testes realizados, critérios de entrada e saída dos resultados esperados);• Programas e ferramentas utilizadas (todos os programas de migração de dados meta, o acesso as interfaces, ferramenta de interface, relatório, consulta de scripts, etc.);• Biblioteca utilizada (processo de migração);• Documentações (procedimentos operacionais que abrange todas as operações), instruções sobre como usar ;• Materiais de Treinamento - materiais de formação interna.