 | Nível: Introdutório Werner Schuetz, IBM Certified IT Specialist, IBM
23/Jul/2009 Este artigo descreve a importância do uso de metadados para
ajudá-lo a obter insights sobre enormes quantidades de dados comerciais obtidos
por meio de fusões e aquisições, globalização e vários outros fatores. Será possível
percorrer cenários de uso para integração dos relatórios do Cognos™ Business
Intelligence e IBM InfoSphere™ Business Glossary. Aprenderemos também como
usar a origem dos dados, a análise de impacto e relatórios ad hoc customizados de
metadados.
Introdução
Fusões e aquisições, globalização, pressões da concorrência e vários outros fatores
criam a necessidade de as empresas aproveitarem de forma eficaz suas informações e,
a partir delas, agregar mais valor aos negócios. Mas muitas vezes essas condições de
negócios apresentam uma grande variedade de desafios relacionados às informações. Elas
lidam com enormes volumes de dados, muitas vezes sem muito conhecimento sobre o conteúdo,
qualidade e estrutura desses dados. Transações comerciais complexas de clientes e parceiros
além de informações operacionais que se deslocam dentro da própria empresa, muitas vezes,
são a base para importantes decisões. Essas decisões são, muitas vezes, prejudicadas pela
falta de insight e entendimento dos dados. Surgem perguntas frequentes em virtude dessa falta
de insight e entendimento, incluindo:
- Onde estão os dados do meu cliente?
- Como localizo as informações de que preciso?
- O que essas informações significam no contexto comercial atual?
- Posso confiar nessas informações?
Além disso, usuários técnicos e de negócios nem sempre entendem da mesma maneira a relevância
das informações fornecidas, afetando a utilidade dessas.
O IBM InfoSphere Information Server é uma plataforma de software para integração
de dados que ajuda as organizações a agregar mais valor a partir de informações
complexas e heterogêneas espalhadas em seus sistemas. Ao fornecer perfis automatizados
de dados e recursos de análise necessários para desvendar os mistérios do conteúdo,
qualidade e estrutura dos dados de origem, ele cria as bases para possibilitar a
integração gerada pelos metadados.
Este artigo introduz a ideia de metadados e demonstra os recursos de integração de
metadados do IBM InfoSphere Information Server. Cenários de uso demonstram como
integrar relatórios do Cognos Business Intelligence e o IBM InfoSphere Business
Glossary, além de como usar a origem dos dados, a análise de impacto e relatórios
ad hoc customizados de metadados.
O que são
metadados?
Metadados são dados a respeito de dados, ou, em outras palavras, informações
descritivas sobre algo. Vamos usar como exemplo o alimento. Uma lata pode ser o
recipiente, mas as informações do lado de fora, como marca registrada, conteúdo,
composição, peso, informações nutricionais e data de validade, são os metadados,
como demonstrado na Figura 1.
Figura 1. Lata de alimento
com metadados
![]()
No contexto de TI, os metadados podem descrever o design, desenvolvimento e implementação
dos sistemas de informações, bem como o movimento dos dados. Por exemplo, os seguintes
itens são considerados metadados:
- Descrição de uma tabela de banco de dados
- Relacionamentos entre objetos de banco de dados
- Definições de colunas na tabela
- Tipos de dados nas colunas da tabela
- Derivações que transformam as colunas
Os metadados possibilitam contextualizar e atribuir significado às coisas. Eles são gerados
e usados por organizações e produtos de software individuais.
Tipos de
metadados
Os metadados podem ser categorizados em três tipos:
- Metadados de negócios
- São vitais para fornecer contexto a um projeto de integração. Ajudam
a definir termos em linguagem cotidiana, sem levar em conta a
implementação técnica. Por exemplo, a linguagem usada para descrever
o que um cliente é e como categorizá-lo, muitas vezes, é específica
da empresa, e pode ser diferente entre as suas divisões.
- Exemplos: regras de negócios, administração, definições de negócios, terminologia
de auditoria, glossários, algoritmos e origem usando linguagem
corporativa
- Público: usuários corporativos
- Metadados técnicos
- Em geral são mais usados pelo pessoal técnico, como desenvolvedores.
Inclui itens como definições de tabelas e tipos de dados. Esses
objetos são frequentemente usados durante o processo de projeto
e desenvolvimento do aplicativo.
- Exemplos: definição de sistemas de origem e de destino, suas estruturas
e atributos de tabela e campos, a documentação para derivações e
dependências de auditoria
- Público: usuários de ferramentas específicas (BI, ETL, perfis,
modelagem)
- Metadados Operacionais
- Referem-se aos metadados gerados e capturados durante a execução de
um processo. Permitem aos administradores gerenciar o sistema e
assegurar que tudo está funcionando sem problemas. Metadados
operacionais também ajudam os administradores a solucionar problemas
que ocorram com um processo.
- Exemplos: informações sobre execução de aplicativos, incluindo sua
frequência, contagens registradas, análise de componente por
componente e outras estatísticas para fins de auditoria
- Público: usuários de operações, gerência e corporativos
Unificar esses tipos de metadados cria um relacionamento de ponta a ponta, possibilitando
aos usuários compreender não apenas onde as informações são armazenadas e o que aconteceu
com elas ao serem movidas dentro da organização, mas também o contexto de negócios daquelas
informações.
Usando o IBM
InfoSphere Information Server para integrar metadados
O IBM InfoSphere Information Server combina as tecnologias dentro do portfólio do IBM
Information Integration Solutions em uma plataforma única e unificada que possibilita
às empresas entender, limpar, transformar e entregar informações confiáveis e
contextualizadas. Essa plataforma unificada fornece metadados compartilhados que são
aproveitados pelos vários componentes que compõem o InfoSphere Information Server.
Muitos desses componentes desempenham um papel fundamental na integração de metadados.
O subconjunto de componentes relacionados aos cenários apresentados neste artigo
são:
- IBM InfoSphere Business Glossary
Possibilita que analistas de negócios
e especialistas no assunto criem, gerenciem e compartilhem um
vocabulário e um sistema de classificação comuns da empresa. Com isso,
os usuários podem ligar termos de negócios a artefatos mais técnicos que
o InfoSphere Information Server gerencia. Esses termos de negócios são
compartilhados com o InfoSphere Data Architect, o InfoSphere Information
Analyzer e o InfoSphere FastTrack, criando um conjunto comum de tags
semânticas para reutilização por parte de modeladores de dados,
analistas de dados, analistas de negócios e usuários
finais.
Os IBM InfoSphere Business Glossary Packs for Industry Verticals
aceleram a implementação do Business Glossary ao fornecer
imediatamente um conteúdo de glossário amplo, relevante e
específico do segmento de mercado para qualquer empresa.
Atualmente, estão disponíveis para os segmentos de Mercado
& Financeiro, Seguros, Saúde, Telecomunicações
e Varejo.
- IBM InfoSphere Metadata Workbench
Oferece visualização dos principais
metadados e recursos de exploração para o Information Server,
modelagem e ativos de metadados de business intelligence.
Atuando como uma estação de controle, o ambiente de trabalho
fornece análise de impacto entre ferramentas e origem dos dados,
além de extensas funções administrativas e de geração de relatórios
para o Information Server.
- Bridges and MetaBrokers no IBM InfoSphere Import Export Manager
Convertem metadados de um formato para outro, mapeando os
elementos em modelo padrão que converte a semântica da
ferramenta de origem para a semântica da ferramenta de destino.
Eles são usados para importar metadados de uma ferramenta,
arquivo ou banco de dados específico para o repositório de
metadados do InfoSphere Metadata Server. Também são usados
para exportar metadados do repositório de metadados para
ferramentas de fornecedores independentes de software.
Veja em Resources para uma lista de pontes
suportadas pelo IBM InfoSphere MetaBrokers and Bridges, Versão 8.1.
- IBM InfoSphere Information Analyzer
Avalia o conteúdo e a
estrutura dos seus dados quanto à consistência e qualidade,
e ajuda a melhorar a exatidão dos seus dados, fazendo
inferências e identificando anomalias.
Nos cenários deste artigo, esses componentes são usados assim:
- IBM InfoSphere Business Glossary
O IBM InfoSphere Business
Glossary Pack for Retail é importado para o IBM InfoSphere
Business Glossary na forma de arquivo de Glossary Archive
(XMI).
- Bridges and MetaBrokers no IBM InfoSphere Import Export Manager
Os metadados do Cognos foram importados usando o IBM
InfoSphere Import Export Manager (Cognos 8 BI Reporting -
Content Manager Import Bridge) para o repositório de metadados
do IBM InfoSphere Information Server.
- IBM InfoSphere Information Analyzer
O conteúdo e a estrutura
das tabelas de banco de dados para o projeto de Análise de
Vendas são avaliados e publicados pelo InfoSphere Information
Analyzer e podem ser avaliados na visualização Análise de
Tabela do IBM InfoSphere Business Glossary.
- IBM InfoSphere Metadata Workbench
É a principal ferramenta
para visualização e exploração de metadados.
Integrando o
Cognos Business Intelligence Reports e o IBM InfoSphere Business
Glossary
Esse cenário demonstra a ligação direta de um relatório Cognos com
o IBM InfoSphere Business Glossary. Um usuário de negócios que lê
seu relatório do Cognos BI diretamente executa o IBM InfoSphere
Business Glossary a fim de obter mais informações sobre alguns
termos do relatório. Com a ajuda do navegador do Business Glossary,
ele não só entende os termos usados, mas também recebe mais
informações, como sinônimos, abreviaturas, termos relacionados e
ativos de TI, como mostrado na Figura 2. Ele descobre também o administrador de dados responsável e seus detalhes de contato.
Figura 2. Relatório de
Análise de Vendas Cognos
![]()
Clique
aqui
para ver a Figura 2 ampliada.
Estudando seu relatório de análise de vendas, o usuário de negócios analisa Receita por Cliente, Receita por Produto e Classificação de Receita de Clientes. Mas ao ler os Alvos de Cliente Alcançados, ele não tem certeza absoluta sobre o sentido dos títulos de coluna YTD, FYT e TAP. Ele executa o IBM InfoSphere Business Glossary, como mostrado na Figura 3, e recebe uma descrição breve de YTD: Ano até a Data Atual.
Figura 3. Executando o Business Glossary
O Cognos pode ser configurado para acessar diretamente o IBM InfoSphere Business Glossary ou a origem dos dados do IBM InfoSphere Metadata Workbench de um relatório Cognos, como mostrado na Figura 4.
Figura 4. Janela de entrada do Business Glossary
Pesquisando detalhadamente mais informações, o usuário de negócios abre o navegador do Business Glossary para obter informações mais detalhadas, como uma descrição detalhada, o administrador de dados responsável, sinônimos, abreviaturas e recursos de TI relacionados. Por exemplo, ele descobre que o termo Year to Date (YTD) também está relacionado aos termos Full Year Target (FYT) e Target Attainment Percentage (TAP), como mostrado na Figura 5. Esses termos também são usados no seu relatório de análise de vendas.
Figura 5. Detalhes do termo no Business Glossary
Clique aqui para ver a Figura 5 ampliada.
O usuário de negócios também quer saber quem é a Administradora de Dados responsável, que recursos ela gerencia e como entrar em contato com ela. Essas informações são encontradas na janela de detalhes do usuário no Business Glossary, como mostrado na Figura 6.
Figura 6. Janela de detalhes do usuário no Business Glossary
O usuário de negócios decide enviar um e-mail para a administradora de dados clicando no endereço de e-mail dela, como mostrado na Figura 7.
Figura 7. Contato de e-mail do Business Glossary
O usuário de negócios também está interessado em mais informações sobre a tabela de banco de dados na qual o relatório de BI se baseia e no seu conteúdo e qualidade. Primeiro, ele olha na tabela de resumo do banco de dados subjacente. Na seção Assigned Assets na janela de Term Details (Figura 5), ele faz uma pesquisa detalhada na tabela de banco de dados SALES_SUM para ver informações detalhadas sobre as colunas do banco de dados e suas chaves primárias, como mostrado na Figura 8.
Figura 8. Detalhes da Tabela de Banco de Dados
Na seção Analysis, o usuário de negócios faz uma pesquisa detalhada nos Table Analysis Summary Details, que fornece informações sobre o conteúdo e a estrutura da tabela SALES_SUM relativas à consistência e qualidade, como o número de campos, número de linhas e se há chaves primárias duplicadas ou violações de chaves estrangeiras. O IBM InfoSphere Information Analyzer publica essas informações, como mostrado na Figura 9.
Figura 9. Table Analysis Summary Details
Criando relatórios de origem dos dados usando o IBM InfoSphere Metadata Workbench
Os usuários do ambiente de trabalho de metadados podem criar relatórios que analisam o fluxo de dados de fontes de dados, através de tarefas e estágios, e em bancos de dados, arquivos de dados e relatórios de business intelligence. O relatório de origem dos dados mostra o movimento dos dados dentro de uma tarefa ou entre múltiplas tarefas e, também, a ordem de atividades dentro da execução da tarefa.
Suponhamos que um membro da equipe técnica de TI tenha sido designado a uma responsabilidade no projeto de Análise de Vendas. Novos aprimoramentos para esse projeto são esperados a qualquer momento, e ele tem muito pouco tempo para aprender os detalhes. Com a ajuda do Metadata Workbench, ele consegue fazer isso bem mais rápido.
O membro da equipe começa dando uma olhada nos metadados do relatório de Análise de Vendas no Metadata Workbench. Ele explora a visualização gráfica de todos os objetos relacionados e analisa os metadados detalhados obtidos pelo relatório Cognos BI. Em seguida, ele analisa o fluxo de dados que representa de onde os dados vieram e que é oferecido pelo relatório de origem dos dados do Metadata Workbench para o relatório de BI. Depois, ele estuda os detalhes das tarefas ETL e os metadados operacionais. As instruções de como é possível concluir essas etapas como membro da equipe estão incluídas nas seções a seguir.
Metadados do relatório Cognos BI
- Abra o Metadata Workbench, como mostrado na Figura 10.
Figura 10. Página de abertura do Metadata Workbench
- Na entrada Relatório de BI da Análise de Vendas, execute a Visualização Gráfica. Será possível ter uma visão geral do administrador de dados responsável, termos relacionados, coleções de relatórios de BI, campos do relatório e tabelas de banco de dados, como se vê na Figura 11.
Figura 11. Visualização Gráfica do relatório de análise
Clique aqui para ver a Figura 11 ampliada.
- Abra os detalhes do Relatório de BI das Análises de Vendas e aparecerão informações detalhadas sobre coleções de relatórios de BI e campos de relatório, tabelas de banco de dados, administradores e termos, como mostrado na Figura 12.
Figure 12. Detalhes de relatório de BI
- Procure detalhes sobre o campo de relatório TAP, incluindo a definição do termo TAP no IBM InfoSphere Business Glossary, a expressão de cálculo e as colunas de banco de dados subjacentes, como mostrado na Figura 13.
Figura 13. Detalhes dos campos de relatório de BI
- Obtenha mais informações sobre o campo TARGET do banco de dados e outros detalhes, como banco de dados, tabela, tipo de dados, comprimento, exclusividade, capacidade de anulação, termos relacionados e administrador de dados responsável, como mostrado na Figura 14.
Figura 14. Detalhes de Database column
Relatórios de origem dos dados
Depois de ter adquirido insight sobre o relatório de BI, campos de relatório e colunas de banco de dados, execute um relatório de origem dos dados chamado Where does the data come from? a fim de explorar o movimento de dados através de múltiplas tarefas.
Selecione uma perspectiva de ponta a ponta a ser examinada no Relatório de BI de Análise de Vendas para a tarefa ETL Load_Sales_Sum em uma visualização gráfica, como mostrado na Figura 15.
Figura 15. Visualização gráfica de origem dos dados
Clique aqui para ver a Figura 15 ampliada.
Obs.: Visto que o relatório de BI está no nível superior dessa perspectiva de cenário, apenas o relatório de origem Where does the data come from? é executado. Contudo, em cenários com um objeto em nível inferior, o relatório de Where does the data goto? apresenta o fluxo dos dados em direção ao nível superior.
É possível ter uma visão geral completa do fluxo de dados subjacente ao relatório de BI para obter informações sobre o modelo de relatório de BI, as tabelas de banco de dados e as tarefas ETL do relatório de origem dos dados De onde vêm os dados?, como mostrado nas Figuras 16, 17 e 18.
Figura 16. Modelo de relatório de BI subjacente
Figura 17. Tabelas de banco de dados subjacentes
Clique aqui para ver a Figura 17 ampliada.
Obs.: A visualização da Figura 17 mostra os metadados de tabela de um banco de dados DWORKS DB2 e os metadados de tabela de um relatório de BI (banco de dados DWRKS_CG).
Figura 18. Tarefas ETL subjacentes
Examine todas as etapas de processamento subjacentes à tabela de resumo SALES_SUM, que é analisada pelo relatório de BI. Chame a origem dos dados da entrada de tabela de banco de dados SALES_SUM nos detalhes de relatório de BI (veja a Figura 12) para ver uma lista de todas as etapas de processamento envolvidas. Para explorar o caminho do processamento de ponta a ponta, do primeiro arquivo de entrada com as transações do cliente até o preenchimento da tabela de resumo, clique em Exibir Ativos Finais e selecione o estágio Sequential_Transactions, como mostrado na Figura 19.
Figura 19. Ativos finais para a tabela de resumo SALES_SUM
É possível então sustentar uma cadeia de processamento detalhada da entrada de transações do cliente até o preenchimento da tabela de resumo, que explica o fluxo de dados pelos estágios de processamento, tarefas ETL e tabelas de banco de dados, como mostrado na Figura 20.
Figura 20. Cadeia de processamento da entrada de transações do cliente até o preenchimento da tabela de resumo
A visualização gráfica exibe todas as etapas de processamento de ponta a ponta para todos os caminhos (incluindo caminhos paralelos) em um diagrama, como mostrado na Figura 21.
Figura 21. Visualização gráfica da cadeia de processamento
Clique aqui para ver a Figura 21 ampliada.
Detalhes de tarefas ETL e metadados operacionais
Por fim, analise as informações de metadados sobre a última tarefa ETL LOAD_SALES_SUM, preenchendo a tabela de resumo. Preste atenção especial ao design da tarefa e às informações operacionais, como mostrado na Figura 22.
Figura 22. Tarefa ETL e design da tarefa
Por meio das informações operacionais da tarefa, é possível ter um insight sobre o tempo de execução da tarefa, o status de conclusão e os parâmetros de tempo de execução dela, como mostrado na Figura 23. O número de registros lidos e gravados em cada etapa do processamento o ajuda a rastrear se o volume correto de dados foi processado. Essas informações operacionais serão muito úteis para depurar problemas mais tarde, como dados inconsistentes ou falha de tarefa ETL.
Figura 23. Informações operacionais da tarefa ETL
Entendendo relatórios de análise de impacto
Os relatórios de análise de impacto mostram as dependências entre os recursos. Por exemplo, um novo aplicativo de negócios exige que o comprimento do campo do banco de dados seja ampliado. Com a ajuda da análise de impacto, é possível entender que outros arquivos de dados, campos de banco de dados, tarefas e relatórios de BI serão afetados por essa mudança.
No cenário de exemplo, uma fusão de empresa requer que a extensão do campo do banco de dados TOT_CUST (total das receitas por cliente) seja aumentada de 8 para 10. Como membro da equipe técnica de TI, você precisa examinar o impacto que esta mudança terá em outros objetos de relatório de BI, colunas de banco de dados e colunas dentro das tarefas ETL. Os metadados são mostrados na Figura 24.
Figura 24. Metadados da coluna de banco de dados TOT_CUST
Ao executar o relatório de análise de impacto What depends on this asset?, é possível ver informações sobre membros de relatório de BI dependentes, e sobre os itens do relatório, como mostrado na Figura 25.
Figura 25. Relatório de análise de impacto What depends on this asset?
Clique aqui para ver a Figura 25 ampliada.
Ao invocar o relatório de análise de impacto Do que esse recurso depende?, é possível ver informações sobre o estágio e as colunas de banco de dados dos quais a coluna de banco de dados TOT_CUST depende, como mostrado na Figura 26.
Figura 26. Relatório de análise de impacto Do que esse recurso depende?
À medida que se obtém insight profundo sobre o impacto do aumento do campo do banco de dados, é possível fazer uma estimativa de custo melhor para essa modificação.
Em outro exemplo, o Gerente Operacional de TI foi avisado de que uma tarefa ETL para carregamento da tabela de fatos foi abortada ao ler sua entrada no estágio de processamento DB2_Input_Facts. Ele precisa de uma rápida visão geral sobre o impacto sobre outros componentes do aplicativo, incluindo os estágios ETL, tabelas de banco de dados e relatórios de BI. O relatório de análise de impacto O que depende desse recurso? apresenta as informações necessárias, como mostrado na Figura 27.
Figura 27. O relatório de análise de impacto O que depende desse recurso? quando a tarefa é abortada
Usando relatórios ad-hoc customizados
Relatórios ad-hoc (consultas no Metadata Workbench) possibilitam que os usuários e administradores definam, preservem e façam relatórios de recursos de informações. Os relatórios ad-hoc também podem ser usados para filtrar resultados de consultas e exportá-los para um arquivo. O IBM InfoSphere Metadata Workbench apresenta várias consultas pré-configuradas que relatam vários tipos de recursos e seus relacionamentos. Mas os usuários podem criar e gerenciar suas próprias consultas, que podem ser publicadas e disponibilizadas para todos os usuários do IBM InfoSphere Metadata Workbench.
Suponhamos que um perito financeiro não tenha muita habilidade em ferramentas de desenvolvimento (relatórios de BI ou ETL), mas ele exige mais transparência sobre as fórmulas de cálculo utilizadas em relatórios de BI ou tarefas ETL. As Figuras 28 e 29 mostram dois relatórios ad-hoc customizados que podem ajudá-lo.
Figura 28. Formulário de relatório ad-hoc para relatórios de BI, incluindo campos, expressões e tipos de dado
Clique aqui para ver a Figura 28 ampliada.
Figura 29. Relatório ad-hoc para as tarefas DataStage, seus estágios, campos e expressões
Clique aqui e aqui para ver a Figura 29 ampliada.
Visto que os resultados das consultas podem ser salvos em formato de dados (CSV) ou de relatório (XLS), ele pode salvar seus resultados e aprimorá-los em uma planilha, como visto na Figura 30.
Figura 30. Salvar relatório como planilha
Clique aqui para ver a Figura 30 ampliada.
Conclusão
O IBM InfoSphere Information Server é uma plataforma de software para integração de dados que ajuda as organizações a agregar mais valor a partir de informações complexas e heterogêneas espalhadas em seus sistemas. O Integration of Cognos Business Intelligence Reports e o IBM InfoSphere Business Glossary, por exemplo, possibilitam que os usuários de negócios e de TI pesquisem em um vocabulário comum termos no relatório Cognos BI. Os relatórios de origem dos dados mostram como as informações fluem pelos estágios ou colunas do DataStage, por fontes físicas de dados e campos de relatórios de BI. Os relatórios de análise de impacto mostram as dependências entre os recursos. A geração de relatórios ad-hoc possibilita que os usuários obtenham informações customizadas a partir do repositório de metadados.
Agradecimentos
Agradecimentos especiais a Hayden Marchant, da IBM Metadata Development, no Israel Software Lab, pelo seu excelente suporte sobre o Metadata Workbench. Obrigado também a Marc Haber, do IBM Software Group Israel, e Eberhard Hechler, do Centro Europeu de Excelência Técnica em Informações on Demand por revisar este artigo.
Recursos Aprender
Obter produtos e tecnologias
- Elabore seu próximo projeto de desenvolvimento com o software de teste IBM, disponível para download diretamente no developerWorks.
Discutir
Sobre o autor | | | Werner Schuetz is an IBM Certified IT Specialist, IBM Certified Advanced
Database Administrator, and Certified Application Developer for DB2 9 for Linux,
UNIX, and Windows. He works as a DB2 Technical Consultant in the IBM Innovation
Center in Stuttgart, Germany. The
IBM Innovation Center
offers Independent Software Vendors (ISVs) cross-platform technical application
enablement support for porting, testing, and migration. In this context, Werner
Schuetz assists ISVs in testing DB2 solutions, executing performance and tuning
sessions, and running competitive database migrations. |
Avalie esta página
| |
