Curadoria de dados

Requisitos e restrições

Para curadoria de dados, existem os seguintes requisitos e restrições.

Tarefas de curadoria

Estas tarefas de curadoria permitem desenvolver ativos de dados importantes:

• Incluir ativos de dados em um projeto ou catálogo:

  • Adicione ativos de uma conexão a uma fonte de dados, manualmente um por um ou vários ativos de dados automaticamente através de importação de metadados. Deixe seus dados onde ele está na nuvem ou no local, e basta adicionar metadados de ativos e as informações de conexão para acessar os dados dentro de um projeto ou um catálogo.
  • Faça upload de arquivos individuais no armazenamento associado ao projeto ou catálogo.
  • Inclua manualmente os ativos de um catálogo ou projeto para trabalhar com eles.

• Analisar e enriquecer dados:

  • Defina o perfil de ativos de dados individuais para obter estatísticas básicas sobre o conteúdo do ativo e para designar classes de dados, dentro de um projeto ou catálogo. Consulte Definindo perfis de ativos de dados.

  • Crie e execute um enriquecimento de metadados em um projeto.

    • Crie o perfil de vários ativos de dados em uma única execução para designar classes de dados automaticamente e identificar tipos de dados e formatos de colunas.
    • Execute a análise de qualidade em vários conjuntos de dados em uma única execução para varrer problemas comuns de qualidade de dados, como valores ausentes ou violações de classe de dados
    • Designar automaticamente termos de negócios para ativos e gerar sugestões de termos com base em algoritmos de classificação de dados ou de aprendizado de máquina
    • Forneça chaves primárias e estrangeiras e relacionamentos candidatos entre ativos e colunas com base em estatísticas de criação de perfil e semelhanças de nomes entre colunas.

  • Revise os resultados do enriquecimento. Uma visão geral das pontuações de qualidade para os ativos de dados está disponível no ativo de enriquecimento de metadados no projeto. É possível visualizar os resultados detalhados para cada ativo de dados ou coluna clicando no índice de qualidade. Como alternativa, é possível acessar as informações na guia Qualidade de dados de um ativo, dentro de um projeto ou catálogo.

  • Execute uma análise mais profunda dos dados reais: análise de chave primária, análise de relacionamento chave, análise de sobreposição ou perfil de dados avançado

  • Reexecute a importação e as tarefas de enriquecimento em intervalos, para descobrir e avaliar mudanças em ativos de dados. É possível fazer isso manualmente ou configurar planejamentos para importação e enriquecimento.

• Avaliar a qualidade dos dados, executando regras de qualidade de dados.

• Refinar os dados para melhorar a qualidade e utilidade deles em um projeto.

• Publicar ativos de um projeto em um catálogo.

• Classificar e revisar ativos de dados dentro de um catálogo.

• Criar tags e incluí-las em ativos de dados dentro de um catálogo.

• Incluir classificações e termos de negócios em ativos de dados individuais em um catálogo.

Fluxo de amostra: curadoria avançada

Um fluxo de curadoria pode ter essas tarefas:

1. Em um projeto, crie e execute uma importação de metadados com o objetivo Descobrir para fazer uma importação em massa de metadados de uma conexão com o projeto. Você também pode configurar a importação de metadados para executar em um cronograma único ou de repetição.

2. No mesmo projeto, crie e execute um enriquecimento de metadados para completar essas tarefas para o conjunto de ativos de dados importados em uma única execução:

   • Criar perfil do ativo de dados.
   • Executar uma análise de qualidade nos ativos de dados.
   • Designar automaticamente termos de negócios a ativos importados e gerar sugestões de termo.
   • Identificar chaves primárias e estrangeiras para gerar relacionamentos candidatos entre ativos e colunas.

   Você também pode configurar um cronograma único ou de repetição para o seu enriquecimento de metadados. Você pode alinhar sua programação de enriquecimento com o planejamento configurado para a importação de metadados.

3. Revisar os resultados de enriquecimento para os ativos de dados e suas colunas.

4. Opcional: Executar análises adicionais sobre os ativos de dados no enriquecimento de metadados.

5. Publique os ativos de dados enriquecidos no catálogo.

Fluxo de amostras: disponibilização de ativos enriquecidos e sua linhagem para consumo

Disponibilizar ativos enriquecidos e sua linhagem para usuários corporativos pode incluir essas tarefas:

1. No catálogo de ativos da plataforma, crie uma definição de fonte de dados que inclua a conexão que você deseja verificar.
2. Em um projeto, crie uma cópia de referência da conexão com a fonte de dados.
3. Crie e execute uma importação de metadados com os objetivos Importar metadados de ativos e Importar metadados de linhagem. O destino da importação de metadados de ativos deve ser o projeto.
4. No mesmo projeto, crie e execute um ativo de enriquecimento de metadados para os ativos importados. Selecione o ativo de importação de metadados da etapa 1 como escopo de dados.
5. Revise os resultados do enriquecimento e publique os ativos enriquecidos em um catálogo.
6. Verifique as informações de linhagem. Vá para Dados > Linhagem de dados > Exibir linhagem.

Para automatizar o processo, você pode programar os trabalhos de importação e enriquecimento de metadados e alinhar essas programações.

É possível realizar a maioria das tarefas de curadoria com APIs em vez da interface com o usuário. Os links para a API IBM Knowledge Catalog estão listados para cada tarefa aplicável.

Saiba Mais

• Recursos de Catálogo
• Projetos
• Refinando dados
• Importando metadados
• Enriquecer ativos de dados