Importando metadados
Você pode capturar e importar metadados de ativos e informações de linhagem para os dados em sua organização. Esses dados podem estar em uma ampla variedade de fontes de dados. Quando você importa metadados de ativos, os ativos são criados.
- Serviços necessários
- watsonx.data intelligence
- Cloud Object Storage (para importar metadados de linhagem)
- Permissões necessárias
- Para criar, gerenciar e executar uma importação de metadados, você deve ter a função Admin ou Editor no projeto.
- Para importar metadados em um catálogo, deve-se também possuir a função Admin ou Editor no catálogo para o qual você deseja importar.
- Para configurar Cloud Object Storage para armazenar metadados de linhagem, você deve ter a permissão Gerenciar linhagem de dados.
- Conexões suportadas
- Você pode importar ativos das fontes de dados listadas em Fontes de dados suportadas para curadoria e qualidade de dados.
Visão geral
O processo de importação de metadados envolve a configuração da conexão com a fonte de dados e a especificação de parâmetros para o trabalho de importação de metadados. Dependendo do tipo de metadados que você importar, sejam eles metadados de ativos ou metadados de linhagem, pode ser necessária a configuração de pré-requisitos.
Pré-requisitos: Configuração da linhagem de dados
Se quiser importar metadados de linhagem, você deverá selecionar uma instância do site Cloud Object Storage para armazenar dados de linhagem:
- No menu de navegação, vá para Administração > Configurações e definições e abra Configuração da linhagem de dados.
- Selecione uma instância do site Cloud Object Storage onde você deseja armazenar os dados de linhagem.
Para obter mais informações sobre IBM Cloud Object Storage, consulte IBM Cloud Object Storage em Cloud Pak for Data as a Service.
Etapas para a importação de metadados
As etapas a seguir fornecem uma visão geral do processo de importação de metadados. Siga os links em cada etapa para obter mais detalhes.
- Crie uma definição de fonte de dados.
- Crie uma conexão com a fonte de dados em um projeto.
- Criar uma importação de metadados.
Cada fonte de dados requer vários detalhes de conexão e configuração. Você pode encontrar essas informações em cada tópico de conexão na seção Conectores e na seção Conectores suportados para importação de linhagem. Para verificar de quais fontes de dados você pode importar metadados, consulte Fontes de dados compatíveis para curadoria e qualidade de dados.
Quando você cria uma importação de metadados, o processo de importação de metadados é iniciado imediatamente, a menos que você o tenha programado para ser executado em um horário específico ou configurado para que o trabalho não seja executado.
Tipos de Metadados
Você pode importar esses tipos de metadados:
- Metadados do ativo
- Os metadados de ativos fornecem as informações necessárias para criar um ativo em um projeto ou catálogo. Os metadados do ativo fornecem detalhes do ativo, relacionamentos e a visualização do conteúdo do ativo. Para os ativos de dados, os metadados também permitem a criação de perfis de dados, a análise da qualidade dos dados e fornecem acesso para que as pessoas trabalhem com os dados.
- Metadados de linhagem
- Os metadados de linhagem fornecem as informações de linhagem para o gráfico de linhagem de dados. A linhagem de dados mostra de onde vêm seus dados, como eles mudam e para onde se deslocam ao longo do tempo.
Tipos de Recursos
Você pode criar os seguintes tipos de ativos importando metadados:
- Ativos de dados
- Tabelas ou arquivos de dados de uma conexão. Se você quiser executar regras de enriquecimento de metadados ou de qualidade de dados nos ativos importados, importe-os para um projeto.
- Copybooks COBOL
- A estrutura de dados de um programa COBOL. Você pode importar copybooks Cobol para projetos e catálogos. Esses ativos não podem ser baixados, perfilados, enriquecidos por meio de enriquecimento de metadados ou usados no Data Refinery.
- Ativos de script de transformação
- As transformações de dados que alteram o formato, a estrutura ou os valores dos dados e que geralmente fazem parte dos processos de ETL (extração, transformação e carregamento).
Importação de ativos com conexões de linhagem de dados
Ao importar recursos e seus metadados, você pode usar dois tipos de conectores. A configuração e os recursos diferem entre os dois tipos. Para esclarecer a diferença, utilizam-se os seguintes termos:
- Importação de ativos com conectores de governança de dados: esses são os conectores listados no tópico “Conectores compatíveis para descoberta, enriquecimento e qualidade de dados ”.
- Importação de ativos com conectores de linhagem de dados: esses são os conectores listados em “Conectores compatíveis para importação de linhagem ”.
A tabela a seguir resume as principais diferenças entre os dois tipos de importação de ativos.
| Recurso | Importação de ativos (conectores de governança de dados) | Importação de ativos (conectores de linhagem de dados) |
|---|---|---|
| Importar destino | Catálogo ou projeto | Apenas no catálogo |
| Enriquecimento de metadados | ✓ | — |
| Selecione os tipos de ativos a serem importados (usando a opção “Expandir importação de ativos ”) |
— | ✓ |
| Conexão com agente externo | — | ✓ |
| Configuração opcional da importação: - Definir o escopo da importação (selecionando ativos ou adicionando listas de inclusão ou exclusão) - Fornecer dados externos |
— | ✓ |