Criação de importações de metadados

Você pode importar metadados técnicos e metadados de linhagem para adicionar ativos de dados a um projeto ou catálogo. Em um projeto, você pode preparar e analisar os dados antes de publicá-los em um catálogo.

Importe metadados para um projeto como ativos de dados para preparar e analisar os dados antes de publicá-los em um catálogo. Crie o perfil desses ativos de dados, analise a qualidade dos dados e atribua termos para fornecer contexto comercial executando o enriquecimento de metadados. Para fazer uma análise de qualidade mais profunda, execute regras de qualidade de dados nos ativos de dados. Você também pode adicionar ativos de dados a um catálogo diretamente se os dados estiverem prontos para serem compartilhados sem preparação adicional. Importe metadados de linhagem para ver de onde vêm seus dados, como eles mudam e para onde fluem.

Conexões suportadas
Consulte Fontes de dados compatíveis para curadoria e qualidade de dados. Você pode usar APIs em vez da interface do usuário para recuperar a lista de conexões compatíveis ou para criar um ativo de importação de metadados. Os links para essas APIs estão listados na seção Saiba mais.
Permissões necessárias
Para criar, gerenciar e executar uma importação de metadados, você deve ter essas funções e permissões:
  • A função de Administrador ou Editor no projeto.
  • A função de Administrador ou Editor no catálogo para o qual você deseja importar ou publicar os ativos.
  • Acesso às conexões com as fontes de dados dos ativos de dados a serem importados e a permissão SELECT ou similar nos bancos de dados correspondentes.
  • Gerenciar a linhagem de dados permission to import lineage metadata.

Assista a este breve vídeo para ver como importar metadados de ativos de uma fonte externa para um projeto.

Este vídeo oferece um método visual para aprender os conceitos e as tarefas desta documentação.

Pré-requisitos

Antes de começar a criar uma importação de metadados para uma nova fonte de dados, conclua as etapas a seguir:

  1. Crie uma definição de fonte de dados.
  2. Crie uma conexão com a fonte de dados em um projeto.

Cada fonte de dados requer vários detalhes de conexão. Você pode encontrar essas informações em cada tópico de conexão na seção Conectores e na seção Conectores suportados para importação de linhagem. Para obter mais informações sobre a definição de fonte de dados e conexões no contexto da importação de metadados, consulte Projetando importações de metadados: Fonte de dados.

Criando um ativo de importação de metadados e importando metadados

Para criar um ativo de importação de metadados e um trabalho para importar metadados para um projeto ou catálogo:

  1. Abra um projeto, vá para a página de ativos do projeto e clique em Novo ativo > Importar metadados para ativos de dados.

  2. Especifique um nome para a importação de metadados. Opcionalmente, é possível fornecer uma descrição.

  3. Selecione as tags a serem atribuídas ao ativo de importação de metadados para simplificar a pesquisa. Você pode criar novas tags inserindo o nome da tag.

  4. Selecione a meta de importação. Você pode selecionar um ou ambos os objetivos. Consulte Meta de importação.

  5. Se você selecionou a meta Importar metadados de ativos, selecione o destino da importação. Você pode importar metadados para o projeto em que está trabalhando ou para qualquer catálogo no qual tenha uma função de editor ou administrador. Consulte Destino de importação.

  6. Forneça detalhes sobre a fonte de dados para sua importação de metadados. A definição da fonte de dados é necessária quando você importa metadados de linhagem. Quando você importar metadados de ativos, selecione uma definição de fonte de dados ou uma conexão. Dependendo da fonte de dados, talvez seja necessário selecionar também um scanner. Consulte Fonte de dados.

  7. Decida o modo de conexão. O modo padrão é a conexão direta, o que significa que o site Cloud Pak for Data está conectado diretamente à fonte de dados via rede. Para conectar-se remotamente a uma fonte de dados, selecione um agente na lista se houver um agente registrado e configurado. Para obter mais informações, consulte Configuração de agentes para importação de metadados de linhagem.

  8. Defina um escopo para a importação de metadados. Consulte Escopo da importação. Dependendo do tamanho e do conteúdo de sua origem de dados, você pode não desejar importar todos os ativos, mas um subconjunto selecionado. É possível incluir esquemas ou pastas completas, ou realizar drill down em tabelas ou arquivos individuais. Ao selecionar um esquema ou uma pasta, é possível ver imediatamente quantos itens ela contém. Assim, é possível decidir se você deseja incluir todo o conjunto ou se um subconjunto serve melhor ao seu propósito.

    Ao importar metadados de linhagem, você pode alterar o escopo dos dados das seguintes maneiras:

    • Selecione objetos específicos na fonte de dados, por exemplo, esquemas ou relatórios.
    • Adicione entradas externas em um arquivo .zip com mais dados que sejam relevantes para a linhagem.

    Opcionalmente, você pode definir substituições de espaço reservado para entradas externas para uma melhor análise de linhagem. Clique em Configurar e defina os detalhes. Consulte Substituições de espaço reservado.

  9. Defina se você deseja executar tarefas de importação planejadas. Se você não configurar um planejamento, a importação é executada ao salvar o ativo de importação de metadados. É possível executar novamente a importação manualmente a qualquer momento. Consulte Opções de agendamento.

  10. Se você importar metadados da linhagem, poderá decidir quais fases da linhagem serão executadas. Consulte Fases de importação da linhagem.

  11. Personalizar o comportamento de importação. Você pode optar por impedir que propriedades específicas sejam atualizadas e excluir ativos existentes que não estejam incluídos na reimportação. Consulte Opções avançadas de importação.

  12. Revise a configuração de importação de metadados. Para fazer alterações, clique no ícone Edit (Editar ) Editar ícone no bloco e atualize as configurações.

  13. Clique em Criar. O ativo de importação de metadados é incluído ao projeto, e uma tarefa de importação de metadados é criada. Se você não configurou um planejamento, a importação é executada imediatamente. Se você configurou uma programação, a importação será executada na programação definida.

    Importante: Ativos da mesma conexão que já foram importados por meio de uma importação de metadados diferentes não são importados novamente, mas são atualizados. Tais ativos não aparecem mais na importação de metadados iniciais. Apenas a importação de metadados de execução mais recente contém os ativos.

Dependendo do resultado da execução do trabalho de importação de metadados, é exibida uma mensagem de conclusão ou uma notificação de erro.

Uma mensagem de conclusão é exibida quando a execução do trabalho é concluída com êxito, com avisos ou com erros. Uma notificação de erro será exibida se toda a execução do trabalho falhar. Qualquer um dos tipos de notificação contém um link para o log de execução do trabalho que fornece detalhes sobre a execução específica do trabalho.

Quando a importação estiver concluída, você poderá ver a lista de ativos com as seguintes informações:

  • O nome do ativo, que fornece um link para o ativo no projeto ou no catálogo.
  • O tipo de ativo, como Data ou Report. Para ativos de dados, o formato, como Relational table, também é mostrado. Para outros tipos de ativos, a coluna de formato mostra um traço (-).
  • O contexto do ativo, como o pai ou caminho de arquivo.
  • A data e hora da última importação do ativo.
  • O status de importação, que pode ser Imported para dados importados com sucesso, In progress, ou Removed se o ativo não puder ser reimportado.

Você pode trabalhar com a maioria dos ativos de dados importados da mesma forma que com os ativos de dados conectados. Os ativos importados têm uma tag designada automaticamente que reflete o pai do ativo se aplicável.

Para criar perfis, analisar e fornecer contexto comercial aos ativos de dados importados, crie um ativo de enriquecimento de metadados e inclua o ativo de importação de metadados no escopo de dados.

Saiba Mais

Próximas etapas