OpenLineage configuração de linhagem

Para importar metadados de linhagem do OpenLineage,, crie uma conexão, uma definição de fonte de dados e uma tarefa de importação de metadados.

Estas informações se aplicam ao serviço IBM Manta Data Lineage.

Para importar metadados de linhagem para o OpenLineage,, siga estas etapas:

  1. Crie uma definição de fonte de dados.
  2. Crie uma conexão com a fonte de dados em um projeto.
  3. Crie uma importação de metadados.

Criação de uma definição de fonte de dados

Crie uma definição de fonte de dados. Selecione “ OpenLineage ” como tipo de fonte de dados.

Criando uma conexão com OpenLineage

Crie uma conexão com a fonte de dados em um projeto. Para obter detalhes sobre a conexão, consulte OpenLineage connection.

Criação de uma importação de metadados

Crie uma importação de metadados. Saiba mais sobre as opções específicas da fonte de dados do ` OpenLineage `:

Listas de inclusão e exclusão

É possível incluir ou excluir ativos usando namespaces de tarefa em eventos OpenLineage. A entrada inteira é avaliada como uma expressão regular. Valores de exemplo:

  • myPrestoApp1Namespace: todos os eventos com o namespace "job myPrestoApp1Namespace".
  • mySparkApp[1-5]Namespace: todos os eventos cujo namespace de tarefa comece com mySparkApp1Namespace e termine com um dígito entre 1 e 5.

Entradas externas

É possível incluir eventos do OpenLineage como entradas externas. O arquivo pode ter a seguinte estrutura:

<event_file_name>.json

Informações Adicionais

Histórico no nível da coluna Em alguns casos, os eventos não contêm informações de histórico no nível da coluna, o que resulta em um histórico incompleto. Para evitar esse problema até certo ponto, utiliza-se um método de mapeamento inteligente. Este método começa por associar as colunas de origem às colunas de destino com base nos seus nomes. Para as demais colunas que não têm uma coluna correspondente, cada coluna de origem é conectada a todas as colunas de destino.

Saiba Mais