Mapeamento de eventos OpenLineage
Use regras de mapeamento para eventos OpenLineage para representar tecnologias não suportadas ou personalizadas na linhagem. Cada regra consiste em condições para definir quando a regra é aplicada e ações para definir como o evento é interpretado.
Se o seu fluxo de dados incluir tecnologias não compatíveis, sua linhagem poderá não mostrar o fluxo completo de dados. Você pode importar eventos do OpenLineage e usar mapeamentos para definir como essas tecnologias são reconhecidas e mostradas na linhagem. Os mapeamentos são regras que definem como os dados dos eventos do OpenLineage são interpretados e representados na linhagem.
Quando você cria mapeamentos para eventos OpenLineage, a linhagem é aprimorada das seguintes maneiras:
- Trabalhos e conjuntos de dados personalizados são exibidos sob a tecnologia correta.
- Os caminhos de linhagem conectam corretamente os nós em vez de marcadores de posição.
Mapeamento da estrutura de regras
Cada regra de mapeamento consiste em duas partes:
- Condições, que definem quando aplicar uma regra, com base no namespace ou prefixo e no escopo aplicável.
- Ações, que definem o que acontece quando a regra é aplicada. As ações incluem a atribuição da tecnologia, a definição da hierarquia de ativos e a vinculação à definição correta da fonte de dados para que os ativos sejam localizados no sistema correto.
Mapeamento OpenLineage visão geral dos eventos
O mapeamento dos eventos do OpenLineage envolve o seguinte processo:
- Crie definições de fonte de dados para sistemas referenciados no evento.
- Crie uma estrutura tecnológica personalizada para definir os tipos de ativos e sua hierarquia.
- Crie uma regra de mapeamento na qual você define quando a regra é processada e quais ações são tomadas.
- Execute uma importação de metadados em que você adiciona o evento OpenLineage como um arquivo de entrada.
- Revise os dados importados sobre linhagem.