Criação de mapeamentos para eventos OpenLineage
Crie um mapeamento para exibir a linhagem de uma tecnologia personalizada ou sem suporte.
Visão geral
Para exibir a linhagem de tecnologias personalizadas ou sem suporte, conclua estas tarefas:
- Criar definições de fontes de dados.
- Criar tecnologia personalizada.
- Crie uma regra de mapeamento.
- Executar uma importação de metadados ou ingerir os eventos usando APIs.
Pré-requisitos
Permissões
São necessárias as seguintes permissões e funções.
| Tarefa | Permissão ou função |
|---|---|
| Criar uma definição de origem de dados | • Função do catálogo de ativos da plataforma: Administrador ou Editor • Função IBM Cloud IAM: Criador de fonte de dados CloudPak ou Administrador de fonte de dados CloudPak |
| Criar uma conexão com uma fonte de dados | - Acesso a conexões com fontes de dados - Função do projeto: Administrador ou Editor |
| Criar uma tecnologia personalizada | • Permissão para gerenciar linhagem de dados |
| Criar um mapeamento OpenLineage | • Permissão para gerenciar linhagem de dados |
| Importar metadados de linhagem | • Permissão para gerenciar linhagem de dados • Função do projeto: Administrador ou Editor |
| Visualizar linhagem | • Gerenciar linhagem de dados ou permissão de acesso à linhagem de dados |
Definições de origem de dados
Crie uma definição de fonte de dados para cada endpoint referenciado no evento OpenLineage.
Para obter mais informações, consulte Criação de uma definição de fonte de dados.
Criar uma tecnologia personalizada
Se as tecnologias compatíveis não corresponderem à estrutura de sua tecnologia, crie uma tecnologia personalizada. Conclua estas etapas:
- Vá para Dados > Linhagem de dados > Linhagem de mapas > Mapa OpenLineage > Tecnologias personalizadas e clique em Criar tecnologia.
- Digite um nome significativo que identifique facilmente a tecnologia.
- Digite um nome de filial exclusivo.
- Selecione o tipo de tecnologia mais apropriado para sua tecnologia.
- Defina o número de ativos na hierarquia da estrutura de dados e edite os nomes dos tipos de ativos, se necessário.
- Opcionalmente, defina qual tipo de ativo ocorre recursivamente na hierarquia.
Para obter mais informações, consulte Tipo de tecnologia.
Criar um mapeamento
Para criar um mapeamento para um evento OpenLineage, conclua estas etapas:
- Vá para Dados > Linhagem de dados > Linhagem de mapas > Mapa OpenLineage > Mapeamentos ativos e clique em Criar mapeamento.
- Selecione o tipo de espaço de nome, espaço de nome de conjunto de dados ou espaço de nome de trabalho. Veja o escopo da regra.
- Selecione o método de correspondência de namespace, prefixo de Namespace ou valor exato de Namespace. Consulte Método de correspondência de namespace e valor do namespace.
- Forneça o prefixo ou o valor exato. Se você fornecer o prefixo, inclua o delimitador
://ou.no valor. Clique em Avançar. - Selecione o tipo de tecnologia, uma predefinida ou uma personalizada. Se necessário, crie uma nova tecnologia personalizada.
- Especifique o método de atribuição da definição da fonte de dados. Selecione Assign automatically (Atribuir automaticamente ) e prossiga, ou Select manually (Selecionar manualmente ) e selecione uma definição de fonte de dados na lista. Consulte Definições da fonte de dados.
- Revise o resumo de seu mapeamento e clique em Create (Criar ).
Criar uma importação de metadados
Quando seu mapeamento estiver pronto, ele será processado quando um evento OpenLineage for importado. O evento deve estar no formato.json, e o arquivo.json deve ser compactado em um arquivo.zip.
Para importar o evento OpenLineage, conclua estas etapas:
- No projeto, vá para a guia Ativos e clique em Novo ativo > Importar metadados para ativos de dados.
- Especifique um nome e selecione a meta Importar metadados de linhagem.
- Selecione a definição da fonte de dados que corresponde à sua fonte de dados de eventos.
- Na seção Adicionar entradas do arquivo, clique em Adicionar e selecione o arquivo.zip com o arquivo.json dentro.
- Opcionalmente, edite as opções de importação de metadados restantes, salve e execute seu trabalho.
Quando o trabalho de importação de metadados for concluído, veja a linhagem em Data > Data lineage (Dados > Linhagem de dados ).
Para obter mais informações, consulte Criação de importações de metadados.
Ingestão de eventos usando APIs
Como alternativa à importação de metadados, você pode ingerir eventos usando APIs. Consulte Ingestão de eventos em OpenLineage.