Projetando a exportação de linhagens
Ao exportar a linhagem de dados, é necessário definir a origem e o destino da exportação, quais dados incluir na exportação, se os dados devem ser sincronizados no sistema de destino e se as tarefas de exportação devem ser agendadas.
A configuração do recurso de exportação depende do formato de destino para o qual você deseja exportar a linhagem de dados. Ao integrar-se a ferramentas de terceiros, como o Collibra, você pode enviar a linhagem exportada para o sistema de destino; por isso, é necessário configurar as opções de destino e de envio.
Se você exportar sua linhagem para o formato OpenLineage, configure apenas as opções específicas da linhagem de origem. Portanto, você pode pular as seções sobre destino de exportação e modo de sincronização.
Normalmente, quando você começa a criar um recurso de exportação de linhagem de dados, o sistema de destino já está definido e configurado, estando pronto para ser utilizado na exportação. Os metadados da linhagem de origem já foram importados para um projeto selecionado. O recurso de exportação da linhagem de dados contém informações sobre quais dados da linhagem devem ser incluídos, como processar recursos que não existem mais no sistema de destino e quando executar a tarefa de exportação.
Destino de exportação
O destino da exportação é o ponto final ao qual você deseja adicionar metadados de linhagem. Antes de criar o recurso de exportação da linhagem de dados, é necessário criar e configurar a instância e a conexão do Collibra. Em seguida, você precisa decidir como se conectar a essa instância.
Instância do Collibra
A instância é identificada por uma definição de fonte de dados. Cada instância é configurada com parâmetros de atributos e tipos de relação. Para mais informações, consulte Instâncias do Collibra.
Carregamento da linhagem no sistema de destino
Você pode optar por adicionar automaticamente a linhagem gerada ao sistema de destino. Se você ativar a opção “Carregar dados no destino de exportação ”, a linhagem será adicionada imediatamente após ser gerada. Se você deixar essa opção desativada, poderá adicionar o arquivo gerado ao sistema de destino posteriormente. Para isso, edite a tarefa de exportação da linhagem de dados, ative essa opção, especifique os detalhes da conexão e reinicie a tarefa para enviar a linhagem para o sistema de destino.
Conexão
Crie uma conexão com o Collibra no mesmo projeto em que deseja criar o recurso de exportação. Use os mesmos detalhes do endpoint que constam na definição da fonte de dados que você configurou como instância do Collibra. Para mais informações, consulte a conexão com o Collibra.
Método de conexão
Você pode exportar metadados de linhagem conectando-se diretamente a partir da plataforma ou utilizando agentes Manta externos para se conectar remotamente. Você instala o agente Manta diretamente na instância do Collibra e o registra na plataforma. Então, você pode selecioná-lo ao criar uma exportação de linhagem de dados. Para obter mais informações, consulte Configurando agentes para a importação de metadados de linhagem.
Fonte de exportação
Para identificar a linhagem a ser exportada, selecione uma definição de fonte de dados para a tecnologia de origem. Você pode selecionar a linhagem de origem de qualquer projeto; o recurso de importação de metadados de linhagem não precisa estar no mesmo projeto em que você cria o recurso de exportação. Para consultar a lista de fontes de dados das quais é possível exportar a linhagem, consulte:
Opções avançadas
Objetivos de exportação
Decida quais elementos da árvore genealógica incluir na exportação.
- Ativos de dados
- Se você selecionar esta opção, serão criados novos ativos.
- Ativos de transformação e relacionamentos de linhagem
- Apenas as transformações e as relações de linhagem são exportadas. Não são criados novos ativos, exceto especificações de mapeamento, se essa for a única opção selecionada. Os ativos existentes no Collibra são utilizados como origens e destinos das relações exportadas. Você pode escolher essa opção quando quiser criar uma linhagem para um catálogo de dados físicos gerado pelo Collibra Catalog. Decida que tipo de recursos de transformação deseja exportar:
- Transformações que têm pelo menos uma origem ou destino
- Transformações que têm origem e destino
- Transformações que não têm nenhuma linhagem
Se você deseja exportar a linhagem completa, incluindo dados físicos, ativos de transformação e relações de linhagem, selecione ambas as opções.
- Ativos deduzidos
- Um ativo deduzido é um objeto inferido criado pelo sistema quando este encontra referências a componentes desconhecidos ou ausentes durante a extração da linhagem de dados. Os bens deduzidos são criados para preencher as lacunas em uma linhagem incompleta. O recurso deduzido é frequentemente referido como um servidor desconhecido. Você pode exportar ativos deduzidos ao incluir ativos de transformação e relações de linhagem na sua exportação.
Modo de sincronização
Quando a exportação inicial do Lineage para o Collibra estiver configurada, os dados poderão ser atualizados regularmente no sistema de destino para garantir que todas as alterações recentes estejam presentes. Em alguns casos, os recursos que foram exportados anteriormente para o sistema de destino não constam mais na nova exportação. Escolha um dos seguintes modos de sincronização para definir o que fazer com os ativos que estão presentes no sistema de destino, mas não no arquivo de exportação mais recente.
- Mudar o status do ativo ausente
- Os ativos que estão presentes no sistema de destino, mas não no arquivo de exportação mais recente, recebem um novo status, que é
Obsolete. Você poderá então localizar facilmente esses ativos e decidir se deseja gerenciá-los posteriormente ou excluí-los manualmente após uma verificação mais aprofundada. - Excluir
- Depois que os dados exportados forem carregados no sistema de destino, os ativos que estiverem presentes no sistema de destino, mas não no arquivo de exportação mais recente, serão excluídos automaticamente.
- Sem sincronização
- Ao selecionar este modo, os ativos não são modificados nem excluídos no sistema de destino; eles são apenas importados. Este modo é mais rápido do que os outros, mas os dados não são sincronizados.
Nível de agregação de linhagem
O nível de agregação da linhagem especifica os tipos de ativos entre os quais as relações são exportadas.
- Nível de coluna e tabela
- A linhagem exportada contém relações entre as tabelas e as colunas. É a árvore genealógica mais detalhada.
- Nível de tabela
- A linhagem exportada contém apenas relações entre tabelas. As colunas não são exportadas de forma alguma.
- Nível da coluna
- A linhagem exportada contém apenas relações entre colunas. As tabelas são exportadas como recursos principais das colunas, mas as relações entre as tabelas não são exportadas. Esta opção está disponível apenas para o Collibra.
Planejar
Se você não definir uma programação, a exportação será executada no momento em que você salvar o recurso de exportação da linhagem de dados pela primeira vez. Você pode repetir a exportação manualmente a qualquer momento.
Se você optar por executar a exportação em um horário específico, defina a data e a hora em que deseja que a tarefa seja executada. É possível planejar execuções únicas e recorrentes. Se você agendar uma única execução, a tarefa será executada exatamente uma vez no dia e horário especificados. Se você programar execuções recorrentes, a tarefa será executada pela primeira vez no horário indicado na seção “Recorrência ”.
O nome padrão da tarefa de exportação é data_lineage_export_name. Você pode alterar o nome para se adequar ao seu esquema de nomenclatura. Você pode acessar a tarefa de exportação criada a partir do recurso de exportação da linhagem de dados ou na página Tarefas do projeto.
O que fazer a seguir
Quando estiver pronto, crie um recurso de exportação e inicie a primeira tarefa. Para mais detalhes, consulte “Criação de um recurso de exportação e gerenciamento de tarefas ”.