Criação de um recurso de exportação e gerenciamento de tarefas

Crie um recurso de exportação para gerar um arquivo com metadados de linhagem e, se desejar, faça o upload automático para o sistema de destino após a geração do arquivo. Mais tarde, você poderá editar o escopo e o cronograma das exportações.

Pré-requisitos

Collibra

Antes de começar a criar um recurso de exportação de linhagem de dados para o Collibra, certifique-se de que as seguintes tarefas pré-requisitos estejam concluídas:

É criada uma definição de fonte de dados para o sistema de destino.
A configuração necessária do Collibra está concluída.
A instância do Collibra desejada foi criada e configurada.
O mapeamento do Collibra foi criado.
A conexão com o sistema de destino é definida no projeto em que você deseja criar o recurso de exportação.

Para obter mais detalhes sobre a configuração, as instâncias e os mapeamentos do Collibra, consulte Configurando a exportação do Collibra.

OpenLineage

Ao criar um recurso de exportação de linhagem de dados no formato OpenLineage, não há pré-requisitos necessários.

Criação de um recurso de exportação de linhagem de dados

Para criar um recurso de exportação de linhagem de dados e uma tarefa, siga estas etapas:

No projeto, acesse a guia “Ativos ” e clique em “Novo ativo ” > “Exportar metadados de linhagem”.
Especifique um nome e, se desejar, uma descrição e tags.
Selecione o tipo de exportação.
Apenas para Collibra: Selecione a definição da fonte de dados que você usou para criar a instância de destino do Collibra.
Apenas Collibra: Se você deseja enviar a linhagem para o sistema de destino imediatamente após sua geração, ative a opção “Enviar dados para o destino de exportação ”.
1. Apenas Collibra: Selecione a conexão com o Collibra que você criou como uma das tarefas pré-requisitos.
Selecione a definição da fonte de dados da qual você deseja exportar a linhagem.
Na seção “Objetivos de exportação”, selecione o escopo da linhagem a ser exportada. Consulte Metas de exportação.
Apenas Collibra: Selecione um modo de sincronização para processar os ativos que não existem mais no sistema de destino. Consulte o modo de sincronização.
Selecione os níveis de ativos para os quais as relações de linhagem serão exportadas. Consulte o nível de agregação de linhagem.
Decida quando executar a tarefa de exportação. Você pode executá-lo imediatamente ou agendar a tarefa para ser executada em um horário específico.
Verifique o resumo do recurso de exportação e salve as alterações.

Quando o trabalho estiver concluído, um arquivo de exportação será criado e estará pronto para download.

Gerenciamento dos ativos de exportação existentes

Você pode visualizar os recursos de exportação existentes no projeto em que os criou, na guia Recursos. Você pode baixar o arquivo.zip exportado a qualquer momento.

Editando o recurso de exportação

Ao editar o recurso de exportação, não é possível alterar o destino da exportação. Depois de salvar as alterações, é necessário executar manualmente uma nova tarefa para gerar um arquivo de exportação com o conteúdo modificado.

Exclusão do ativo de exportação

Ao excluir o recurso de exportação, a tarefa associada também é excluída. Os dados já carregados no Collibra não são afetados.

Gerenciamento de tarefas de exportação existentes

Você pode visualizar a tarefa de exportação existente no projeto em que criou o recurso de exportação, na guia “Tarefas ”. Cada execução de tarefa pode apresentar um dos seguintes status:

Iniciando: A tarefa foi iniciada.
Executando: O processamento está em andamento.
Concluído: Os dados foram exportados com sucesso e o arquivo exportado está pronto para download. Se você optar por enviar os dados para o Collibra imediatamente após a geração do arquivo, a tarefa será concluída assim que os dados forem enviados para o Collibra.
Failed: O processamento foi interrompido inesperadamente.

As tarefas estão associadas ao recurso de exportação da linhagem de dados e são geradas quando você executa manualmente a tarefa do recurso de exportação ou quando a tarefa é agendada para ser executada em um horário específico. Você pode editar o nome da tarefa, e ela continuará associada ao mesmo recurso de exportação de linhagem de dados.

Arquivos de log

Você pode encontrar os arquivos de log de cada execução de tarefa na página de detalhes da execução da tarefa. Você acessa esta página clicando em uma execução específica de uma tarefa na página de detalhes da tarefa, ou pode clicar no botão “Exibir métricas da execução” na página de detalhes do recurso de exportação para ver os detalhes mais recentes da execução da tarefa.