Monitoramento de execuções de trabalhos de enriquecimento

Visualização dos detalhes da execução do trabalho

Em geral, você pode acessar os detalhes da execução de qualquer trabalho na página Jobs de um projeto:

1. Você pode selecionar o trabalho para o qual deseja revisar as informações e os detalhes da execução nessa página. Se você tiver muitos trabalhos, poderá fazer o escopo da visualização:

   • Tarefas com execuções ativas
   • Execuções ativas
   • Tarefas com execuções concluídas
   • Execuções concluídas

   Você pode restringir ainda mais os resultados da pesquisa para o escopo de visualização selecionado aplicando mais filtros.

2. Clique no nome do trabalho. A página de detalhes do trabalho mostra o número de execuções concluídas e com falha e a programação do trabalho configurada.

3. Selecione uma execução específica e revise os detalhes da execução. Os detalhes de execução a seguir são fornecidos para a execução de um trabalho:

   • O status de execução do trabalho
   • A duração e os horários de início e término
   • Quem começou a corrida
   • Um link para o trabalho associado
   • Um link para o enriquecimento de metadados associado
   • Informações básicas sobre a configuração de enriquecimento:
     • As opções de enriquecimento selecionadas
     • O número de categorias a serem usadas para classe de dados, termo e atribuição de classificação
     • O método de amostragem utilizado
     • Os algoritmos que são usados para a atribuição de termos

   Aqui, você também pode pausar e retomar a execução do trabalho de acordo com qualquer janela de execução de trabalho configurada.

Dependendo do tipo de trabalho, mais informações sobre a execução real são fornecidas nas guias Run metrics (Métricas de execução ) e Log (Registro).

Você também pode acessar os detalhes do trabalho de enriquecimento de metadados mais recente executado a partir do ativo de enriquecimento de metadados. Você pode clicar no link Exibir métricas na seção Detalhes do trabalho no painel de informações ou no link Detalhes da execução do trabalho no painel de detalhes do ativo.

Visualização de métricas de execução

As métricas de execução são fornecidas para trabalhos de enriquecimento de metadados que são executados conforme configurados ou que são executados para a criação avançada de perfis de dados. Na guia Run metrics (Métricas de execução) nos detalhes da execução do trabalho, você pode monitorar o progresso de uma execução ativa do trabalho de enriquecimento de metadados ou verificar as informações de status de uma execução de trabalho concluída.

A seção Resumo mostra o progresso geral do enriquecimento:

• O número total de ativos que são enriquecidos.
• O número de ativos concluídos, em andamento e com falha. Para ativos com falha, é fornecido um link para os detalhes da falha.
• A porcentagem de ativos para os quais o enriquecimento é feito.

As métricas da tarefa Analisar relacionamentos são calculadas de forma diferente das outras métricas da tarefa. Portanto, elas não estão refletidas no resumo.

A seção Objetivos mostra o progresso das opções de enriquecimento individuais na ordem em que são processadas.

Além da barra de progresso do processo geral de cada tarefa de enriquecimento, você pode ver quantos ativos de dados estão em qual status enquanto a tarefa é processada. Com exceção da tarefa Analisar relações, um ativo de dados pode ter esses status:

• In progress: O ativo está sendo processado ou aguardando processamento.
• Completed: A tarefa de enriquecimento foi concluída com êxito para o ativo.
• Skipped: O ativo não foi processado porque uma tarefa de enriquecimento de pré-requisito falhou. Por exemplo, a atribuição de termos pode exigir a criação de perfis, dependendo dos algoritmos selecionados. Durante a criação de perfil, os ativos não podem ter esse status porque a criação de perfil é geralmente a primeira etapa de um processo de enriquecimento.
• Failed: A tarefa de enriquecimento falhou para o ativo. Se a contagem não for zero, você poderá clicar no número para ver detalhes sobre as falhas.

Para o objetivo de enriquecimento Analisar relacionamentos, são mostrados o número total de tarefas, o número de tarefas concluídas e o número de tarefas com erros. O número total de tarefas de análise depende do número de ativos de dados que são analisados. Para cada 1.000 ativos de dados, é criada uma tarefa de análise para calcular as relações potenciais.

Para enriquecimentos pausados, as métricas no painel ficam ocultas durante o tempo da pausa. Ao retomar o enriquecimento, as métricas iniciais refletem o status do enriquecimento no momento em que ele foi pausado. Enquanto a execução de um trabalho está em pausa, o registro pode fornecer informações mais detalhadas sobre o status real do que o painel de métricas.

Para enriquecimentos cancelados, as métricas refletem o status do enriquecimento no momento em que a execução foi cancelada. O resultado real do enriquecimento pode ser diferente das métricas mostradas porque o enriquecimento de ativos com o status " in progress ainda pode ser concluído depois que o trabalho foi cancelado. O fato de o enriquecimento de um ativo em andamento ser cancelado ou concluído depende do status de processamento interno do ativo. O registro pode fornecer informações mais detalhadas sobre o status real do que o painel de métricas.

Compreensão do registro de execução do trabalho

Os registros são fornecidos para todos os tipos de trabalhos de enriquecimento de metadados. Para visualizar o registro de uma execução de trabalho, alterne para a guia Registro na página de detalhes da execução de trabalho. O registro mostra o tipo de trabalho, a ID de execução do trabalho e os detalhes, dependendo das tarefas de enriquecimento.

• A entrada Full metadata enrichment job run (Execução de trabalho de enriquecimento de metadados completo ) ou Delta metadata enrichment job run (Execução de trabalho de enriquecimento de metadados delta ) indica um trabalho de enriquecimento de metadados básico que é executado com as opções de enriquecimento configuradas. Completo significa que o enriquecimento é executado em todos os ativos de dados no escopo ou em um conjunto de ativos de dados selecionado manualmente. Delta significa que são enriquecidos apenas os ativos de dados que foram adicionados ou modificados após a última execução do enriquecimento, ou para os quais o enriquecimento anterior falhou ou foi cancelado. O escopo de dados das repetições determina se um enriquecimento de metadados completo ou delta é executado.

  Para um trabalho de enriquecimento de metadados, são exibidas informações semelhantes às do painel de métricas, como um resumo de ativos e estatísticas para cada tarefa de enriquecimento. Além disso, alguns detalhes sobre o modelo de atribuição de termos usado são incluídos se a atribuição de termos fizer parte do enriquecimento.

  Você pode pausar e retomar execuções desse tipo de trabalho. O registro de execução do trabalho contém uma entrada que mostra a hora de início e de término da pausa. Apenas a última pausa é listada no registro, mesmo que a execução do trabalho tenha sido pausada várias vezes.

• A entrada Execução de trabalho de enriquecimento de metadados de criação de perfil avançado indica um trabalho para gerar resultados de criação de perfil mais precisos. No painel de métricas, esse tipo de execução de trabalho é mostrado como tarefa de dados de perfil.

• A entrada Execução de trabalho de análise de chave indica um trabalho para análise de chave ou de relacionamento. O tipo de análise é identificado por uma dessas entradas:

  • Tarefa de detecção de chave primária<taskID>) do tipo 'pk_deep'
  • Tarefa de detecção de relacionamento de chave estrangeira<taskID>) do tipo 'fk_deep'
  • Tarefa de detecção de chave de sobreposição<taskID>) do tipo 'overlap'

  Nenhuma métrica de execução é fornecida para esse tipo de trabalho.

• A entrada Metadata publish job run (Execução de trabalho de publicação de metadados ) indica um trabalho de publicação.

Se a lista de erros em uma execução de enriquecimento de metadados for excepcionalmente longa, apenas parte do registro de trabalho poderá ser exibida na interface do usuário. Nesse caso, faça o download de todo o registro e analise-o em um editor externo.

Saiba Mais

• Janelas de execução da tarefa