Armazenamento e persistência de métricas

DataStage® registra várias informações sobre execuções de trabalhos, que podem ser visualizadas nas telas de detalhes de execução de trabalhos e métricas de execução. As métricas também podem ser armazenadas por um período mais longo, configurando um repositório de métricas em um banco de dados.

As informações registradas sobre execuções de trabalho incluem:

informações sobre a execução do trabalho, como nome e hora de início/parada,
informações sobre o estágio e o link, como as linhas lidas/gravadas para cada estágio e link,
outras informações, como os valores dos parâmetros de uma execução.

Com o serviço ds-metrics , você pode configurar o armazenamento de métricas no nível do projeto para todos os seus DataStage fluxos. Embora as métricas sejam ativadas por padrão para seus fluxos, você deve ativar manualmente as métricas persistentes em um nível de projeto. Para obter mais informações sobre a visualização da execução e das métricas do trabalho, consulte Visualização de detalhes da execução do trabalho e métricas de execução.

Pré-requisito

IBMDataStage suporta o envio dos DataStage dados de métricas para um banco de dados de métricas separado. PostgreSQL é o banco de dados designado para armazenar métricas, oferecendo uma solução leve que não se destina a ser um armazenamento de dados operacionais. Ele permite que os usuários executem suas próprias consultas para obter insights sobre o desempenho no trabalho. Dependendo das preferências do cliente, o banco de dados PostgreSQL pode ser hospedado no mesmo Cloud Pak for Data ambiente, operado em uma máquina virtual ou gerenciado em um serviço PostgreSQL.

Criando uma conexão

Para ativar as métricas do repositório, você precisa abrir o projeto e clicar na guia Gerenciar. No painel do lado esquerdo, clique em DataStage. Depois disso, clique na guia Repositório. Clique na opção Enable persisting metrics (Ativar métricas persistentes ). Em seguida, você precisa fornecer suas credenciais para estabelecer uma conexão. Especifique um tipo de conexão, configure as propriedades e os detalhes de segurança e teste a conexão para verificar se ela funciona. Clique no botão Save (Salvar ) na parte superior da página.

Para ativar as métricas do repositório no nível do projeto, certifique-se de criar um fluxo após salvar a conexão. Depois que as métricas do repositório forem ativadas para um trabalho específico, elas não estarão disponíveis para nenhum outro trabalho por padrão. Para ativar as métricas para trabalhos adicionais, você deve recompilar e executar novamente cada trabalho individualmente. Para verificar se as métricas do repositório estão ativas, examine os logs do trabalho após a execução. O parâmetro DSMetricsRepoEnabled deve ser configurado como True

Você deve usar um banco de dados limpo ou aquele que foi inicializado anteriormente pelo site ds-metrics. Para garantir que um banco de dados esteja limpo e para limpar todos os dados anteriores do ds-metrics , execute os seguintes comandos.

drop schema if exists ds_metrics cascade;
drop table if exists public.databasechangelog;
drop table if exists public.databasechangeloglock;

Para usar um banco de dados com ds-metrics, o usuário do banco de dados deve ter permissão para criar esquemas no banco de dados e permissão para criar tabelas no esquema public . Para verificar se há permissões para criar tabelas e esquemas, faça login no banco de dados e execute a seguinte consulta como o mesmo usuário que requer as permissões.

select has_database_privilege(current_database(), 'create'), has_schema_privilege('public', 'create');

se você tiver permissões para criar esquema e criar tabela, a consulta retornará

true,
true

Retenção de métricas

O campo Metrics retention (Retenção de métricas ) controla com que frequência, e se for o caso, o site ds-metrics remove dados antigos do banco de dados. Se você ativar a opção Limite máximo, poderá escolher entre as configurações Dias ou Execuções. Por exemplo, se você definir 30 dias, o metrics excluirá todas as informações relacionadas ao trabalho e a todas as suas execuções quando um trabalho tiver mais de 30 dias. Se você definir 100 execuções, o Metrics manterá as 100 execuções mais recentes e excluirá as mais antigas. O campo Retenção de métricas aplica-se somente aos dados de métricas relacionados ao projeto no qual as configurações estão ativadas. Se o banco de dados for compartilhado com outro projeto, as configurações de retenção não afetarão os dados desse projeto.

Depois de salvar as configurações de conexão, o site ds-metrics é acionado para limpar o cache de conexão. Quando você executa um trabalho no projeto, o site ds-metrics se conecta ao banco de dados pela primeira vez. Depois que uma conexão é feita, ele preenche o esquema ds-metrics depois que ele é inicializado ou o migra se o esquema no banco de dados for uma versão mais antiga.

Estrutura do banco de dados

No banco de dados de métricas, a maioria das tabelas está no esquema ds-metrics . public.databasechangelog e public.databasechangeloglock são tabelas internas extras no esquema público que são usadas para rastrear as versões do esquema do banco de dados.

Esquemas de tabela

Tabela 1.
Esquema da tabela	Descrição	Parâmetros
métricas_do_disco	Armazena métricas de tamanho de disco ao longo do tempo.	pod_id registro de data e hora mount_point espaço_restante
disco_pod	Armazena informações sobre os discos montados nos pods.	pod_id mount_point tamanho
metricas_pod	Armazena métricas de CPU e memória ao longo do tempo.	pod_id registro de data e hora uso do núcleo memory_usage
métricas do link de execução do trabalho	Armazena métricas para links em uma execução de trabalho enquanto um trabalho está em execução.	ID da execução nome_do_link origem dest estado hora_da_última_atualização start_time hora de parada rows_read linhas_gravadas total_linhas duração
registro de execução de trabalho	Armazena linhas de registro não informativas de uma execução de trabalho quando ela termina.	ID da execução índice_de_eventos registro_de_data_e_hora LOG_LEVEL MESSAGE_ID Message_Text
parâmetro_de_execução_do_trabalho	Armazena parâmetros para uma execução de trabalho quando uma execução de trabalho é iniciada.	ID da execução nome tipo valor
métricas do estágio de execução do trabalho	Armazena métricas para estágios em uma execução de trabalho enquanto um trabalho está em execução.	ID da execução nome_do_estágio tipo_de_palco estado hora_da_última_atualização start_time hora de parada duração rows_read linhas_gravadas estágio_segundos_cpu TOTAL_MEMORY num_partições contagem_de_linhas_de_partição
instância	Armazena informações sobre as instâncias do px-runtime.	instance_id create_time hora_da_última_atualização descrição versão_de_execução trabalhos_na_fila trabalhos_em_execução trabalhos_concluídos trabalhos_falharam
conjunto	Armazena informações sobre o condutor px-runtime e os pods de computação.	pod_id instance_id ID do módulo principal create_time limite_núcleo memory_limit
jub_run	Armazena informações sobre a execução do trabalho enquanto um trabalho está em execução.	ID da execução JOB_NAME hora_da_última_atualização start_time hora de parada duração Run_Status status_do_usuário queue_Name partição arquivo_de_configuração instance_id iD do controlador condutor_pid create_time planejado
tarefa	Armazena informações sobre o trabalho quando uma execução de trabalho é iniciada.	job_id flow_id project_id JOB_NAME nome_do_fluxo project_name tipo create_time
versão	Armazena a versão do `ds-metrics` que inicializou o banco de dados pela última vez, a menos que o banco de dados tenha sido configurado manualmente.	versão