Diretrizes de configuração e ajuste do IBM InfoSphere DataStage Operations Console

O IBM® InfoSphere® DataStage® O Operations Console é uma ferramenta de monitoramento baseada na web. Ele fornece aos clientes do InfoSphere DataStage e QualityStage uma ampla visão do ambiente operacional dos mecanismos do IBM InfoSphere Information Server, monitorando atividades de tarefas atuais e passadas, uso de recursos do servidor e status de funcionamento dos processos do mecanismo do servidor. O Operations Console pode ser ativado ou desativado no seu sistema. Este artigo fornece orientação sobre configuração e ajuste, explicando como minimizar o efeito sobre o desempenho do Operations Console no sistema. A orientação permitirá aproveitar os muitos recursos úteis do Operations Console com pouco ou mínimo gasto adicional.

Ron Liu, Software Engineer, IBM

Ron LiuRon Liu é um technical lead da equipe de desempenho do IBM InfoSphere Information Server. Seu trabalho se concentra em estudos de desempenho e escalabilidade do servidor IBM InfoSphere Information Server em ambientes em grade e em cluster, teste e ajuste de desempenho do Big Data, metodologia de planejamento de capacidade e desenvolvimento de referência de integração de dados industriais. Antes do emprego atual, ele obteve experiências por sete anos no desenvolvimento de servidores de banco de dados (tempo de execução de federação, wrapper, gateway de consulta, modelo de processo e segurança de banco de dados). Ele possui mestrado em ciência da computação e bacharelado em física.



Sam Moussaoui, Software Engineer, IBM

Sam MoussaouiSam Moussaoui é um software engineer da equipe de desempenho do IBM InfoSphere Information Server. Seu foco principal é melhorar o desempenho de produtos do Information Server liderando diversos estudos e testes de desempenho, ajustes, planejamento de capacidade, etc. Atualmente, ele está em uma designação de rotação de um ano com a equipe de concierge do Information Server, ajudando os clientes a atualizar para a versão mais recente do InfoSphere Information Server.



Chun Hua Sun, Software Engineer, IBM

Chun Hua SunChun Hua Sun é um software engineer do Laboratório de Desenvolvimento da IBM China em Pequim. Seu trabalho se concentra na execução de testes e ajustes de desempenho para os produtos do IBM InfoSphere Information Server. Antes do trabalho atual, Chun Hua adquiriu experiência por dois anos em testes de verificação de sistema. Chun Hua publicou vários artigos no IBM developerWorks, em chinês, abrangendo tópicos sobre ferramentas de testes de software livre, tecnologias de automação de testes, monitoramento de desempenho e otimização de sistema.



26/Jul/2012

Visão geral do Operations Console

  • Valor
  • Componentes do ambiente do InfoSphere Information Server
  • Caracterização de desempenho
  • Fatores que afetam o desempenho
  • Orientação de ajustes para minimizar o impacto sobre o desempenho
  • Monitoramento do funcionamento do banco de dados
  • Planejamento de capacidade
  • Conclusão
  • Agradecimentos

Valor

O Operations Console fornece uma visualização detalhada e histórica e uma verificação completa de funcionamento do sistema do ambiente operacional do InfoSphere Information Server. O Operations Console fornece:

  • Uma visualização de alto nível da atividade do tempo de execução da tarefa em um período configurável
  • A capacidade de comparar informações de tempo de execução entre tarefas
  • Uma visualização configurável dos recursos do sistema operacional
  • Filtragem de visualização de projeto
  • Visualização em resumo e detalhada de tarefas e execuções de tarefas
  • Alertas visuais de falhas na execução da tarefa
  • Limites de alerta configuráveis
  • Capacidade de analisar a atividade de execução de tarefa
  • Visualização do consumo de recursos em todo o mecanismo
  • Análise de execução da tarefa de desempenho e comparação de log

O Operations Console usa um banco de dados relacional que registra todas as informações operacionais do InfoSphere DataStage, permitindo aos usuários monitorar e entender o desempenho do ambiente do InfoSphere DataStage. Está disponível um demo do Operations Console (veja Recursos).


Componentes do ambiente do InfoSphere Information Server

Antes de começar a ajustar o Operations Console, vejamos como ele funciona. A Figura 1 mostra os principais componentes do Operations Console destacados em azul conforme existem no ambiente do Information Server.

Figura 1. Componentes do Operations Console no ambiente do Information Server
Componentes do Operations Console no ambiente do Information Server

Conforme mostrado, o Operations Console inclui arquitetonicamente o Operations Database, um cliente baseado na web e componentes integrados à camada de mecanismo e de serviços do InfoSphere Information Server. O Operations Database armazena os dados operacionais e permite a atualização e a consulta desses dados. Os componentes do Operations Console na camada de mecanismo incluem:

  • Verificador de status de serviço para monitoramento do status e do funcionamento dos processos de monitoramento
  • Monitor de eventos de tarefa para coletar e agregar estatísticas da tarefa e logs de eventos de tempo de execução, além de atualizar o Operations Database
  • Monitor de recursos do sistema para monitoramento da utilização desses recursos (CPU, memória, disco, etc.) e atualização do Operations Database
  • Serviços de consulta do Operations Database

Os componentes do Operations Console na camada de serviços incluem serviços de consulta do Operations Database. O componente do Operations Console na camada de cliente inclui o cliente baseado na web do Operations Console.

As principais operações do Operations Console podem ser categorizadas em operações de carregamento e consulta. No caso das operações de carregamento, quando o Operations Console está ativado, o sistema coleta e agrega detalhes de execução de tarefas (parâmetros, status, estatísticas, logs, etc.) e informações de utilização de recursos do sistema (CPU, memória, disco, etc.) e, depois, as insere no Operations Database periodicamente em intervalos curtos. No caso de operações de consulta, ao usar o cliente baseado na web para, por exemplo, monitorar as execuções de tarefas ou visualizar o histórico de execução da tarefa, as consultas são enviadas ao Operations Database e as informações são recuperadas usando serviços na camada de serviços. Para apoiar essas operações, o Operations Console exige recursos de sistema adicionais (CPU, memória, E/S) na camada de mecanismo, na camada de serviços e no servidor do Operations Database. Contudo, os requisitos de recursos do sistema não se aplicam de forma igual a todas essas camadas (veja o planejamento de capacidade na seção do Operations Console mais adiante neste artigo para obter detalhes).


Desempenho

A Figura 2 mostra o impacto sobre o desempenho do Operations Console no InfoSphere DataStage com as definições de configuração padrão. A figura mostra a proporção de gasto adicional de rendimento de tarefas com e sem o Operations Console.

Figura 2. Impacto sobre o desempenho do Operations Console em comparação com a utilização de CPU pelo sistema
Impacto sobre o desempenho do Operations Console em comparação com a utilização de CPU pelo sistema

O teste de desempenho foi realizado em um ambiente em cluster do InfoSphere DataStage composto de quatro nós (computadores), cada qual com quatro CPUs. Os resultados de teste se basearam nas configurações padrão do Operations Console, executando 10 sessões da web. O design de expansão do mecanismo do InfoSphere Information Server permite que as tarefas sejam executadas em diversos computadores. Um desses computadores é designado como nó primário, ou nó principal. Esse nó primário é aquele com o qual os clientes do Information Server validam as credenciais do mecanismo. Também é nele que o código do Operations Console na camada de mecanismo é executado.

Como mostrado na Figura 2, o Operations Console tem impacto insignificante no desempenho do InfoSphere DataStage quando a utilização da CPU do nó primário está abaixo de 90%. Embora o Operations Console utilize alguns recursos da CPU, isso corresponde a menos de 10% e, portanto, não afeta o desempenho de tarefas quando há reserva de recursos de CPU disponível no nó primário. Contudo, quando a carga de trabalho força a utilização de CPU do nó primário para um nível acima de 90%, o gasto adicional do Operations Console resulta em certo efeito sobre o desempenho das tarefas. O rendimento da tarefa diminui constantemente e pode ficar 10% pior quando a CPU é totalmente utilizada. Note que, para diferentes modelos de servidor e configurações de mecanismo do InfoSphere Information Server (em execução em um único computador, um cluster ou uma grade), o limite de utilização de CPU antes de se ver um efeito do Operations Console pode variar. Contudo, esse limite em geral é bem alto e o gasto adicional do Operations Console foi insignificante em vários cenários de teste.


Fatores que afetam o desempenho

Como mostrado na Figura 2, a configuração padrão do Operations Console resulta em um gasto adicional insignificante para o desempenho, exceto ao ultrapassar o limite de utilização de CPU no nó primário. Há alguns fatores que afetam o grau de impacto do Operations Console sobre o desempenho do tempo de execução do InfoSphere Information Server:

  • O número de sessões da web do Operations Console e seus intervalos de atualização
  • A frequência de coleta dos dados de monitoramento
  • A quantidade de dados de monitoramento a coletar
  • O intervalo de tempo de atualização do Operations Database

O número de sessões da web não pode ser configurado, mas os outros fatores de desempenho são controlados por parâmetros de configuração. A lista completa de parâmetro que é possível configurar se encontra no arquivo de configuração <Installation_Directory>/Server/DSODB/DSODBConfig.cfg. A Tabela 1 mostra a lista de parâmetros de configuração.

Tablela 1. Parâmetros em DSODBConfig.cfg
ParâmetrosDescriçãoPadrão
MaxWarningsNúmero máximo de mensagens de aviso a serem enviadas ao Operations Database para cada execução da tarefa. 10
UpdateIntSecsO intervalo em segundos entre eventos sucessivos que atualizam as estatísticas de execução gerais. 10 s
TraceMaxO número máximo de linhas a serem gravadas no arquivo de rastreio quando o rastreio estiver ativado. desativado
JobRunCheckIntervalO intervalo, em minutos, para validação automática das tarefas atualmente em execução. 60 min
JobRunUsageDefine se os dados de uso do recurso de execução da tarefa são coletados.ativado
JobRunAggSnapsO número de valores de captura instantânea incluídos em uma única linha antes de uma nova linha ser iniciada. 15
ResourceMonitorDefine se os dados de recurso do sistema são coletados.ativado
ResourcePollPeriodA frequência, em segundos, em que é obtida uma captura instantânea do recurso.10 s
ResourceSampleSizeO número de capturas instantâneas obtidas antes que um registro agregado desses valores seja armazenado. 6
ResourceAllAggregatedUsageDefine se os dados de uso de recurso sempre devem ser armazenados (ativado) ou se esses dados devem ser armazenados apenas quando há uma atividade de tarefa (desativado). ativado
ResourceAggRunPollPeriodO número de capturas instantâneas agregadas que são automaticamente armazenadas antes e depois de uma atividade de tarefa ser detectada quando ResourceAllAggregatedUsage está desativado.10
ResourceAggNonRunPollPeriodA frequência, em minutos, de verificação quanto a se há atividade de tarefa quando o ResourceAllAggregatedUsage está desativado.1 min

O limite de impacto de desempenho da Figura 2 pode ser movido para a esquerda ou para a direita se a configuração do sistema de algum desses parâmetros for alterada. Por exemplo, se a configuração do sistema for alterada acrescentando mais CPUs, a porcentagem de consumo de CPU pelos serviços do Operations Console será relativamente menor e o impacto sobre o desempenho do Operations Console será menor e, portanto, o limite da Figura 2 será deslocado para a direita. É possível até minimizar adicionalmente o consumo de recursos do Operations Console alterando alguns parâmetros de configuração. Dois fatores importantes que afetam o desempenho do Operations Console são o intervalo de atualização e o número de sessões da web de usuário do Operations Console.

A Figura 3 descreve a utilização de CPU dos serviços do Operations Console no nó primário em intervalos de atualização (parâmetro UpdateIntSecs) de coleta de informações e carregamento do Operations Database. A imagem mostra três intervalos de atualização: 2 segundos, 5 segundos e 10 segundos.

Figura 3. Consumo de CPU do Operations Console em diferentes intervalos de atualização
Consumo de CPU do Operations Console em diferentes intervalos de atualização

Como mostrado, com a carga de trabalho específica (executando cerca de 40.000 tarefas por dia, atendendo a 10 sessões da web do Operations Console) e em execução em computadores específicos, quando o intervalo de atualização é de 2 segundos, os serviços do Operations Console consomem cerca de 16% da CPU. Mas se o intervalo de atualização for ampliado, esses processos consomem menos CPU — cerca de 12% da CPU com o intervalo de 5 segundos e apenas por volta de 9% da CPU com intervalo de 10 segundos.

A Figura 4 mostra o efeito sobre o desempenho de variar o número de sessões da web do Operations Console. O número de sessões varia de 10 até 1, e o ponto de dados adicional mostra o desempenho quando o Operations Console é desligado.

Figura 4. Efeito do Operations Console sobre o rendimento ao variar o número de sessões da web do Operations Console
Efeito do Operations Console sobre o rendimento ao variar o número de sessões da web do Operations Console

Como mostrado, com a carga de trabalho específica (a utilização da CPU atinge 97% da capacidade total da CPU no nó primário), com menos sessões da web do Operations Console, o efeito sobre o desempenho do Operations Console se torna menos óbvio, de um impacto de cerca de 7% sobre o rendimento com 10 sessões da web do Operations Console para apenas 1% com uma sessão da web do Operations Console.

O Operations Console não tem efeitos sobre o desempenho do InfoSphere Information Server se houver capacidade suficiente sobrando para o Operations Console ser executado no mecanismo do InfoSphere Information Server. Mas o impacto sobre o desempenho do Operations Console pod e começar a aparecer quando o servidor está sobrecarregado e é atingido o limite. Dependendo de como o Operations Console é configurado, seu impacto sobre o desempenho pode variar. O efeito é relativamente menos óbvio se o Operations Console for configurado para coletar quantidades menores de dados de monitoramento, inserir ou atualizar o Operations Database com menos frequência ou suportar menos sessões da web do Operations Console.


Orientação de ajuste para minimizar o impacto sobre o desempenho

Conforme mencionado, o Operations Console pode afetar o desempenho das tarefas quando o mecanismo do InfoSphere Information Server está sobrecarregado. Quando ocorre esse impacto sobre desempenho, é necessário fazer um ajuste mais preciso do Operations Console. Como plataforma de integração de informações de alto desempenho, o InfoSphere Information Server inclui um mecanismo eficiente e escalável projetado para utilizar de forma agressiva os recursos de sistema disponíveis (por exemplo, CPU e memória) quando necessário. Não é incomum ver o InfoSphere DataStage empurrar a utilização da CPU para um nível muito alto (mais de 90%), ao executar algumas cargas de trabalho. Nesses cenários, o Operations Console pode afetar o desempenho das tarefas. É possível configurar vários parâmetros de ajuste para tornar o efeito sobre o desempenho menos perceptível.

Pode-se fazer ajuste em operações de consulta e de carregamento. No caso de operações de consulta, para tornar o efeito do Operations Console menos perceptível, mude o intervalo de atualização do web client do Operations Console para um valor mais alto ou encerre sessões desnecessárias do Operations Console que consultam periodicamente o Operations Database mesmo que os usuários não interajam ativamente com o cliente. No caso de operações de carregamento, embora as configurações padrão dos parâmetros no arquivo DSODBConfig.cfg sejam consideradas ideais, é possível explorar a configuração de um ou mais parâmetros para reduzir a quantidade de dados de monitoramento a ser coletada ou a frequência de atualização do Operations Database. A Tabela 2 alista esses parâmetros ajustáveis.

Tablela 2. Parâmetros ajustáveis no arquivo DSODBConfig.cfg
ParâmetrosAções e resultado
MaxWarningsA redução do número resultará em menos dados serem coletados.
UpdateIntSecsO aumento do número resultará em frequência menor de atualização.
TraceMaxSe estiver ativado, a redução do número reduzirá o custo de gravação no arquivo de rastreio.
JobRunCheckIntervalO aumento do número reduzirá a porcentagem do tempo gasto validando as tarefas em execução.
JobRunUsageDesativar essa opção resultará em menos dados serem coletados.
JobRunAggSnaps aumento do número resultará em menos dados serem coletados.
ResourceMonitorDesativar essa opção resultará em menos dados serem coletados.
ResourcePollPeriod aumento do número resultará em menos dados serem coletados.
ResourceSampleSize aumento do número resultará em menos dados serem coletados.
ResourceAllAggregatedUsageDesativar essa opção resultará em menos dados serem coletados.
ResourceAggRunPollPeriodSe ResourceAllAggregatedUsage estiver desativado, diminuir o número resultará em menos dados serem coletados.
ResourceAggNonRunPollPeriodSe ResourceAllAggregatedUsage estiver desativado, aumentar o número resultará em menos dados serem coletados.

Monitoramento do funcionamento do banco de dados do Operations Database

Além de configurar com cuidado os parâmetros de configuração do Operations Console, deve-se também monitorar o Operations Database para garantir que haja recursos do sistema suficientes para suportar o servidor de banco de dados e que o banco de dados esteja funcionando bem.

Deve-se executar ferramentas de monitoramento do sistema, como nmon, iostat, vmstat e mpstat, para confirmar que não há gargalo na E/S e na memória do servidor onde o Operations Database está em execução e que a CPU não esteja no limite da capacidade. Preste muita atenção ao tempo de execução da consulta dinâmica e ao uso dos espaços de tabela no Operations Database. O desempenho da execução de consulta dinâmica no Operations Database tem impacto direto e dominante sobre o tempo de resposta do web client no Operations Console. O monitoramento da execução de consulta dinâmica no Operations Database é o primeiro passo para diagnosticar operações lentas.

Para obter uma captura instantânea da execução de consulta dinâmica no Operations Database, pode-se usar o utilitário de captura instantânea do DB2® , por exemplo, usando o comando db2 get snapshot for dynamic sql on dsodbdb, onde dsodbdb é o Operations Database. Ou pode-se usar a ferramenta de monitoramento db2top para exibir dinamicamente o desempenho das consultas dinâmicas no Operations Database, por exemplo, usando o comando db2top —d dsodbdb, onde dsodbdb é o Operations Database, e depois selecionando a opção D para exibir as consultas dinâmicas. A Figura 5 mostra a saída para consultas dinâmicas no Operations Database. (Discussões sobre ajustes de consultas estão fora do escopo deste artigo. Contudo, é possível seguir os guias de ajuste de consulta do fornecedor específico do produto de banco de dados para executar o ajuste de consulta, se necessário.)

Figura 5. Consultas dinâmicas no Operations Database
Consultas dinâmicas no Operations Database

Outra área de interesse é o padrão de uso dos espaços de tabela do Operations Database. Ele lhe dará uma boa ideia de quanto espaço em disco será necessário com suas cargas de trabalho do InfoSphere DataStage e com as configurações do Operations Console. O padrão de uso dos espaços de tabela pode ser calculado com duas capturas instantâneas consecutivas com um dia, uma semana ou outro intervalo entre elas. Pode-se calcular a taxa de uso com base na diferença das duas capturas instantâneas consecutivas e projetar quanto armazenamento em disco será necessário. Uma forma fácil de obter uma captura instantânea do uso de espaço de tabela é se conectar ao Operations Database e executar o comando db2 list tablespaces show detail. A Figura 6 mostra a saída desse comando.

Figura 6. Saída de espaço de tabela para o Operations Database DSODB
Saída de espaço de tabela para o Operations Database DSODB

Planejamento de capacidade

Como já mencionado, a ativação do Operations Console exige recursos adicionais do sistema. Alocar recursos de hardware suficientes para o Operations Console é uma medida importante para minimizar o efeito sobre o desempenho do sistema que pode ocorrer. A Tabela 3 mostra os requisitos mínimos de hardware para cada camada.

Tablela 3. Requisitos de hardware para o Operations Console
Mecanismo do InfoSphere Information ServerCamada de serviçosServidor de banco de dados que serve de host para o Operations Database
CPU (baseado em um núcleo de CPU de um IBM x3650 M3 7945/82Y X5690 ou equivalente) 0,250,251
Memória (GB)0,40,42
Disco (GB)0,2N/A5 + 0,5 para cada 10.000 execuções de tarefas
ComentáriosA memória é para a configuração padrão do Operations Console (ou seja, 384 MB no máximo de tamanho de heap Java™ ). O requisito de armazenamento em disco para o DataStage armazenar alguns arquivos temporários de vida muito curta que são removidos depois.O requisito de memória é para aumentar o heap Java máximo do WebSphere® Application Server a fim de manipular a carga adicional incorrida pelos serviços para o Operations Console.Os requisitos do sistema já incluem a instalação do DB2 para Linux®, UNIX® e Windows®.

O Operations Database pode ser colocado em um computador dedicado. Ou, se houver recursos do sistema suficientes na camada do repositório de metadados, o Operations Database pode ser colocado na mesma instância de banco de dados do repositório de metadados. Contudo, não recomendamos colocar o Operations Database na camada de mecanismo quando esta estiver instalada em seus próprios computadores para consideração de desempenho.


Conclusão

Este artigo demonstra como o IBM InfoSphere DataStage Operations Console funciona e trata de fatores de desempenho que afetam o impacto sobre os recursos do Operations Console. O e feito sobre o desempenho do Operations Console pode ser insignificante se o mecanismo do InfoSphere Information Server tiver reserva de CPU suficiente para executar o Operations Console. Mas se o servidor ficar sobrecarregado, o efeito sobre o desempenho pode se tornar perceptível. Este artigo fornece diretrizes para minimizar esses efeitos sobre o desempenho. Além disso, ele trata de como monitorar o banco de dados de operações e quanto armazenamento em disco é necessário para armazenar as informações de monitoramento com as cargas de trabalho. Por fim, o artigo fornece informações sobre planejamento de capacidade para o Operations Console. Em conclusão, com recursos do sistema suficientes alocados e com o ajuste adequado, quando necessário, é possível executar o Operations Console de forma a aproveitar muitos de seus recursos úteis com gasto adicional mínimo ou insignificante

Agradecimentos

Muito obrigado aos contribuidores que forneceram informações de valor, editaram e revisaram este documento:

  • Sriram Padmanabhan, distinguished engineer e arquiteto principal, InfoSphere Servers
  • Len Greenwood, arquiteto do Information Server do DataStage e de componentes relacionados
  • Tony Curcio, gerenciamento do produto InfoSphere
  • Kiran Surapaneni, gerenciamento do produto InfoSphere
  • Mi Wan Shum, gerente, desempenho do InfoSphere Information Server

Recursos

Aprender

Obter produtos e tecnologias

  • Crie seu próximo projeto de desenvolvimento com o Versão de teste do software IBM, disponível para download diretamente no developerWorks.
  • Agora é possível usar o DB2 gratuitamente. Faça o download do DB2 Express-C, uma versão gratuita do DB2 Express Edition para a comunidade que oferece os mesmos recursos de dados centrais que o DB2 Express Edition e fornece uma base sólida para desenvolver e implementar aplicativos.
  • Avalie os produtos IBM da maneira que for melhor para você: faça download da versão de teste de um produto, avalie um produto online, use-o em um ambiente de nuvem ou passe algumas horas no SOA Sandbox para saber como implementar arquitetura orientada a serviço (SOA) de maneira eficiente.

Discutir

Comentários

developerWorks: Conecte-se

Los campos obligatorios están marcados con un asterisco (*).


Precisa de um ID IBM?
Esqueceu seu ID IBM?


Esqueceu sua senha?
Alterar sua senha

Ao clicar em Enviar, você concorda com os termos e condições do developerWorks.

 


A primeira vez que você entrar no developerWorks, um perfil é criado para você. Informações no seu perfil (seu nome, país / região, e nome da empresa) é apresentado ao público e vai acompanhar qualquer conteúdo que você postar, a menos que você opte por esconder o nome da empresa. Você pode atualizar sua conta IBM a qualquer momento.

Todas as informações enviadas são seguras.

Elija su nombre para mostrar



Ao se conectar ao developerWorks pela primeira vez, é criado um perfil para você e é necessário selecionar um nome de exibição. O nome de exibição acompanhará o conteúdo que você postar no developerWorks.

Escolha um nome de exibição de 3 - 31 caracteres. Seu nome de exibição deve ser exclusivo na comunidade do developerWorks e não deve ser o seu endereço de email por motivo de privacidade.

Los campos obligatorios están marcados con un asterisco (*).

(Escolha um nome de exibição de 3 - 31 caracteres.)

Ao clicar em Enviar, você concorda com os termos e condições do developerWorks.

 


Todas as informações enviadas são seguras.


static.content.url=http://www.ibm.com/developerworks/js/artrating/
SITE_ID=80
Zone=Information Management
ArticleID=827380
ArticleTitle=Diretrizes de configuração e ajuste do IBM InfoSphere DataStage Operations Console
publish-date=07262012