Importação, exportação e atualização de dados no Rational Focal Point

Visão geral de vários métodos para trabalhar com um grande volume de dados complexos

A importação, exportação e atualização de grandes volumes de dados são operações importantes, mas que consomem muitos recursos, no IBM Rational Focal Point. Este artigo fornece uma visão geral de vários métodos e diretrizes a serem seguidos durante essas operações.

Karthikeyan Dakshinamurthy, Senior Software Engineer, IBM China

author photoKarthikeyan Dakshinamurthy é arquiteto de integração na equipe de desenvolvimento do Rational Focal Point em Bangalore, Índia. Ele liderou os esforços de design e desenvolvimento para integrações do Rational Focal Point com os aplicativos do Rational Collaborative Lifecycle Management. Sua formação diversa e ampla experiência incluem seu trabalho em TI como desenvolvedor, líder de equipe e arquiteto de software em uma variedade de produtos IBM Rational.


nível de autor Contribuidor do
        developerWorks

Sreejith Nishanth, Advisory Software Engineer, IBM

Author1 photoSreejith Nishanth é desenvolvedor líder na equipe de desenvolvimento do Rational Focal Point em Bangalore, Índia. Ele está nessa equipe há cinco anos. Nessa função, ele lidou com muitos problemas de desempenho de clientes e produtos. Ele também está contribuindo como o líder de globalização do Rational Focal Point.



06/Ago/2012

Introdução

O IBM® Rational® Focal Point™ o ajuda a tomar decisões baseadas em valor para o gerenciamento de projetos, produtos e portfólios. Este artigo fornece uma visão geral abrangente das melhores práticas das várias técnicas de importação, atualização e exportação de dados disponíveis no Rational Focal Point. Ele será muito útil para os leitores que estão procurando mais informações antes de decidir qual técnica de importação e exportação é mais adequada às suas necessidades e que etapas de otimização estão disponíveis durante as operações de importação e exportação.


Modelo de dados externos

O modelo de dados do Rational Focal Point contém estes elementos (consulte também a Figura 1):

  • Servidores, que são instâncias de servidor do Rational Focal Point que contêm um conjunto de áreas de trabalho e dados para usuários globais.
  • Áreas de trabalho, que contêm uma coleção de módulos relacionados.
  • Módulos, que são usados para definir os elementos como definições de atributo. Os módulos contêm um conjunto de elementos.
  • Elementos, que contêm um conjunto de valores de atributo.
  • Visualizações, que são um subconjunto selecionado de elementos e atributos em um módulo.
Figura 1. Modelo de dados externos de alto nível do Rational Focal Point
Modelo de dados externos de alto nível do Rational Focal Point

Opções de importação, exportação e atualização disponíveis

São os seguintes os tipos de recursos disponíveis, baseados nos formatos usados:

  • Importação e exportação usando o formato XML
  • Importação, exportação e atualização usando o formato Microsoft Excel
  • Importação, exportação e atualização usando REST (Rational Focal Point 6.5.2 e posterior) configurável
  • Importação, exportação e atualização usando APIs REST

Importação e exportação usando o formato XML

A exportação e importação de todos os tipos de atributos do Rational Focal Point são completamente suportadas no formato XML. Uma área de trabalho ou um módulo podem ser exportados individualmente ou importados usando um formato XML. A importação XML cria uma nova área de trabalho ou um módulo. Em outras palavras, não é possível usar uma importação XML para atualizar uma área de trabalho ou módulo existente. Três opções estão disponíveis para determinar o conteúdo da exportação:

  • Exportação integral: A área de trabalho completa será exportada, incluindo todos os elementos, logs de histórico e as configurações dos atributos.
  • Exportação limitada: O arquivo exportado é um arquivo compactado que contém os módulos no formato XML e os anexos como arquivos simples.
  • Exportação de configuração do atributo: Somente a pasta superior e a configuração do atributo serão exportadas. Os elementos e o log do histórico serão excluídos.
Figura 2. Página de exportação da área de trabalho XML no Rational Focal Point
Página de exportação da área de trabalho XML no Rational Focal Point

Visualização maior da Figura 2.

O uso mais comum desse tipo de operação de exportação e importação é migrar a área de trabalho ou o módulo de um ambiente de teste para um ambiente de produção, ou de uma instância de banco de dados para outra. O arquivo exportado é um arquivo compactado que contém os módulos no formato XML e os anexos como arquivos simples.

O arquivo XML da área de trabalho do Rational Focal Point já exportado pode ser importado como uma nova área de trabalho do Rational Focal Point selecionando General > Workspaces (consulte a Figura 3), e usando o botão de comando ImportWorkspace .

Figura 3. Página da área de trabalho de importação XML no Rational Focal Point
Página da área de trabalho de importação XML no Rational Focal Point

Visualização maior da Figura 3.

Importação, exportação e atualização usando o formato Microsoft Excel

Esse método é normalmente usado para importar qualquer dado de planilha que é gerenciado fora do Rational Focal Point para o Rational Focal Point para permitir atualizações limitadas offline de elementos ou para gerar um relatório usando o formato Microsoft Excel. Coleções de elementos podem ser exportadas, importadas ou atualizadas usando esse método. Uma interface com o usuário para importação está disponível para escolha das opções de seleção e configuração do mapeamento em nível de coluna entre os dados de entrada e os elementos de destino no Rational Focal Point.

Figura 4. Página de configuração de importação do módulo Excel
Página de configuração de importação do módulo Excel

Visão ampliada da Figura 4.

Observação:
as operações de importação que usam o formato Microsoft Excel não suportam o atributo tipo de links .

Importação, exportação e atualização usando REST configurável

O Rational Focal Point 6.5.2 pode ser configurado como um cliente REST para recuperar dados de aplicativos da web externos que suportam a API REST. Usando esse recurso, é possível recuperar um único arquivo ou uma coleção de recursos externos e mapear os dados para criar elementos do Rational Focal Point ou para atualizar os existentes. É possível usar a interface com o usuário para definir o mapeamento de valores de dados de entrada para atributos de elementos. Esse recurso também suporta compor XML usando valores de atributo de elementos selecionados e usando o conteúdo para atualizar os sistemas externos.

Importação, exportação e atualização usando APIs REST

O Rational Focal Point 6.4.0 e versões mais recentes suportam a API REST XML, que pode ser usada para recuperar ou atualizar elementos do Rational Focal Point como dados XML. O Rational Focal Point 6.5.2 e versões mais recentes suportam a API REST Resource Description Framework (RDF, que pode ser usada para recuperar ou atualizar elementos do Rational Focal Point como arquivos RDF. Siga o link para a Referência da API do Rational Focal Point na seção Recursos para obter mais detalhes.


Desafios com a importação e atualização de grandes volumes de dados XML

Importar um grande volume de dados no formato XML é uma operação que consome muitos recursos. A complexidade e o tempo que leva a importação dependem do volume de dados, além do número de links e do número de expressões usados nos dados que você está importando. Durante a importação, é provável que outros usuários experimentem alguma lentidão em suas operações. Em algumas situações, a lentidão continua mesmo após a operação de importação ter sido concluída com êxito. Isso pode acontecer se os dados forem complexos e acionam muitas expressões. Essas expressões são manipuladas em segundo plano, portanto, até que essas operações de segundo plano sejam concluídas, mais recursos do sistema são usados.

Com base na complexidade e na quantidade de dados a ser importada, a operação de importação inteira pode levar de alguns minutos até algumas horas. Por exemplo, em um ambiente de teste local, a importação de um módulo com 200 elementos e cada um com 20 atributos levou 40 segundos para ser concluída, mas o tempo de importação aumentou para 140 segundos quando havia 1.000 elementos.


Melhores práticas de preparação de grandes volumes de dados XML

Este tópico aborda algumas das melhores práticas que devem ser consideradas ao preparar a importação e a atualização de grandes volumes de dados

  • Assegurar que os dados de entrada têm um volume ideal
  • Alocar memória suficiente para o sistema operacional
  • Validar em um ambiente de teste antes de ir para um ambiente de produção
  • Fazer backup de seus dados
  • Escolher um horário adequado
  • Executar apenas uma operação de importação de cada vez

Assegurar que os dados de entrada têm um volume ideal

Certifique-se de que os dados para importação e atualização são ideais. O Rational Focal Point fornece três opções para exportação de uma área de trabalho ou módulo como dados XML: exportação integral, exportação limitada e exportação de configuração do atributo. Certifique-se de usar a opção de exportação adequada para evitar dados não desejados no arquivo .zip exportado.

Alocar memória suficiente para o sistema operacional

Verifique se foi alocada memória suficiente para o servidor Rational Focal Point. Alocar mais memória permite que o Rational Focal Point use mais recursos para operações de segundo plano frequentes, como execução de expressões, indexação de procura e notificações sem causar impacto negativo ao desempenho geral. Embora não haja nenhuma regra a respeito de quanto de memória exatamente é necessário, é possível usar as seguintes diretrizes para calcular uma aproximação:

  • A memória média necessária para importar um atributo é 4 KB.
  • Para importar 10.000 elementos, cada um com 10 atributos, a memória estimada está em torno de 400 MB (4 x 10 x 10000 KB).

Para alterar a memória máxima, localize o arquivo fpenv.sh (sistemas Linux) ou o arquivo fpenv.bat (sistemas Microsoft Windows) no diretório $TOMCAT_HOME\bin\ e edite a propriedade SERVER_MAXHEAP como o exemplo na Figura 5 mostra.

Figura 5. Exemplo de arquivo de configuração de memória fpenv.sh
#!/bin/sh
#########################################################
# This Script is intended to be invoked by setenv.sh                            
#                                                                                      
# Back up if you really need to alter
#                                                                                        
#########################################################
echo "Customizing server for Focal point "
DEBUG="TRUE"
...
#|------------- SERVER/JVM/JAVA MEMORY USAGE --------------
#|  Used to allocate more Memory to application from Systems installed Memory i.e.,RAM
#|   
#   SERVER_MAXHEAP , SERVER_MAXHEAP  
#       Sets Maximum amount of Memory for JAVA/Server (called Object Heap space)
#      SERVER_MAXHEAP Maximum heap memory of JVM running Focal Point Application
#      SERVER_MINHEAP Start heap memory to allocate to JVM at startup  
#      Example for allocating 1GB: SET SERVER_MAXHEAP=1024M
#       SET SERVER_MINHEAP=756M
#
#       In a production system, setting SERVER-MAXHEAP equal to SERVER_MINHEAP, 
        can save some GC overhead costs
#       
SERVER_MAXHEAP="1500M"
SERVER_MINHEAP="750M"

Validar em um ambiente de teste antes de ir para um ambiente de produção

Teste os cenários de importação ou atualização em um ambiente de teste idêntico antes de executá-los em um ambiente de produção. As informações (validade dos dados importados, tempo necessário, etc.) coletadas em um ambiente de teste são úteis para as operações de importação em um ambiente de produção.

Fazer backup de seus dados

Verifique se foi feito adequadamente o backup do banco de dados antes de iniciar uma operação de importação e atualização.

Escolher um horário adequado

Como a operação de importação ou atualização XML consome muitos recursos, escolha o horário correto para executar essas operações de modo que o incômodo para o usuário seja mínimo. É possível optar por executar essas operações fora do horário normal de trabalho, quando o número de solicitações para o servidor Rational Focal Point é baixo.

Executar apenas uma operação de importação de cada vez

Como as operações de importação consomem muitos recursos, execute apenas uma operação de importação de cada vez.


Melhores práticas durante grandes operações de importação XML

Siga estas diretrizes para melhorar as operações de importação:

  • Coletar as estatísticas dos recursos do Rational Focal Point:
    • Estatísticas de memória
    • Estatísticas de cache de atributo
    • Estatísticas de fila de expressões
  • Coletar as estatísticas das tabelas de banco de dados do Rational Focal Point.

Coletar as estatísticas dos recursos do Rational Focal Point

Durante grandes operações, é importante monitorar o funcionamento do servidor Rational Focal Point e coletar várias estatísticas de interesse. É possível obter essas informações no aplicativo Rational Focal Point. As informações incluem uso de memória, monitoramento da fila de expressões e estatísticas de cache de atributo. Como o status da operação é também mostrado na mesma sessão do navegador, talvez você tenha de criar uma nova sessão do navegador com um ID do usuário diferente para monitorar as informações.

Memória do Rational Focal Point

É possível monitorar a memória do Rational Focal Point selecionando General > About Rational Focal Point. A falta de memória disponível, se houver, é indicada com um aviso vermelho. Para alterar a memória alocada, siga as etapas do tópico Alocar memória suficiente para o sistema operacional, e reinicie o servidor.

Dica:
É sempre uma boa prática testar grandes operações em um ambiente de teste primeiro.

Figura 6. Estatísticas dos recursos do sistema operacional para a instância sendo executada
Estatísticas dos recursos do sistema operacional para a instância sendo executada

Visualização maior da figura 6.

Estatísticas de cache de atributo

O Rational Focal Point usa um cache para melhorar o desempenho. É possível monitorar as estatísticas de cache de atributo selecionando Advanced>Caches e verificando os detalhes do cache de atributo. Para uma operação mais rápida, a taxa de acertos de cache de atributo precisa ser maior que 95%. Se o cache estiver cheio e a taxa de acertos de cache cair abaixo de 95%, aumente o tamanho do cache de atributo. Ainda, se houver um aumento significativo no tamanho do cache de atributo, aumente a memória alocada do Rational Focal Point. Consulte o tópico Alocar memória suficiente para o sistema operacional para saber como aumentar a memória alocada com base no aumento do tamanho do cache.

Figura 7. Estatísticas de uso do cache
Estatísticas de uso do cache

Visualização maior da figura 7.

Monitorar estatísticas de fila de expressões

É possível monitorar a fila de expressões selecionando Advanced > Expression Queue e visualizando o gráfico de histórico da fila de expressões. O aumento acentuado na fase inicial do exemplo mostrado na Figura 8 indica que as expressões estão sendo incluídas na fila à medida que a operação de importação progride. O gráfico mostra uma curva descendente porque a taxa de execução da expressão é maior do que a taxa de expressões recebidas. Em alguns casos, talvez você também veja um platô no meio do gráfico. Esse estado permanece por muito tempo ou diminui vagarosamente. Se o tamanho da fila de expressões não for reduzido rapidamente, é provável que o Rational Focal Point e os servidores do banco de dados sejam muito exigidos, e isso pode deixar o processo de importação mais lento. A próxima seção discute como aumentar a velocidade da avaliação de expressão.

Figura 8. Gráfico de histórico de estatísticas da fila de expressões
Gráfico de histórico de estatísticas da fila de expressões

Visualização maior da Figura 8.

Coletar as estatísticas das tabelas de banco de dados do Rational Focal Point

É importante monitorar a avaliação da fila de expressões, especialmente na fase intermediária. É possível fazer avaliações de expressão de forma mais rápida coletando estatísticas de banco de dados com frequência dessas tabelas do Rational Focal Point, em que xxx varia de acordo com o ID de tabela do projeto onde a importação está acontecendo:

  • Attxxx
  • formulxxx
  • matirxxxx
  • formulaqueue
  • formuladependson

Coletar as estatísticas dessas tabelas garante que os índices estejam atualizados e que o otimizador de consulta selecione o melhor plano de avaliação. Também é possível planejar uma tarefa para coletar estatísticas em intervalos regulares, mas talvez você precise de direitos de administrador de banco de dados para fazer isso. Se a operação de importação for executada por mais de uma hora, colete as estatísticas a cada hora.

Siga o link "Ajuste da fila de expressões" da seção Recursos para obter informações sobre como configurar filas de expressões para uma avaliação de expressão ideal.

Recursos

Aprender

Obter produtos e tecnologias

Discutir

Comentários

developerWorks: Conecte-se

Los campos obligatorios están marcados con un asterisco (*).


Precisa de um ID IBM?
Esqueceu seu ID IBM?


Esqueceu sua senha?
Alterar sua senha

Ao clicar em Enviar, você concorda com os termos e condições do developerWorks.

 


A primeira vez que você entrar no developerWorks, um perfil é criado para você. Informações no seu perfil (seu nome, país / região, e nome da empresa) é apresentado ao público e vai acompanhar qualquer conteúdo que você postar, a menos que você opte por esconder o nome da empresa. Você pode atualizar sua conta IBM a qualquer momento.

Todas as informações enviadas são seguras.

Elija su nombre para mostrar



Ao se conectar ao developerWorks pela primeira vez, é criado um perfil para você e é necessário selecionar um nome de exibição. O nome de exibição acompanhará o conteúdo que você postar no developerWorks.

Escolha um nome de exibição de 3 - 31 caracteres. Seu nome de exibição deve ser exclusivo na comunidade do developerWorks e não deve ser o seu endereço de email por motivo de privacidade.

Los campos obligatorios están marcados con un asterisco (*).

(Escolha um nome de exibição de 3 - 31 caracteres.)

Ao clicar em Enviar, você concorda com os termos e condições do developerWorks.

 


Todas as informações enviadas são seguras.


static.content.url=http://www.ibm.com/developerworks/js/artrating/
SITE_ID=80
Zone=Rational
ArticleID=828992
ArticleTitle=Importação, exportação e atualização de dados no Rational Focal Point
publish-date=08062012