Este documento descreve os vários arquivos de log que são produzidos pelo IBM Cognos Adaptive Warehouse, detalhando quando eles são produzidos e as informações que eles contêm.
Isso pode ser útil se você estiver solucionando problemas da instalação do IBM Cognos Adaptive Warehouse e desejar obter informações detalhadas sobre um erro recebido ou simplesmente desejar aprender como entender os arquivos de log.
As informações apresentadas aqui são aplicadas ao IBM Cognos Adaptive Warehouse for IBM Business Intelligence Server 8.4 e ao IBM Cognos Adaptive Warehouse for IBM Business Intelligence Server 10.1.
Se você estiver usando uma versão anterior do IBM Cognos Adaptive Warehouse, pode haver arquivos de log que não se aplicam a uma versão diferente daquelas detalhadas acima.
Localizando e ativando arquivos de log adicionais
Todos os arquivos de log do IBM Cognos Adaptive Warehouse são colocados no diretório de instalação. Em uma instalação padrão, os arquivos de log serão colocados sob o subdiretório aaf\logs usando o local especificado no IBM Cognos Configuration sob o Environment > Data files location como a base (veja a Ilustração 1). Por padrão, o local para os arquivos de log será [Install Directory]\data\aaf\logs e será referido neste documento como [root_log_directory].
Ilustração 1: Local dos arquivos de dados na configuração do IBM Cognos Adaptive Warehouse
Por padrão, o IBM Cognos Adaptive Warehouse não ativa todos os arquivos de log. Para fazer isso, siga estas etapas:
- Altere as propriedades do arquivo e [Install Directory]\configuration\aaf.ini e remova o atributo de arquivo somente leitura.
- Edite o arquivo aaf.ini no editor de texto e faça as seguintes alterações:
- Localize o texto
<Section Name="LogControl">e altere<FileLogLevel>INFO</FileLogLevel>para<FileLogLevel>DEBUG</FileLogLevel> - Inclua o seguinte elemento
<Section>no final de aaf.ini acima da guia</Sections>:<Section Name=”DebugInfo”> <LogSystemTables>true</LogSystemTables> <LogModelXML>true</LogModelXML> <LogDDL>true</LogDDL> <PackagePersistence>true</PackagePersistence> </Section>
- Localize o texto
- Reinicie o IBM Cognos Adaptive Warehouse para as alterações entrarem em vigor.
OBSERVAÇÃO : ativar a criação de logs no nível de DEPURAÇÃO tem um impacto negativo substancial sobre o desempenho e deve ser usada apenas quando necessário.
Identificação dos arquivos de log do IBM Cognos Adaptive Warehouse
Há vários arquivos de log produzidos pelo IBM Cognos Adaptive Warehouse, alguns dos quais são criados realizando certas sequências de tarefas e tendo os logs relevantes ativados.
O arquivo de log de aplicativo do IBM Cognos Adaptive Warehouse está sempre presente em [root_log_directory] e segue um esquema de nomenclatura de aw-[timestamp].log (por exemplo, aw-20101208181201218.log). A ilustração a seguir exibe os arquivos de log sob [root_log_directory].
Ilustração 2: lista de arquivos de log IBM Cognos Adaptive Warehouse sob o diretório de log raiz
Os arquivos de log ETL são explicados em detalhes mais adiante neste documento.
A Tabela 1 apresenta a lista de arquivos de log (excluindo os arquivos de log) que serão criados quando as opções de log adicionais forem ativadas. Muitos desses logs são produzidos pela interação entre o mecanismo do IBM Cognos Adaptive Warehouse e a Interface com o Usuário do IBM Cognos Adaptive Warehouse. Esses logs não serão produzidos em um sistema em que o cliente da linha de comando IBM Cognos Adaptive Warehouse é usado.
Tabela 1 – Arquivos de log e detalhes
| Arquivo de log | Descrição | Ativado por padrão? | Arquivo produzido por? |
|---|---|---|---|
| aw-[timestamp].log | The IBM Cognos Adaptive Warehouse application log file. This lists all events. | Yes | Default |
| _PostReadFromDBFMModel_[timestamp].xml | IBM Cognos Framework Manager model that IBM Cognos Adaptive Warehouse reads from the target database | No | Opening a project |
| _ReadUIModelFromXML_ui_[timestamp].xml | UI warehouse model passed to the Engine by UI | No | UI->Engine |
| _ReadUIModelFromXML_whproject_[timestamp].xml | Engine warehouse model passed to Engine by UI | No | UI->Engine |
| _ReadFMModelFromXML_xml_[timestamp].xml | IBM Cognos Framework Manager model passed to Engine by UI | No | UI->Engine |
| GetUIXML_WHProject[timestamp].xml | UI warehouse XML model passed to UI by Engine | No | Engine->UI |
| WriteFMModelToByteBuffer_[timestamp].xml | IBM Cognos Framework Manager model passed to UI by Engine | No | Engine->UI |
| systemtables_ddlscript-[timestamp].sql | Holds the SQL statements to create the database tables for a new IBM Cognos Adaptive Warehouse project | No | Creating a new project |
| systemtables_ddlspec-[timestamp].xml | Holds an XML representation of the systemtables_ddlscript log mentioned above | No | Creating a new project |
| systemtables_dmlscript-[timestamp].sql | Holds the SQL statements to insert the project data into the database when a new project is created | No | Creating a new project |
| systemtables_dmlseedscript-[timestamp].sql | Holds the SQL statements to insert seed data into the database | No | Creating a new project |
| DDLScript-[timestamp].sql | Holds the DDL and DML statements to perform table management | No | Running ETL |
Os arquivos de log listados na Tabela 2 são criados apenas ao importar uma biblioteca de conteúdo. Todos esses arquivos de log exigem uma definição de configuração adicional para ativá-los, e eles não são ativados por padrão.
Tabela 2 Arquivos de log relacionados à Biblioteca de Conteúdo
| Arquivo de log | Descrição | Arquivo produzido por? |
|---|---|---|
| _FMProjectToImport_Content_[timestamp].xml | IBM Cognos Framework Manager model that IBM Cognos Adaptive Warehouse reads from content files. | [Import Step 1] |
| _WHProjectToImport_Content_[timestamp].xml | The warehouse model that IBM Cognos Adaptive Warehouse reads from content files. | [Import Step 1] |
| _FMProjectToImport_BeforeFilter_[timestamp].xml | The IBM Cognos Framework Manager model that IBM Cognos Adaptive Warehouse produces after upgrading the content files. | [Import Step 2] |
| _WHProjectToImport_BeforeFilter_[timestamp].xml | The warehouse model that IBM Cognos Adaptive Warehouse produces after upgrading the content files. | [Import Step 2] |
| _FMProjectToImport_AfterFilter_[timestamp].xml | The IBM Cognos Framework Manager model that IBM Cognos Adaptive Warehouse produces after upgrading the content files. This would list ERP sources and terminologies that have been excluded. | [Import Step 3] |
| _WHProjectToImport_AfterFilter_[timestamp].xml | The warehouse model that IBM Cognos Adaptive Warehouse produces after upgrading the content files. This would list ERP sources and terminologies that have been excluded. | [Import Step 3] |
| _FMProjectToImport_PreSync_[timestamp].xml | IBM Cognos Framework Manager model that IBM Cognos Adaptive Warehouse produces after renaming objects in content files. | [Import Step 4] |
| _WHProjectToImport_PreSync_[timestamp].xml | The warehouse model that IBM Cognos Adaptive Warehouse produces after renaming objects in content files. | [Import Step 4] |
| _FMProjectToImport_AfterSync_[timestamp].xml | The IBM Cognos Framework Manager model that IBM Cognos Adaptive Warehouse produces after synchronizing the target model of the content files being imported. | [Import Step 5] |
| _WHProjectToImport_AfterSync_[timestamp].xml | The warehouse model IBM Cognos Adaptive Warehouse produces after synchronizing the target model of the content files being imported. | [Import Step 5] |
| _FMProjectToImport_[timestamp].xml | The IBM Cognos Framework Manager model which would actually be imported by IBM Cognos Adaptive Warehouse. | [Import Step 6] |
| _WHProjectToImport_[timestamp].xml | The warehouse model which would actually be imported by IBM Cognos Adaptive Warehouse. | [Import Step 6] |
| _WriteUIImportExportTask_[timestamp].xml | The import or export task IBM Cognos Adaptive Warehouse creates and sends to the UI for the user to confirm. | [Import Step 6] |
| _ReadUIImportExportTask_[timestamp].xml | The import or export task confirmed by the user that will be run by IBM Cognos Adaptive Warehouse. | [Import Step 6] |
| _PostImportEngineFMModel_[timestamp].xml | IBM Cognos Framework Manager model after importing successfully. | [Import Step 7] |
| _PostImportEngineModel_[timestamp].xml | The warehouse model after importing successfully. | [Import Step 7] |
Para detalhes sobre bibliotecas de conteúdo, consulte o guia do usuário do IBM Cognos Adaptive Warehouse.
Entendendo o log de aplicativo do IBM Cognos Adaptive Warehouse
O arquivo de log de aplicativo do IBM Cognos Adaptive Warehouse é o log de nível superior que detalha todos os eventos que ocorrem quando o aplicativo está em execução. Uma amostra de um registro de log é mostrada a seguir:
29/03/11 13:11 ERROR Unable to read database schema version. No rows found in PWW_SCHEMA_VERSION table. PWOne pweemanager PWEEManager GetDBSchemaVersion
Os componentes desse registro de log de amostra são mostrados na Tabela 3.
Tabela 3 Explicação das entradas do arquivo de log do aplicativo
| Entrada de log | Descrição |
|---|---|
| 29/03/11 13:11 | The timestamp when this event occurred |
| ERROR | The level of the log message |
| Unable to read database schema version. | The title of the log message |
| No rows found in PWW_SCHEMA_VERSION table. | A description of the log message |
| PWOne | Internal or additional description messages |
| pweemanager | Internal |
| PWEEManager | Internal |
| GetDBSchemaVersion | Internal |
As seções [Internal] da mensagem de log são úteis para os desenvolvedores ao tentarem resolver um erro que ocorreu, e não apresenta informações úteis ao usuário final.
Há quatro níveis de mensagens de log - INFO, DEBUG, WARNING e ERROR. A Tabela 4 descreve o tipo de informações que cada nível irá gerar. Por padrão, o IBM Cognos Adaptive Warehouse criará um log apenas dos eventos definidos como INFO, WARNING e ERROR. Conforme destacado acima na Seção 4, ativando os níveis de arquivo de log adicionais, as mensagens de log tipo DEBUG também serão colocadas em log.
Tabela 4 – Níveis de mensagens de log
| Nível de log | Descrição |
|---|---|
| INFO | Normal execution of the application. |
| WARNING | Unexpected events that will most likely not interfere with normal execution of the application. In many cases, the log message will detail the outcome of the event logged, the steps the application took to rectify it and an action that the user may perform to avoid this issue in future. |
| ERROR | Unexpected events that will interfere with normal execution of the application. Depending on the sequence of events the user was performing, this may be or may not be an unrecoverable error. |
| DEBUG | Additional information that is recorded during normal execution and unexpected events. |
Abaixo estão listadas algumas das mensagens de log mais comuns e seus significados. Para clareza, os registros de data e hora e as seções internas das mensagens de log foram removidos.
INFO DBADAPTER-LOG-0005 Successfully connected to database "BROADBEP_MSSQL_2008_SOTTWESTPORT_AW_COL_2".
Esta é a primeira etapa que o IBM Cognos Adaptive Warehouse realiza ao tentar abrir ou criar um novo projeto no banco de dados. Ela não denota a abertura com sucesso de um projeto existente, nem a criação com sucesso de um novo projeto.
INFO Install or Upgrade of PWOne tables succeeded
Um novo projeto e suas tabelas de banco de dados associadas foram criados com sucesso ou uma versão anterior de um projeto do IBM Cognos Adaptive Warehouse foi atualizada com sucesso.
ERROR DBADAPTER-LOG-0003 Error preparing a sql statement. DBADAPTER-LOG-0004 The SQL statement prepare failed with reason "UDASQLException when preparing statement: UDA-SQL-0196 The table or view "DATABASE_MSSQL_2008_MACHINEX_AW_..dbo.PWW_SCHEMA_VERSION" was not found in the dictionary.
ERROR Unable to read database schema version. No rows found in PWW_SCHEMA_VERSION table.
Essas duas mensagens de log são apresentadas quando um usuário tenta abrir um projeto do IBM Cognos Adaptive Warehouse a partir de uma conexão de origem de dados em que o banco de dados subjacente não contém um projeto. Um novo projeto precisa ser criado na origem de dados se ele for ser usado para deter um projeto IBM Cognos Adaptive Warehouse.
INFO EEM-LOG-0304 Saving the PWOne model succeeded. EEM-LOG-0305 Saving the PWOne warehouse model to the target database succeeded. All updated objects have been saved.
Essa mensagem denota que o projeto do IBM Cognos Adaptive Warehouse foi salvo com sucesso no banco de dados. Isso normalmente ocorre depois de o usuário ter feito uma alteração ao modelo e iniciar a ação de salvar.
INFO Executing ETL
Isso denota o início do processo de Extract, Transform and Load.
INFO Create ds log directory: ..\data\aaf\logs\aw-etl\20110329_144458_00
Denota o nome do diretório de log que é criado para essa execução de Extract, Transform and Load.
Entendendo o log de Extract, Transform and Load
Os arquivos de log ETL (Extract, Transform and Load) estão sempre presentes e são colocados sob o diretório [root_log_directory]\aw-etl. Esse diretório será referido como [root_ETL_log_directory]. O arquivo de log de nível superior gerado por Extract, Transform and Load (ETL) é chamado etl.log e está localizado dentro de um diretório de registro de data e hora sob [root_ETL_log_directory]. (Por exemplo [Install Location]\data\aaf\logs\aw-etl\20110329_144458_00\etl.log.) Uma captura de tela é mostrada na ilustração a seguir.
Ilustração 3: O etl.log e outros arquivos de log ETL sob um diretório de registro de data e hora
Ao executar ETL, vários fluxos e subfluxos de tarefas são criados. Eles são partes de tarefas que devem ser executadas pelo IBM Cognos Data Manager. Para mais explicação desses termos, consulte o guia do usuário do IBM Cognos Data Manager.
O arquivo etl.log contém detalhes de toda a execução do ETL, incluindo o status do fluxo de tarefas, bem como falhas. O nome do nó do fluxo de tarefas corresponderá mais ou menos ao seu arquivo de log relevante quando se estiver procurando detalhes sobre um fluxo de tarefas em particular. Cada log de fluxo de tarefas também pode fazer referência a outras criações, e cada uma dessas criações produz outro arquivo de log. Um diretório de exemplo contendo logs para a 'Empresa' Dimensão seria similar a este:
Job_Company_T_0001.log
Job_Companym_0001.log
Job_Companye1_0001.log
Build_Companye1MRG1_0001.log
Neste exemplo, Job_Company_T_0001.log é o arquivo de log de nível superior, seguido por Job_Companym_0001.log e então por Job_Companye1_0001.log. Isso pode ser determinado abrindo cada arquivo de log em um editor de texto e observando a seção superior, que exibe o contexto de tarefas atual. Para a tarefa Job_Companye1_0001.log, o seguinte é exibido:
Run context: JobStream 'ALLJOBS' JobStream 'Company_T' JobStream 'Companym' JobStream 'Companye1' |
Se seu projeto do IBM Cognos Adaptive Warehouse usar as Visualizações Materializadas, você também encontrará arquivos de log chamados MVIEWScript-[timestamp].sql, que contêm o SQL usado para gerenciar a visualização materializada associada no banco de dados.
Para fins de depuração, informações extras de metadados já estão injetadas pelo IBM Cognos Adaptive Warehouse como "variáveis" em tarefas/criações, e esses metadados aparecerão nos logs, permitindo aos usuários diagnosticar os problemas no modelo do IBM Cognos Adaptive Warehouse, se necessário. O exemplo a seguir forneceria as informações relacionadas para o objeto de armazenamento, neste exemplo, 'Job Position', bem como o fluxo de dados a que esse arquivo de log está associado, neste exemplo, 'dataflow'.
[VARIABLE - 11:27:17] .. AAF_X_WHO_ID_X = '{1ee3316a-0907-11e0-81d4-
db9ea33d341b}'
[VARIABLE - 11:27:17] .. AAF_X_WHO_NAME_X = '{Job Position}'
[VARIABLE - 11:27:17] .. AAF_X_DF_ID_X = '{1ee0cd28-0907-11e0-883f-
db9ea33d341b}'
[VARIABLE - 11:27:17] .. AAF_X_DF_NAME_X = '{dataflow}' |
Muitas consultas do IBM Cognos Business Intelligence são emitidas a partir do IBM Cognos Adaptive Warehouse ETL para os dados de origem de ERP. Normalmente, essas consultas do IBM Cognos Business Intelligence existirão apenas nos objetos de criação de fato do IBM Cognos Data Manager (às vezes chamados de criações de dados em logs), e eles associariam os logs com o prefixo "Build_". Os problemas mais comuns de ETL, especialmente problemas de configuração, podem aparecer aqui.
Mensagens comuns de log - Problemas de conexão
No arquivo de log do aplicativo IBM Cognos Adaptive Warehouse, você pode observar a seguinte mensagem de log:
DM-DBM-0402 COGQF driver reported the following:
COGQF failed to execute query - check logon / credential path
Na maioria dos casos, uma etapa de configuração do IBM Cognos Adaptive Warehouse não foi aplicada corretamente ou simplesmente não foi aplicada. É essencial que seja executada a configuração para o IBM Cognos Adaptive Warehouse para garantir que o IBM Cognos Data Manager esteja configurado corretamente para os dados de origem do servidor IBM Cognos Business Intelligence. É possível que essa seja a primeira vez que o IBM Cognos Adaptive Warehouse entra em contato com o IBM Cognos BI Server ao executar ETL, então esse erro não teria sido encontrado antes. Isso também poderia estar relacionado a um modelo de origem publicado incorretamente; veja a seguir para mais detalhes.
Ação: executar novamente a ferramenta de configuração do IBM Cognos Adaptive Warehouse.
Mensagens comuns de log - Modelo de origem não publicado
Se o modelo de origem não for publicado ou estiver fora de sincronia com o modelo do IBM Cognos Adaptive Warehouse para carregamento de ETL, é possível observar o seguinte erro no log de aplicativo IBM Cognos Adaptive Warehouse:
COGQF failed to execute query - check logon / credential path
Os usuários podem tentar publicar o modelo de origem novamente ou verificar outra vez se o modelo existe no servidor do IBM Cognos Business Intelligence. Isso pode ser feito iniciando o IBM Cognos Report Studio e criando um relatório novo vazio e fornecendo a partir do modelo publicado adequado.
Ação: verificar se existe o pacote no armazenamento de conteúdo do IBM Cognos Business Intelligence Server. Execute o gerenciamento de carga novamente e garanta que o pacote de origem seja publicado.
Mensagens de log comuns - Conexões insuficientes
Quando o fluxo de dados captura de muitas consultas e origens de entrada, você pode receber uma mensagem de log declarando que o número máximo de conexões de banco de dados foi atingido.
DM-DBM-0402 COGQF driver reported the following:
RQP-DEF-0370 Maximum number of database connections (20) has been reached.
Por padrão, o mecanismo do IBM Cognos Query Framework tem o número máximo de conexões do banco de dados definido para 20. Isso pode ser alterado para usar um número maior editando o arquivo CQEConfig.xml. Se esse arquivo ainda não existir no seu sistema, há uma versão de amostra que pode ser usada. Esse arquivo está localizado em [Install_Directory]\data\aaf\configuration\CQEConfig.xml.sample. Renomeie esse arquivo de amostra para CQEConfig.xml e então realize a seguinte emenda com um editor de texto:
Na seção,
<component name="CQE"> <section name="DBConnectionPool"> <!~~~-- Description: Database connection timeout. Default is 900 seconds (15 minutes) ~~~--> <entry name="Timeout" value="900"/> <!~~~-- ~~~--> <!~~~-- Description: Database connection pool size. ~~~--> <!~~~-- Maximum number of connections managed by the report server. Default=20 ~~~--> <entry name="PoolSize" value="20"/> <!~~~-- ~~~--> </section> |
aumente o valor para PoolSize.
Ação: aumentar a configuração de PoolSize no CQEConfig.xml.
Mensagens comuns de log – Mais erros
Você também pode encontrar incompatibilidade de dados quando o IBM Cognos Data Manager está tentando inserir dados nas tabelas do banco de dados. Nesse caso, sempre vale a pena verificar o modelo do IBM Cognos Adaptive Warehouse para verificar se os tipos de item de armazenamento combinam com os tipos de dados do modelo de origem correspondentes sendo fornecidos das consultas do IBM Cognos Business Intelligence Server.
Outro problema que pode ser encontrado é a perda repentina de conectividade devido ao ambiente subjacente ou problemas de rede. Nesse caso, você pode observar que os arquivos ETL podem não ter sido "concluídos" ou, em alguns casos, quando o problema ocorre no IBM Cognos Data Manager, podem mostrar algumas mensagens de erro adequadas sobre não poder conectar-se aos bancos de dados ou ao IBM Cognos Business Intelligence Server.
Logs DDL, System Table e XML Model
Os logs DDL e System Table têm como objetivo serem consumidos por administradores de banco de dados que desejam entender as operações de banco de dados que o IBM Cognos Adaptive Warehouse está realizando. Eles não contêm informações que sejam úteis para o usuário final para resolução de problemas.
Os logs Model XML apresentam uma captura instantânea do projeto IBM Cognos Adaptive Warehouse em vários estágios enquanto responde a eventos. Esses modelos têm como objetivo auxiliarem os desenvolvedores do IBM Cognos Adaptive Warehouse na resolução de problemas, mas não são úteis para o usuário final diagnosticar mensagens de erro.
Ning Liu é mestre em ciência da computação pela Universidade Nacional de Tecnologia de Defesa na China e é funcionário da IBM há sete anos, seis dos quais passou como desenvolvedor no projeto IBM Cognos Adaptive Warehouse. Antes disso, ele trabalhou 10 anos no sistema bancário OLTP na China. Suas áreas de conhecimento são armazenamento de dados, modelagem de dados e inteligência de negócios. Atualmente, ele trabalha em uma ferramenta de visualização interativa dentro do departamento de Analítica de Negócios da IBM no IBM Lab em Staines, Reino Unido.
Alban Tsui é doutor em filosofia da computação pelo Imperial College e mestrado em processamento da informação e redes neuras pelo Kings College, Universidade de Londres. Ele é funcionário da IBM há 12 anos, sete dos quais passou como desenvolvedor no projeto Cognos Adaptive Warehouse. Ele é um dos inventores originais da IBM Cognos Adaptive Applications Framework, que inclui o IBM Cognos Adaptive Warehouse, bem como de vários outros produtos, incluindo o IBM Cognos Metrics Manager. Sua experiência em desenvolvimento de software está centrada em C, C++, Java, JavaScript, aplicativos da web, projeto de ETL (Extract, Transform and Load) e armazenamento de dados. Ele tem diversos artigos acadêmicos publicados sobre tópicos desde Redes Neurais a Controle do Caos e Modelagem de Dados, e atualmente é desenvolvedor senior trabalhando no departamento de Analítica de Negócios da IBM no IBM Lab em Staines, Reino Unido.
Peter Broadbent tem mestrado em desenvolvimento de sistemas corporativos pela Universidade de Brunel em Londres e é funcionário da IBM há cinco anos, participando do projeto Cognos Adaptive Warehouse desde que passou a fazer parte da IBM. Suas áreas de conhecimento incluem inteligência de negócios e gerenciamento de processo de negócios, e ele gosta de escrever software em Java e JavaScript. Atualmente, ele trabalha em uma ferramenta de visualização interativa dentro do departamento de Analítica de Negócios da IBM no IBM Lab em Staines, Reino Unido.