Resolução de problemas do IBM DataStage .

No conector Teradata configurado para o modo de transação ANSI, a instrução SQL Antes pode ser executada após a instrução SQL em vez de antes, causando a falha da tarefa.

Solução alternativa: inclua uma instrução de confirmação após cada instrução SQL anterior.

Se o comando mailx for usado em uma sub-rotina antes ou após a tarefa, você deverá fornecer as informações do servidor SMTP ou ele encaminhará a execução para sendmail e falhará.

Se você inserir outras propriedades (por exemplo, para tabelas ou esquemas) com a opção padrão Usar propriedades do DataStage selecionada e, em seguida, desmarcar Usar propriedades do DataStage, as propriedades não serão preservadas.

Solução alternativa: cancele a seleção das propriedades padrão Usar DataStage se você pretende não usá-las antes de inserir outras propriedades... Caso contrário, selecione novamente as propriedades..

Quando a função CEL integrada ds.getUserStatus é executada em um destino que não está no mesmo pipeline, ela falha e não pode recuperar o status do usuário. Em vez disso, use a CLI do dsjob em seu nó de script Executar Bash.

Uma tarefa com um conector que está processando um arquivo Excel grande pode falhar com este erro:

"CDICO9999E: Internal error occurred: IO error: The Excel file is too large. (error code: DATA_IO_ERROR)" 

Tente aumentar o tamanho de heap.. A opção de propriedades de tamanho de heap está na seção Outras propriedades da guia Estágio do conector

Você pode ter problemas ao usar o Navegador de Ativos para navegar pelas tabelas de banco de dados se a tabela selecionada contiver uma coluna com caracteres especiais como ., $ou #e incluir essa tabela em um fluxo do DataStage . O DataStage não suporta nomes de coluna que contenham caracteres especiais. DataStage fluxos que fazem referência a colunas com nomes que incluem esses caracteres especiais não funcionarão.

Para contornar esse problema, crie uma visualização por meio da tabela de banco de dados e redefina o nome da coluna na visualização. Por exemplo:

create view view1 as select column1$ as column1, column2# as column2 ... from table

Em seguida, ao usar o Asset Browser, localize a visualização e inclua-a no fluxo do DataStage.

O Asset Browser irá ler os primeiros 1.000 registros e inferir o esquema, como nome da coluna, comprimento, tipo de dados e anulável, com base nestes primeiros 1.000 registros nos arquivos no IBM Cloud Object Storage, Amazon S3, Google Cloud Storage, Azure File Storage, Azure Blob Storage ou o serviço Azure Data Lake. Por exemplo, o Asset Browser pode identificar uma coluna como um inteiro com base no que é detectado nos primeiros 1000 registros, no entanto, registros posteriores no arquivo podem mostrar que esta coluna deve ser tratada como tipo de dados varchar . Da mesma forma, o Asset Browser pode inferir uma coluna como varchar(20), mesmo que os registros posteriores mostrem que a coluna deve ser varchar(100).

Error: CDICO9999E: Internal error occurred: Illegal 
state error: INTEGER(32,false) can only annotate INT32.

Correção: Você deve usar tipos de dados compatíveis.

Você pode enfrentar esse erro ao executar a atualização do Cloud Pak for Data de 5.0.0 para 5.0.1 A atualização falha em novas tarefas de atualização para as instâncias remotas.

Pode ocorrer um tempo limite durante a compilação de fluxos que contêm o estágio do transformador.

-c -O -fPIC -Wno-deprecated -m64 -mtune=generic -mcmodel=small

-c -O0 -fPIC -Wno-deprecated -m64 -mtune=generic -mcmodel=small

Se você criar uma tabela em um banco de dados MySQL sem especificar uma chave primária na coluna WHERE e, em seguida, tentar executar uma tarefa que usa essa tabela com o modo de gravação Atualizar para o destino, a tarefa poderá falhar.

Solução: Especifique um nome de chave primária no campo Nomes de Colunas-chave . Se a tabela for grande e não tiver uma coluna primária, será possível criar uma coluna separada com valores de incremento automático a serem usados como a chave primária

Quando você executa uma tarefa que usa dados de uma origem de dados FTP, o diretório inicial ou de login é pré-anexado ao caminho especificado. Essa ação acontece independentemente se você especificar um caminho absoluto (com uma barra inicial) ou um caminho relativo (sem uma barra inicial). Por exemplo, se você especificar o diretório como /tmp/SampleData.txt, o caminho será resolvido para /home/username/tmp/SampleData.txt

Solução alternativa: edite o Nome do arquivo no conector FTP. Especifique o caminho absoluto para o arquivo de origem ou de origem.

As tarefas podem falhar com o erro "O conector não pôde estabelecer uma conexão com o banco de dados Db2 ".

Solução alternativa: acesse as propriedades da conexão e configure a propriedade Opções como connectTimeout=0.

Se seu fluxo incluir dados de origem de SAP OData, o fluxo poderá falhar se você criou o fluxo incluindo manualmente colunas que não seguem a convenção de nomenclatura SAP .

Solução alternativa: atualize o fluxo ou inclua as colunas com o navegador Ativo ou renomeie as colunas de acordo com a convenção de nomenclatura SAP . A convenção de nomenclatura SAP segue a hierarquia de objetos SAP com dois caracteres de sublinhado (__) como um separador. Por exemplo, se a coluna PurchaseOrder pertencer a PurchaseOrderNote, o nome da coluna deverá ser especificado como PurchaseOrderNote__PurchaseOrder.

Se seus dados forem do Apache Hive versão 2.0 ou anterior e seu fluxo do DataStage executar instruções UPDATE ou DELETE, a tarefa poderá falhar. Certifique-se de que a tabela de destino tenha sido criada de acordo com os requisitos de transações do Hive e que o servidor Apache Hive esteja configurado para suportar operações ACID.

O conjunto mínimo de parâmetros (configurado no arquivo hive-site.xml ) que deve ser ativado para tabelas ACID no Apache Hive é:

hive.support.concurrency = true
hive.enforce.bucketing = true (not required as of Hive 2.0)
hive.exec.dynamic.partition.mode = nonstrict
hive.txn.manager = org.apache.hadoop.hive.ql.lockmgr.DbTxnManager

hive.compactor.initiator.on = true
hive.compactor.worker.threads = <a positive number>

Para obter mais informações, consulte Hive Transactions.

Se você usar um certificado SSL na conexão do IBM Db2 for DataStage e a conexão falhar com um erro "Código de erro específico do protocolo 414", use esta solução alternativa:

1. Identificar o certificado raiz no servidor Db2 . É possível usar este comando para visualizar a cadeia de certificados:

   openssl s_client -connect <hostname>:<port> -showcerts

2. Assegure-se de que o certificado tenha o mesmo assunto e emissor.
3. Na página Criar conexão: IBM IBM Db2 for DataStage , insira o certificado raiz no campo Certificado SSL (arm) .

Quando a propriedade Método de autenticação for configurada como Credenciais de serviço (fragmento JSON completo), não parametrize o campo Credenciais de serviço Se for fornecido um parâmetro para esse campo, o fluxo não será compilado.

O conector PostgreSQL pode falhar com um erro de tempo limite quando uma tabela grande (mais de 100.000 linhas) é usada como fonte. Para corrigir esse erro, tente configurar um valor de tempo limite mais alto para a variável de ambiente APT_RECORD_TIMEOUT. Veja .

Quando você usa o conector HTTP para fazer download de um arquivo e, em seguida, fazer upload do mesmo arquivo no IBM Cloud Object Storage ou em um banco de dados, se o esquema do arquivo mudar com o tempo, o trabalho poderá falhar.

Workaround: Re-criar o estágio.