Gerenciamento de variáveis de ambiente no DataStage

É possível gerenciar variáveis de ambiente para o IBM® DataStage® de várias maneiras diferentes

No DataStage, você pode gerenciar as variáveis de ambiente de três maneiras diferentes: no nível do projeto, no nível do fluxo e usando a interface de linha de comando (CLI) do dsjob.

Nível do projeto

Para configurar variáveis de ambiente a partir do nível do projeto, complete as seguintes etapas:
  1. Abra um projeto, em seguida, clique na guia Gerenciar .
  2. Clique Em Ambientes > Templates > Novo modelo + ou edite um modelo existente, abrindo-o, clicando em Nova variável de ambiente + e adicionando um par de valor chave.
  3. Especifique o ambiente detalhes e configuração.
  4. No campo Variáveis de ambiente , especifique variáveis de ambiente de tempo de execução usando um par nome=valor.
    Por exemplo:
    CC_MSG_LEVEL=1
APT_CONFIG_FILE=/ds-storage/2nodes.apt
  5. Clique em Criar.
  6. Em um fluxo DataStage , clique no ícone Configurações na barra de ferramentas e, em seguida, clique em Executar na página Configurações .
  7. Selecione o ambiente que você criou, em seguida, clique em Salvar.

DataStage nível de fluxo

Para selecionar variáveis de ambiente a partir do nível de fluxo, complete as seguintes etapas:
  1. Abra um fluxo do DataStage
  2. Clique no ícone Adicionar parâmetros ({#}) na barra de ferramentas.
  3. Selecione uma ou mais variáveis de ambiente a partir da lista de variáveis de ambiente disponíveis.
  4. Clique em Adicionar, em seguida, clique em Retornar para tela.

interface de linha de comandos (CLI)

Você pode transmitir variáveis de ambiente da CLI. Consulte o exemplo a seguir:
cpdctl dsjob run --job "TestSimpleJavaWriteJSON.DataStage job" --project Project2021 --wait 300 --param FILE_NAME=/ds-storage/output/MySales5k.json --env "\$CC_MSG_LEVEL"="1"

Para obter mais informações, consulte Ferramentas de linha de comando do DataStage.

Substituir regras

As regras de substituição a seguir aplicam-se às variáveis de ambiente:
  • dsjob As variáveis de ambiente da CLI sobrescrevem as variáveis de ambiente do nível de fluxo do DataStage
  • DataStage As variáveis de ambiente de nível de fluxo sobrescrevem variáveis de ambiente de nível de ambiente de tempo de execução.

Variáveis de ambiente que são definidas por padrão

A lista a seguir contém variáveis de ambiente que são definidas por padrão.

APT_OLD_BOUNDED_LENGTH
  • Cloud Pak for Data configuração: APT_OLD_BOUNDED_LENGHT = true
  • Cloud Pak for Data comportamento: a maneira como o PX lida internamente com cadeias de caracteres de comprimento limitado e campos brutos foi alterada, passando do tratamento dos campos como de comprimento variável para comprimento fixo. Isso foi feito para melhorar o desempenho do processamento de registros. É definido como true para ler gravações nos antigos conjuntos de dados de formato de comprimento variável.
  • Configuração de comportamento padrão tradicional (11.7): APT_OLD_BOUNDED_LENGTH = false
  • Comportamento com a configuração Tradicional (11.7): Os conjuntos de dados gravados no formato antigo de comprimento variável não podem ser lidos.
APT_THREAD_SAFE_FAST_ALLOC
  • Cloud Pak for Data configuração: APT_THREAD_SAFE_FAST_ALLOC = threadsafe
  • Cloud Pak for Data behavior: a cadeia de valores especifica o modo de encadeamento para alocadores rápidos, que são usados para alocar objetos comumente usados, como cadeias de caracteres: 'threadsafe'. As instâncias dos alocadores rápidos serão mantidas no armazenamento específico de thread.
  • Configuração de comportamento padrão tradicional (11.7): APT_ THREAD_SAFE_FAST_ALLOC = legado (ou) falso
  • Comportamento com a configuração Tradicional (11.7): As instâncias do alocador rápido são compartilhadas entre os threads.
APT_NÃO PERMITIR_DUPLICAR_TSORT_COMBINAR
  • Cloud Pak for Data configuração: APT_DONT_ALLOW_DOUBLE_TSORT_COMBINE = true
  • Cloud Pak for Data comportamento: por padrão, o controlador de operador combinado mescla o maior número possível de operadores tsort. É definido como true para que o operador combinado não mescle mais de um operador tsort se o operador combinado for seguido pelo estágio de união no downstream. Isso foi adicionado para evitar cenários suspensos que envolvam estágios tsort-join.
  • Configuração de comportamento padrão tradicional (11.7): APT_ DONT_ALLOW_DOUBLE_TSORT_COMBINE = false
  • Comportamento com a configuração Tradicional (11.7): O controlador de operador combinado combina o maior número possível de operadores tsort.
APT_SCRATCH_RESERVA_MB
  • Cloud Pak for Data configuração: APT_SCRATCH_RESERVE_MB = 10
  • Cloud Pak for Data comportamento: Operadores como classificação ou buffer usam o disco de trabalho. Se houver um mínimo de espaço livre disponível no disco de trabalho, o disco de trabalho será usado para criar arquivos de trabalho. Se o espaço livre for menor que o mínimo de MB, será usado o próximo disco de trabalho que atender aos critérios de espaço livre mínimo. Ele é aplicado quando vários discos de trabalho são definidos no APT_CONFIG_FILE.
  • Configuração de comportamento padrão tradicional (11.7): APT_SCRATCH_RESERVE_MB = false
  • Comportamento com a configuração Tradicional (11.7): O espaço de reserva padrão de 2GB é usado.
APT_DESATIVAR_JOBMON_ESQUEMA_STRING
  • Cloud Pak for Data configuração: APT_DISABLE_JOBMON_SCHEMA_STRING = true
  • Cloud Pak for Data comportamento: Desativa o envio de informações de esquema em mensagens linkstats para o monitor de trabalho.
  • Configuração de comportamento padrão tradicional (11.7): APT_DISABLE_JOBMON_SCHEMA_STRING = false
  • Comportamento com a configuração Tradicional (11.7): envia informações de esquema em estatísticas de links. Atualmente, o Cloud Pak for Data não processa a string de esquema do linkstats. As informações do esquema podem ser desativadas.
APT_DS_COMPRESSÃO
  • Cloud Pak for Data configuração: APT_DS_COMPRESSION = true
  • Cloud Pak for Data comportamento: a variável ativa a compactação para conjuntos de dados.
  • Configuração de comportamento padrão tradicional (11.7): APT_DS_COMPRESSION = false
  • Comportamento com a configuração Tradicional (11.7): Os conjuntos de dados não são compactados.
APT_IMPORT_FORCE_QUOTE_DELIM
  • Cloud Pak for Data configuração: APT_IMPORT_FORCE_QUOTE_DELIM = true
  • Cloud Pak for Data comportamento: por padrão, a importação de campos entre aspas procura um caractere de aspas de abertura e fechamento. Se os dados do campo contiverem o caractere de aspas, esse caractere será incorretamente considerado como o caractere de fechamento de aspas. A definição dessa variável de ambiente faz com que a importação reconheça apenas um caractere de fechamento de aspas seguido pelo caractere delimitador do campo. Essa alteração permite que o campo contenha caracteres de aspas incorporados e seja importado corretamente.
  • Configuração de comportamento padrão tradicional (11.7): APT_IMPORT_FORCE_QUOTE_DELIM = false
  • Comportamento com a configuração Tradicional (11.7): a importação em campos com caracteres de aspas incorporados não importará o registro. Por padrão, um aviso é lançado e os registros são rejeitados.
APT_TSORT_SCRATCH_COMPRESSÃO
  • Cloud Pak for Data configuração: APT_TSORT_SCRATCH_COMPRESSION = true
  • Cloud Pak for Data comportamento: os arquivos de rascunho do tsort são gravados no disco em modo compactado devido à necessidade de economizar espaço.
  • Configuração de comportamento padrão tradicional (11.7): APT_TSORT_SCRATCH_COMPRESSION = false
  • Comportamento com a configuração Tradicional (11.7): os arquivos de rascunho do Tsort são gravados no disco sem compactação.
APT_MENSAGENS_DESCLASSIFICADAS
  • Cloud Pak for Data configuração: APT_DOWNGRADED_MESSAGES = "Pegou JAVA_TOOL_OPTIONS:"
  • Cloud Pak for Data comportamento: Converte a gravidade das mensagens de erro ou aviso de orquestração de saída em Informational para mensagens com a string "Picked up JAVA_TOOL_OPTIONS:".
  • Configuração de comportamento padrão tradicional (11.7): APT_DOWNGRADED_MESSAGES = false
  • Comportamento com a configuração Tradicional (11.7): Nenhuma mensagem é rebaixada. No entanto, o usuário pode substituir por novos valores. O formato dessa variável é uma lista de mensagens de erro ou aviso, completas ou parciais, que precisam alterar sua gravidade para informar sem parte do registro de data e hora. Cada mensagem é separada por uma string exclusiva - #?#.
  • Exemplo: APT_DOWNGRADED_MESSAGES = READ não é suportado no estado standby#?#IPv6 não é suportado no momento.
APT_IMPEXP_INFER_EOL_RECORD_DELIM
  • Cloud Pak for Data configuração: APT_IMPEXP_INFER_EOL_RECORD_DELIM = true
  • Cloud Pak for Data comportamento: a camada de importação de arquivos sequenciais procura delimitadores de registro EOL do Windows quando os delimitadores de registro EOL do Unix são definidos e permitem que o arquivo seja importado corretamente.
  • Configuração de comportamento padrão tradicional (11.7): APT_IMPEXP_INFER_EOL_RECORD_DELIM = false
  • Comportamento com a configuração Tradicional (11.7): a camada de importação de arquivos sequenciais procura apenas o delimitador de registros EOL definido nas propriedades de importação.