Migrando e construindo fluxos de pipeline para o DataStage

As seguintes etapas e limitações aplicam-se a Jobs e fluxos de Sequência migrados que são construídos diretamente com a tela do pipeline.

Para obter uma lista de problemas gerais do pipeline, consulte Orchestration Pipelines known issues.

Fluxos migrados

Para obter mais informações sobre cada componente, consulte Componentes do pipeline para DataStage.

Aguardar arquivo: Selecione novamente ou configure manualmente o caminho de arquivo Como um nó auxiliar para cross loop, o valor de tempo limite padrão é 23:59:59. Atualize manualmente o valor ou configure como 00:00:00 para nenhum tempo limite
Esperar por todos: Substitui a condição Sequencer (all) e Anested.
Esperar por qualquer: Substitui Sequencer (qualquer).
Finalizar o pipeline: Substitui Terminator.; O texto da mensagem final não é suportado.
Finalizar o loop: Controla o status do loop e o marca como concluído ou com falha. Se o nó do loop tiver o resultado control_break_node_id após o término, o loop termina e nem todas as iterações são concluídas. O nó de loop Terminate é adicionado se houver apenas um link de condição para o nó de loop End do nó pai. Para o nó de loop Terminate, somente um dos links de condição no nó pai pode ser verdadeiro.
Loop na sequência: Substitui o loop Start / end.
Executar tarefa do DataStage: Substitui a atividade do trabalho para trabalhos paralelos.; O tipo Lista é mapeado para Enum. O caminho é mapeado para o tipo de arquivo. Para obter informações, consulte Configurando objetos globais para Orchestration Pipelines.
Executar tarefa de pipelines: Substitui a atividade de trabalho para trabalhos de sequência. Para obter informações, consulte Executar trabalho do Pipelines.
Executar script de bash: Substitua as aspas simples ao redor das variáveis de ambiente por aspas duplas para que elas não sejam tratadas como literais de cadeia de caracteres.; No DataStage, não há suporte para a montagem de volumes para copiar os scripts ou arquivos do pipeline no nó Bash. Para fazer referência aos arquivos no nó Bash, consulte Referência a arquivos no nó Bash ( DataStage ).
Configurar as variáveis de usuário: Substitui a variável Usuário. As variáveis do usuário são definidas no nível global. Para obter mais informações, consulte Configurando objetos globais para Orchestration Pipelines.
Manipulação de erros: Substitui manipulador de Exceção.; Use error.status e error.status_message para obter as informações do nó falhado. Use ds.GetErrorSource() e ds.GetErrorNumber() para obter a origem do erro e o número do erro

Migração de ponto de verificação para trabalhos de sequenciador em Cloud Pak for Data

Durante a migração, a opção Add Checkpoints so sequence is restartable on failure (Adicionar pontos de verificação para que a sequência possa ser reiniciada em caso de falha ) é migrada para Node Caching (Cache de nó) em Manage default settings (Gerenciar configurações padrão ). Especificamente, ele está configurado para usar a configuração Usar cache quando todas as condições selecionadas forem atendidas, juntamente com a opção Tentar novamente a partir de uma execução anterior com falha. Ele pode garantir que a sequência possa ser retomada a partir do ponto de falha, mantendo a resiliência e a eficiência do trabalho.

No nível do nó, se a opção Não executar ponto de verificação não estiver selecionada na configuração original, ela será migrada com a caixa de seleção Criar cache de dados neste nó, que está ativada na seção Saída. Ele preserva o comportamento de checkpointing pretendido no nível do nó individual.

Para obter mais informações, consulte Configuração de caches de nós.

Migração do comportamento de registro de avisos em Cloud Pak for Data

A configuração Registrar avisos após atividades que terminam com status diferente de OK foi migrada para as opções de tratamento do status do pipeline. Vá para Gerenciar configurações padrão > Configurações do pipeline > Configurações do DataStage, onde você encontrará as seguintes opções:

Se uma execução de pipeline contiver nós com avisos ou erros, mas ainda assim for concluída, altere o status para Concluído com avisos
Se uma execução de pipeline tiver erros que são tratados com sucesso por um manipulador de exceções e a execução for concluída, altere o status para Concluído com erros

Configurar e obter status do usuário

Para definir o status do usuário em um trabalho DataStage, você pode chamar a função incorporada SetUserStatus do Construtor de expressões no estágio Transformer. Quando você vai para Triggers no Transformer e chama SetUserStatus, ele não pode ser usado em derivações de colunas de entrada.

Para obter o status em um pipeline que chama o trabalho DataStage com um nó de trabalho Run DataStage, você pode usar a função interna ds.GetUserStatus(tasks.<node name>) com o nome do nó de trabalho Run DataStage. Também é possível acessá-la no resultado da tarefa com tarefas. < nome do nó> .user_status Para configurar o status do usuário em um pipeline, deve-se incluí-lo como uma variável com o nó Configurar variáveis do usuário e selecionar Tornar o valor da variável do usuário disponível como um resultado de pipeline, o que o torna um parâmetro de saída que outros pipelines podem acessar Outro pipeline pode usar um nó de trabalho Run pipeline para chamar o pipeline que define o status do usuário e, em seguida, obter o status do usuário que usa tasks.<node name>. results.output_parameters.<user status parameter name>.

Se SetUserStatus for chamado em um pipeline filho, a migração cria uma variável de usuário global denominada user_status e seleciona a opção Make user variable value available as a pipeline result. No pipeline pai, ele também substitui a expressão que obtém o status do pipeline filho, .$UserStatus, por tasks.results.output_parameters.user_status.

Fluxos construídos

Executar tarefa do DataStage: A variável de ambiente DSJobRunEnvironmentName especifica o ambiente de tempo de execução para DataStage trabalhos. Você pode adicionar a variável de ambiente DSJobRunEnvironmentName ao nó de trabalho Run DataStage para substituir o ambiente de tempo de execução padrão definido em um nível de projeto ou de trabalho para uma execução específica.; Por exemplo, se você quiser executar um trabalho específico no ambiente de tempo de execução ds-px-large , poderá substituir o ambiente de tempo de execução padrão ds-px-small definido em um nível de projeto ou de trabalho. Na guia Input (Entrada) do nó de trabalho Run DataStage, adicione DSJobRunEnvironmentName como uma variável de ambiente na seção Environment variables (Variáveis de ambiente) e defina seu valor como ds-px-large.; Se você adicionar uma variável de ambiente na seção Environment variables (Variáveis de ambiente ) do nó de trabalho Run DataStage e a mesma variável de ambiente já estiver definida no DataStage nível de fluxo, o valor passado do nó de trabalho Run DataStage terá precedência.
Executar script de bash: Os comandos Echo devem usar aspas duplas para acessar o valor de uma variável. Por exemplo, echo "variablename" substitui "variablename" pelo valor da variável. echo 'variablename' apenas ecoa o nome da variável.