Configuração de objetos globais para o ` Orchestration Pipelines `

Use objetos globais para criar constantes configuráveis para configurar seu pipeline no tempo de execução. Use parâmetros ou variáveis de usuário em pipelines para especificar valores no tempo de execução, em vez de codificação permanente dos valores. Ao contrário dos parâmetros de pipeline, as variáveis do usuário podem ser definidas dinamicamente durante o fluxo.

Aprenda a criar:

Parâmetros de pipeline

Use parâmetros de pipeline para especificar um valor em pipeline de tempo de execução. Por exemplo, se você deseja que um usuário entre em um espaço de implementação para saída de pipeline, use um parâmetro para solicitar o nome do espaço a ser usado quando o pipeline for executado. Especificar o valor do parâmetro cada vez que você executar a tarefa ajuda a usar os recursos corretos.

Sobre parâmetros de pipeline:

  • pode ser designado como um valor de nó ou designá-lo para a tarefa de pipeline
  • pode ser designado a qualquer nó e um indicador de status o alertará.
  • pode ser usado para vários nós

Definindo um parâmetro de pipeline

  1. Crie um parâmetro de pipeline a partir do painel de configuração do nó na barra de ferramentas.
  2. Insira um nome e uma descrição opcional O nome deve ser letra snake minúscula com letras minúsculas, números e sublinhados Por exemplo, lower_snake_case_with_numbers_123 é um nome válido.. O nome deve começar com uma letra. Se o nome não for compatível, você receberá um erro 404 ao tentar executar o pipeline.
  3. Designe um tipo de parâmetro. Dependendo do tipo de parâmetro, pode ser necessário fornecer mais detalhes ou designar um valor padrão.
  4. Clique em Incluir à lista para salvar o parâmetro pipeline.
Nota:


-É possível definir um parâmetro individual ou criar um conjunto de parâmetros.. Os parâmetros definidos individualmente também podem ser incluídos em um conjunto.
-É possível usar um parâmetro de pipeline de maneiras que podem produzir resultados não suportados em um pipeline Se você designar um parâmetro com um ativo genérico como seu valor, poderá selecionar um ativo como o valor de parâmetro que não é suportado pelo nó Copiar ativo .

tipos de parâmetro

Os tipos de parâmetro são categorizados como:

  • Básico: incluindo tipos de dados para estruturar a entrada para um pipeline ou opções para a manipulação da criação de um espaço ou ativo duplicado.
  • Recurso: para selecionar um projeto, catálogo, espaço ou ativo.
  • Instância: para selecionar uma instância de aprendizado de máquina ou uma instância do Cloud Object Storage .
  • Outro: para especificar detalhes, como modo de criação ou política de erro.

Exemplo de uso de tipos de pipeline

Para criar um parâmetro do tipo Caminho::

  1. Crie um conjunto de parâmetro chamado MASTER_PARAMETER_SET.
  2. Crie um parâmetro chamado file_path e configure o tipo para Caminho
  3. Configure o valor de file_path para mnts/workspace/masterdir. Há várias maneiras de configurar o valor:
    • Selecionar recurso: procure o arquivo em seus escopos com a UI.
    • Insira o valor: Um texto válido para o caminho relativo do arquivo, por exemplo, /mnts/sender.txt
  4. Arraste o nó Aguardar arquivo para a tela e configure o valor Local do arquivo para MASTER_PARAMETER_SET.file_path.
  5. Conecte o Aguardar arquivo ao nó Executar script Bash para que o último nó seja executado após o primeiro.
  6. Opcional: teste sua variável de parâmetro:
    1. Inclua o parâmetro da variável de ambiente no conjunto de parâmetros MASTER_PARAMETER_SET , por exemplo, FILE_PATH.
    2. Cole o comando a seguir no Código de script do Executar script Bash:
      echo File: $FILE_PATH
cat $FILE_PATH
  7. Execute o pipeline. O caminho mnts/workspace/masterdir está em ambos os logs de execução dos nós para ver se eles foram transmitidos com êxito

Configurando um nó com um parâmetro de pipeline

Ao configurar um nó com um parâmetro de pipeline, é possível escolher um parâmetro de pipeline existente ou criar um novo como parte da configuração de um nó.

Por exemplo:

  1. Crie um parâmetro de pipeline chamado creationmode e salve-o à lista de parâmetros.
  2. Configure um nó Criar espaço de implementação e clique para abrir o painel de configuração.
  3. Escolha o parâmetro Pipeline como a entrada para a opção Modo de criação .
  4. Escolha o parâmetro de pipeline creationmode e salve a configuração.

Ao executar o fluxo, o parâmetro de pipeline é designado quando o espaço é criado.

Conjuntos de parâmetros

Os conjuntos de parâmetros são um grupo de parâmetros relacionados para usar em um pipeline. Por exemplo, você pode criar um conjunto de parâmetros para usar em um ambiente de teste e outro para usar em um ambiente de produção.

Os conjuntos de parâmetros podem ser criados como um ativo do projeto. Os conjuntos de parâmetros criados no projeto estão então disponíveis para uso em pipelines nesse projeto.

Criando um conjunto de parâmetros como ativo de projeto

Você pode criar um conjunto de parâmetros como um ativo de projeto reutilizável para usar em pipelines.

  1. Abra um projeto existente ou crie um projeto.
  2. Clique em New asset > Define reusable sets of parameters (Novo ativo > Definir conjuntos de parâmetros reutilizáveis ).
  3. Atribua um nome para o conjunto, e especifique os detalhes para cada parâmetro no conjunto, incluindo:
    • Nome para o parâmetro
    • Tipo de dados
    • Avisar
    • Valor Padrão
  4. Opcionalmente, crie conjuntos de valor para os parâmetros no conjunto de parâmetro. Os conjuntos de valores podem ser os diferentes valores para diferentes contextos. Por exemplo, você pode criar um valor de Teste configurado com valores para um ambiente de teste, e um conjunto de produção para valores de produção.
  5. Salve o conjunto de parâmetros após criar todos os parâmetros, s. Ele fica disponível para uso em pipelines que são criados nesse projeto.

Adicionando um conjunto de parâmetros para uso em um pipeline

Para adicionar um parâmetro definido a partir de um projeto:

  1. Clique no ícone objetos globais e alterne para a guia Conjuntos de parâmetros.
  2. Clique em Adicionar conjunto de parâmetros para adicionar conjuntos de parâmetros do seu projeto que você deseja utilizar em seu pipeline.
  3. Você pode adicionar ou remover conjuntos de parâmetros da lista. Os conjuntos de parâmetros especificados para uso em seu pipeline se tornam disponíveis quando você designa parâmetros como entrada no pipeline.

Como criar um parâmetro definido a partir da lista de parâmetros em seu pipeline

Você pode criar um parâmetro definido a partir da lista de parâmetros para o seu pipeline

  1. Clique no ícone de objetos globais e abra os Parâmetros de Pipeline
  2. Selecione os parâmetros desejados no conjunto, em seguida, clique no ícone Salvar como conjunto de parâmetro .
  3. Digite um nome e descrição opcional para o conjunto.
  4. Salve para adicionar o conjunto de parâmetros para uso em seu pipeline.

Usando um conjunto de parâmetros em um pipeline

Para usar um conjunto de parâmetros:

  1. Escolha Designar parâmetro de pipeline como um tipo de entrada de uma planilha de propriedades do nó.
  2. Escolha o parâmetro para designar. Uma lista exibe todos os parâmetros disponíveis do tipo para essa entrada Parâmetros disponíveis podem ser parâmetros individuais e parâmetros definidos como parte de um conjunto. O nome do conjunto de parâmetros precede o nome do parâmetro.. Por exemplo, Parameter_set_name.Parameter_name
  3. Execute o pipeline e selecione um valor configurado para o valor correspondente (se disponível), designe um valor para o parâmetro ou aceite o valor padrão.
Nota: É possível usar um conjunto de parâmetros no construtor de expressões usando o formato ` param_sets`. Se um valor do conjunto de parâmetros contiver uma variável de ambiente, você deverá usar esta sintaxe no construtor de expressões:`param_sets.MyParamSet["$ICU_DATA" ]`.

Uso de conjuntos de parâmetros padrão do projeto

Um projeto pode ter um conjunto de parâmetros denominado PROJDEF. Esse conjunto de parâmetros contém um conjunto global de propriedades que podem ser referenciadas a partir de um fluxo de DataStage ou fluxo de pipelines. Como se trata de um conjunto de parâmetros, você pode usar a interface do usuário do conjunto de parâmetros existente para gerenciar essas variáveis.

Tenha cuidado com os PROJDEFs:

  • Você pode fazer referência a um valor de conjunto de parâmetros PROJDEF com o valor PROJDEF do parâmetro do pipeline.
  • O valor PROJDEF é compatível com parâmetros de todos os tipos, exceto parâmetros criptografados.
  • Os parâmetros do conjunto de parâmetros PROJDEF devem usar o mesmo nome que os parâmetros do pipeline que têm o valor PROJDEF.

Para usar o PROJDEF em um projeto:

  1. Crie o conjunto de parâmetros PROJDEF.
  2. Adicione qualquer parâmetro ao seu conjunto de parâmetros PROJDEF, por exemplo, SOME_DATE.
  3. Clique em Objetos globais na barra de ferramentas.
  4. Clique em Adicionar parâmetro PROJDEF.
  5. Selecione o parâmetro na lista.
Atenção: Se você excluir um parâmetro, certifique-se de remover as referências ao parâmetro de seu design de tarefa. Se você não remover as referências, sua tarefa poderá falhar.

Editando um parâmetro configurado em um job

Se você usar um parâmetro definido ao definir um trabalho, você pode escolher um conjunto de valor para preencher variáveis com os valores nesse conjunto. Se você alterar e salvar os valores, edite a tarefa e salve as mudanças, os valores do conjunto de parâmetros serão reconfigurados para os padrões..

Variáveis do usuário

Crie variáveis de usuário para atribuir valores quando o fluxo for executado. Ao contrário dos parâmetros de pipeline, as variáveis de usuário podem ser modificadas durante o processamento.

Definindo uma variável de usuário

É possível criar variáveis de usuário para uso em seu pipeline. As variáveis de usuário, como parâmetros, são definidas no nível global e não são específicas para nenhum nó O valor inicial para uma variável de usuário deve ser configurado ao definí-la e não pode ser configurado dinamicamente como o resultado de qualquer saída de nó. Ao definir uma variável de usuário, é possível usar o nó Configurar variáveis de usuário para atualizá-lo com saída de nó.

Para criar uma variável de usuário:

  1. Crie uma variável a partir do painel de configuração do nó Atualizar Variável ou a partir da barra de ferramentas.
  2. Insira um nome e uma descrição opcional O nome deve ser letra snake minúscula com letras minúsculas, números e sublinhados Por exemplo, lower_snake_case_with_numbers_123 é um nome válido. O nome deve começar com uma letra. Se o nome não for compatível, você receberá um erro 404 ao tentar executar o pipeline.
  3. Conclua a definição da variável, incluindo a escolha de um tipo de variável e tipo de entrada.
  4. Clique em Incluir para incluir a variável à lista. Agora ela está disponível para uso em um nó.

Definir um fuso horário

Você pode definir o fuso horário em seu configmap.

  1. Abra seu configmap executando o comando kubectl edit -n <namespace> configmap watson-pipelines-config em que namespace é o namespace da instância Cloud Pak for Data.
  2. Defina o valor de seu fuso horário com o seguinte exemplo de código:
    apiVersion: v1
kind: ConfigMap
metadata:
   name: watson-pipelines-config
   namespace: zen
data:
   default_container_env: |
      - name: TZ
        value: America/New_York
  3. Defina o valor de seu fuso horário no CR do Pipelines:
    oc patch wspipelines wspipelines-cr -p '{"spec":{"timezone":"America/New_York"}}' --type=merge
  4. Aguarde a conclusão da reconciliação com:
    oc get wspipelines wspipelines-cr