Planejando um pipeline

Revise essas considerações conforme você planeja como se conectará a recursos, incluirá ativos e gerenciará recursos em seu pipeline.

Acessando os componentes em seu pipeline

Ao usar um pipeline para automatizar um fluxo, você deve ter acesso a todos os elementos no pipeline. Certifique-se de criar e executar pipelines com o acesso adequado a todos os ativos, projetos e espaços usados no pipeline Os colaboradores que executam o pipeline também devem poder acessar os componentes do pipeline.

Gerenciando credenciais de pipeline

Para executar uma tarefa, o pipeline deve ter acesso às credenciais do Cloud Pak for Data Geralmente, um pipeline usa sua chave de API pessoal para executar operações de longa execução no pipeline sem interrupção.. Se as credenciais não estiverem disponíveis ao criar a tarefa, será solicitado que você forneça uma chave API ou crie uma nova.

Para gerar uma chave de API da conta do usuário do yourIBM Cloud Pak for Data :

Acesse seu perfil do usuário.
Clique em Chaves API > Gerar novo token.
Crie ou selecione uma chave API para sua conta do usuário.

Incluindo ativos em um pipeline

Ao criar um pipeline, inclua ativos, como dados, blocos de notas, tarefas de implementação ou tarefas do Data Refinery no pipeline para orquestrar um processo sequencial. O método altamente recomendado para incluir ativos em um pipeline é coletar os ativos no projeto que contém o pipeline e usar o navegador do ativo para selecionar os ativos do projeto para o pipeline

Atenção: embora seja possível incluir ativos de outros projetos, isso pode introduzir complexidades e problemas em potencial em seu pipeline e pode ser proibido em uma liberação futura. A prática recomendada é usar ativos do projeto atual.

Gerenciar recursos configurando limites de memória

Configure o limite de tamanho de memória da sua instância do Cloud Pak for Data do Redis para evitar o consumo excessivo de memória O tamanho da memória recomendado é um múltiplo do máximo de execuções paralelas e do limite de tamanho da variável do usuário... Por exemplo, se você acomodar 1000 pipelines paralelos e o limite de tamanho da variável do usuário for 256Ki; considere configurar o limite de memória como 256Mi.

Verifique o limite de memória do Redis com o comando a seguir: $ oc get StatefulSet redis-ha-server -o yaml
Configure seu limite de variável de usuário.

Atualizar tipo de tempo de execução padrão

É possível atualizar o tipo de tempo de execução padrão para nós, atualizando seu ConfigMap

Abra o ConfigMap watson-pipelines-config e atualize o valor default_runtime_type com:

shared padroniza nós para usar tempos de execução compartilhados.
standalone padroniza nós para usar tempos de execução independentes.

Um exemplo é o seguinte:

oc -n cpd-instance get cm watson-pipelines-config  -o yaml
apiVersion: v1
data:
  default_runtime_type: shared
  shutdown: "false"
  user_variables_size_limit: 64Ki
kind: ConfigMap

As atualizações para o ConfigMap afetam apenas novos nós Os nós existentes não são afetados