Executando e salvando pipelines
Saiba como executar pipelines em tempo real ou em um planejamento e como preservar suas versões de pipeline.
É possível executar as seguintes tarefas:
- Executando um pipeline
- Criando uma tarefa de pipeline
- Salvando uma versão de um pipeline
- Exportando ativos de pipeline para implementação
Executando um pipeline
É possível executar um pipeline em tempo real para testar um fluxo conforme você trabalha. Quando estiver satisfeito com um pipeline, será possível definir uma tarefa para executar um pipeline com parâmetros ou para executar em um planejamento.
Para executar um pipeline:
- Clique em Executar Pipeline na barra de ferramentas
- Escolha uma opção:
- Execução de avaliação executa o pipeline sem criar uma tarefa. Use-a para testar um pipeline.
- Criar uma tarefa oferece a você com uma interface para configurar e planejar uma tarefa para executar o pipeline. É possível salvar e reutilizar detalhes de execução, como parâmetros de pipeline, para uma versão do pipeline.
- Visualizar histórico compara todas as suas execuções ao longo do tempo.
Deve-se assegurar que os requisitos sejam atendidos ao executar um pipeline. Por exemplo, pode ser necessário um espaço de implementação ou uma chave de API para executar alguns de seus nós antes de poder iniciar.
Configurando um nome de execução da tarefa.
Opcionalmente, é possível especificar um nome de execução de tarefa ao executar um fluxo de pipeline ou uma tarefa de pipeline e ver as diferentes execuções de tarefa no painel Detalhes da tarefa . Caso contrário, também será possível designar um parâmetro local DSJobInvocationId para um nó Executar tarefa de pipeline ou nó Executar tarefa DataStage (o último não está disponível para watsonx).
Se o parâmetro DSJobInvocationId e o nome de execução da tarefa do nó estiverem configurados DSJobInvocationId serão usados. Se nenhum for configurado, o valor padrão "job run" será usado.
Criando uma tarefa de pipeline
A seguir estão todas as opções de configuração para definir uma tarefa para executar o pipeline.
- Nomeie a sua tarefa de pipeline e escolha uma versão
- Insira sua chave de API do IBM
- (Opcional) Planeje sua tarefa alternando o botão Planejar .
- Escolha a data de início e ajuste seu planejamento para repetir por minuto, hora, dia, semana, mês.
- Inclua dias de exceção para evitar que a tarefa seja executada em determinados dias
- Inclua um horário para finalizar a tarefa
- (Opcional) Selecione os conjuntos de parâmetros necessários para seu trabalho, por exemplo, atribuir um espaço a um nó de implementação. Por padrão, seu trabalho é executado usando o conjunto de parâmetros adicionado ao pipeline. Isso pode ser substituído pela seleção de outro conjunto de parâmetros. Para ver como criar um parâmetro de pipeline, consulte Definindo parâmetros de pipeline em Criando um pipeline.
- (Opcional) Escolha se você deseja ser notificado sobre o status da tarefa de pipeline após a execução
Visualizando resultados do pipeline
Depois de executar um pipeline a partir de uma execução de avaliação ou de uma tarefa, é possível visualizar o status e outros detalhes da execução, como resultados de parâmetros no Rastreador de execução.
Abra cada guia para visualizar detalhes da execução de pipeline..
| Tabulação | Descrição |
|---|---|
| Inspetor de nós | Selecione um nó primeiro e, em seguida, clique no inspetor de nó para visualizar os detalhes da operação de execução de cada nó após a execução, como logs, entrada e saída |
| Saída do nó | Visualize os resultados de cada nó em uma lista consolidada Se a execução falhar, mensagens de erro e logs serão fornecidos para ajudá-lo a corrigir problemas. |
| Detalhes de execução | Se eles estiverem disponíveis, será possível visualizar uma lista de parâmetros que são o resultado da execução de pipeline ou de várias execuções de pipeline Se o pipeline estiver associado às tarefas do DataStage , elas também aparecerão |
Notas sobre a execução de um pipeline
- Erros no pipeline são sinalizados com um badge de erro. Abra o nó ou a condição com um erro para alterar ou concluir a configuração
- Visualizar os logs consolidados para revisar operações ou identificar problemas com o pipeline.
Salvando uma versão de um pipeline
É possível salvar uma versão de um pipeline e revertê-la posteriormente. Por exemplo, se desejar preservar uma configuração específica antes de fazer alterações, salve uma versão. É possível reverter o pipeline para uma versão anterior. Quando um pipeline é compartilhado, a versão mais recente é usada.
Para salvar uma versão:
- Clique no ícone de Versões na barra de ferramentas
- Na área de janela Versões, clique em Salvar versão para criar uma nova versão com um número da versão incrementado por 1. Você pode salvar quantas versões de pipeline forem necessárias, sem limite.
Ao executar o pipeline, é possível escolher entre versões salvas disponíveis.
Exportando ativos de pipeline para espaços de implementação
Orchestration Pipelines não permite a implantação rápida nem a promoção de pipelines, como acontece com outros ativos. Em vez disso, é possível exportar os ativos de um projeto ou espaço e importá-los em um espaço de implementação Ao exportar, inclua pipelines na lista de ativos exportados para um arquivo zip e, em seguida, importe para um projeto ou espaço.
A importação de um pipeline em um espaço estende seus recursos de MLOps para executar tarefas para vários ativos de um espaço ou para mover todas as tarefas de uma pré-produção para um espaço de produção. Observe estas considerações para trabalhar com pipelines em um espaço:
- Os pipelines em um espaço são somente leitura Não é possível editar o pipeline.. Deve-se editar o pipeline do projeto, em seguida, exportar o pipeline atualizado e importá-lo no espaço.
- Embora não seja possível editar o pipeline em um espaço, é possível criar novas tarefas para executar o pipeline.. Também é possível usar parâmetros para designar valores para tarefas para que seja possível ter valores diferentes para cada tarefa configurada.
- Se já houver um pipeline no espaço com o mesmo nome, a importação do pipeline falhará
- Se não houver pipeline no espaço com o mesmo nome, um pipeline com a versão 1 será criado no espaço.
- Quaisquer ativos ou referências de suporte necessários para executar uma tarefa de pipeline também devem fazer parte do pacote de importação ou a tarefa falhará.
- Se seu pipeline contiver ativos ou ferramentas não suportados em um espaço, como uma tarefa do modelador SPSS , a tarefa do pipeline falhará.
- É possível automatizar a importação de exportação com uma ferramenta CLI como CPDCTL.
Visualização das dependências do pipeline
Visualize e gerencie as dependências do pipeline clicando no ícone more ao lado dos ativos do pipeline. Selecione Ver relacionamentos no menu suspenso.
Fazendo download de pipelines
Agora é possível fazer o download de um fluxo de pipeline genérico Também é possível fazer o download de um fluxo com dependências relacionadas ao DataStage e, em seguida, usar a funcionalidade de upload do DataStage para fazer upload e recriar o pipeline e suas dependências.
Selecione Ativar funções do DataStage no Expression Builder e suporte a opção de download de Pipelines em suas configurações de pipelines para ativar o botão de pipeline de download.
Clique em Fazer download de fluxo e dependências na barra de ferramentas da tela de pipeline para fazer o download do pipeline
Faça upload do arquivo zip no fluxo de criação do DataStage . Você deve fazer isso em seu projeto watsonx.ai Studio.