Configurando nós de pipeline
Configure os nós do seu pipeline para especificar entradas e para criar saídas como parte de seu pipeline.
Especificando o escopo da área de trabalho
Por padrão, o escopo para um pipeline é o projeto que contém o pipeline Você pode especificar explicitamente um escopo diferente do padrão, para localizar um ativo usado no pipeline. O escopo é o projeto, catálogo ou espaço que contém o ativo. Na interface com o usuário, é possível navegar para o escopo.
Mudando o modo de entrada
Ao configurar um nó, é possível especificar quaisquer recursos que incluam dados e blocos de notas de várias maneiras. Como inserir diretamente um nome ou ID, procurar um ativo ou usar a saída de um nó anterior no pipeline para preencher um campo. Para ver quais opções estão disponíveis para um campo, clique no ícone de entrada do campo. Dependendo do contexto, as opções podem incluir:
- Selecionar recurso: use o navegador de ativos para localizar um ativo, como um arquivo de dados, ou insira o valor de entrada diretamente.
- Atribuir parâmetro pipeline: atribuir um valor usando uma variável configurada com um parâmetro pipeline. Para obter mais informações, consulte Configurando objetos globais.
- Selecionar de outro nó: use a saída de um nó anterior no pipeline como o valor para este campo.
- Insira a expressão: inserir código para designar valores ou identificar recursos. Para obter mais informações, consulte Funções utilizadas no Construtor de Expressões do Orchestration Pipelines.
- Do script: use a saída de um script Bash ou de um script de shell Korn para atribuir o valor. Para o código de script em linha, use o comando
echo <path_of_script>para salvar a saída do script como uma entrada.
Nós e parâmetros de pipeline
Configure os seguintes tipos de nós de pipeline:
Copiar nós
Use nós Copiar para adicionar ativos em seu pipeline ou para exportar ativos de pipeline.
Copie os ativos selecionados de um projeto ou espaço para um espaço não vazio. É possível copiar esses ativos para um espaço:
Experimento do AutoAI
Tarefa de pacote de códigos
Conexão
Fluxo do Data Refinery
Tarefa do Data Refinery
Ativo de dados
Tarefa do DataStage
Tarefa de implementação
Meio ambiente
Função
Tarefa
Modelo
Bloco de notas
Tarefa do bloco de notas
Tarefa de pipelines
Script
Tarefa do script
Tarefa do SPSS Modeler
Ativos de cópia
Parâmetros de entrada
| Parâmetro | Descrição |
|---|---|
| Ativos de origem | Navegue ou procure o ativo de origem para incluir na lista. Também é possível especificar um ativo com um parâmetro de pipeline, com a saída de outro nó ou inserindo o ID do ativo |
| Destino | Navegue ou procure o espaço de destino. |
| Modo de cópia | Escolha como manipular um caso em que o fluxo tenta copiar um ativo e existe um do mesmo nome. Uma de: ignore, fail, overwrite |
Parâmetros de saída
| Parâmetro | Descrição |
|---|---|
| Ativos de saída | Lista de ativos copiados |
Exportar ativos
Exporte os ativos selecionados do escopo, por exemplo, um projeto ou espaço de implementação. A operação exporta todos os ativos por padrão. É possível limitar a seleção de ativos construindo uma lista de recursos para exportação.
Parâmetros de entrada
| Parâmetro | Descrição |
|---|---|
| Ativos | Escolha Escopo para exportar todos os itens exportáveis ou escolha Lista para criar uma lista de itens específicos para exportar |
| Projeto ou espaço de origem | Nome do projeto ou espaço que contém os ativos a serem exportados |
| Arquivo exportado | Local do arquivo para armazenar o arquivo de exportação |
| Modo de criação (opcional) | Escolha como manipular um caso em que o fluxo tenta criar um ativo e existe um com o mesmo nome.. Uma de: ignore, fail, overwrite |
Parâmetros de saída
| Parâmetro | Descrição |
|---|---|
| Arquivo exportado | Caminho para arquivo exportado |
Notas:
Se você exportar ativos do projeto que contêm um bloco de notas, a versão mais recente do bloco de notas será incluída no arquivo de exportação Se o Pipeline com o nó Executar tarefa de bloco de notas foi configurado para usar uma versão de bloco de notas diferente da versão mais recente, o Pipeline exportado será automaticamente reconfigurado para usar a versão mais recente quando for importado Isso pode produzir resultados inesperados ou requerer alguma reconfiguração após a importação
Se os ativos forem autocontidos no projeto exportado, eles serão retidos quando você importar um novo projeto Caso contrário, alguma configuração pode ser necessária após uma importação de ativos exportados.
Importar ativos
Importe os ativos de um arquivo ZIP que contenha ativos exportados
Parâmetros de entrada
| Parâmetro | Descrição |
|---|---|
| Caminho para o destino de importação | Navegue para ou procure os ativos para importar |
| Archive para importar | Especifique o caminho para um arquivo ou archive ZIP.. |
Notas: depois de importar um arquivo, caminhos e referências para os ativos importados são atualizados, seguindo estas regras:
- Referências a ativos do projeto ou espaço exportado são atualizadas no novo projeto ou espaço após a importação.
- Se os ativos do projeto exportado fizerem referência a ativos externos (incluídos em um projeto diferente), a referência ao ativo externo persistirá após a importação.
- Se o ativo externo não existir mais, o parâmetro será substituído por um valor vazio e você deverá reconfigurar o campo para apontar para um ativo válido.
Criar nós
Configure os nós para criar ativos no pipeline.
Criar experimento de AutoAI
Use esse nó para treinar um AutoAI classificação ou experimento de regressão e gerar pipelines de modelo-candidato
Parâmetros de entrada
| Parâmetro | Descrição |
|---|---|
| Nome do experimento de AutoAI | Nome do novo experimento |
| Escopo | Um projeto ou um espaço, onde o experimento será criado |
| Tipo de predição | O tipo de modelo para os dados a seguir: binário, classificação ou regressão |
| Coluna de predição (rótulo) | O nome da coluna de predição. |
| Classe positiva (opcional) | Especifique uma classe positiva para um experimento de classificação binária |
| Proporção de divisão de dados de treinamento (opcional). | A porcentagem de dados a serem retidos do treinamentos e usados para testar os pipelines (flutuação: 0,0 - 1,0). |
| Algoritmos a incluir (opcional) | Limite a lista de estimadores a serem utilizados (a lista depende do tipo de aprendizagem) |
| Algoritmos para usar | Especifique a lista de estimadores a serem utilizados (a lista depende do tipo de aprendizado) |
| Otimizar métrica (opcional) | A métrica usada para a classificação de modelo. |
| Especificação de hardware (opcional) | Especifique uma especificação de hardware para o experimento |
| Descrição do experimento de AutoAI | Descrição do experimento |
| Tags de experimento AutoAI (opcional) | Tags para identificar o experimento |
| Modo de criação (opcional) | Escolha como manipular um caso em que o pipeline tenta criar um experimento e existe um com o mesmo nome Uma de: ignore, fail, overwrite |
Parâmetros de saída
| Parâmetro | Descrição |
|---|---|
| Experimento do AutoAI | Caminho para o modelo salvo |
Criar experimento de série temporal do AutoAI
Use esse nó para treinar um experimento de série temporal do AutoAI e gerar pipelines de candidato a modelo
Parâmetros de entrada
| Parâmetro | Descrição |
|---|---|
| Nome do experimento de série temporal do AutoAI | Nome do novo experimento |
| Escopo | um projeto ou espaço, no qual o pipeline será criado |
| Colunas de predição (rótulo) | O nome de uma ou mais colunas de predição |
| Coluna de data/hora (opcional) | Nome da coluna de data / hora |
| Aproveitar valores futuros de recursos de apoio | Escolha "True" para ativar a consideração para suportar recursos (exógenos) para melhorar a previsão. Por exemplo, inclua um recurso de temperatura para prever vendas de sorvete. |
| Recursos de suporte (opcional). | Escolha recursos de suporte e inclua na lista |
| Método de imputação (opcional) | Escolha uma técnica para imputar valores omissos em um conjunto de dados.. |
| Limite de imputação (opcional) | Especifique um limite superior para a porcentagem de valores omissos para fornecer o método de imputação especificado. Se o limite for excedido, o experimento falha. Por exemplo, se você especificar que 10% dos valores podem ser imputadas e o conjunto de dados tiver 15% de valores ausentes, o experimento falhará |
| Preencher tipo | Especifique como o método de imputação especificado preenche valores nulos. Escolha fornecer uma média de todos os valores e mediana de todos os valores ou especificar um valor de preenchimento. |
| Valor de preenchimento (opcional) | Se você selecionou sepcify um valor para substituir valores nulos, insira o valor neste campo. |
| Conjunto de dados de treinamento final | Escolha se deseja treinar pipelines finais com apenas os dados de treinamento ou com dados de treinamento e dados de validação.. Se você escolher dados de treinamento, o bloco de notas gerado incluirá uma célula para recuperar dados de validação |
| Tamanho de validação (opcional) | Se você estiver dividindo dados de treinamento em dados de treinamento e validação, especifique uma porcentagem dos dados de treinamento a serem reservados como dados de validação para validar os pipelines. Os dados de validação não excedem um terço dos dados |
| Número de backtests (opcional) | Customize os backtests para validar seu experimento de série temporal |
| Comprimento da diferença (opcional) | Ajuste o número de pontos de tempo entre o conjunto de dados de treinamento e o conjunto de dados de validação para cada backtest. Quando o valor de parâmetro é diferente de zero, os valores de séries temporais na diferença não são usados para treinar o experimento ou avaliar o backtest atual |
| Janela de lookback (opcional) | Um parâmetro que indica quantos valores de série temporal anteriores são usados para prever o momento atual. |
| Janela de previsão (opcional) | O intervalo que você deseja prever com base nos dados na janela lookback. |
| Algoritmos a incluir (opcional) | Limite a lista de estimadores a serem utilizados (a lista depende do tipo de aprendizagem) |
| Pipelines para conclusão | Opcionalmente, ajuste o número de pipelines a serem criados Mais pipelines aumentam o tempo e os recursos de treinamento |
| Especificação de hardware (opcional) | Especifique uma especificação de hardware para o experimento |
| Descrição do experimento de séries temporais AutoAI (opcional) | Descrição do experimento |
| Tags de experimento AutoAI (opcional) | Tags para identificar o experimento |
| Modo de criação (opcional) | Escolha como manipular um caso em que o pipeline tenta criar um experimento e existe um com o mesmo nome Uma de: ignore, fail, overwrite |
Parâmetros de saída
| Parâmetro | Descrição |
|---|---|
| Experimento de série temporal do AutoAI | Caminho para o modelo salvo |
Criar implementação em lote
Use este nó para criar uma implementação em lote para um modelo de aprendizado de máquina
Parâmetros de entrada
| Parâmetro | Descrição |
|---|---|
| Ativo de aprendizado de máquina | O nome ou ID do ativo de aprendizado de máquina a ser implementado |
| Novo nome de implementação (opcional). | O nome da nova tarefa, com descrição opcional e tags. |
| Modo de criação (opcional) | Como manipular um caso em que o pipeline tenta criar uma tarefa e existe um nome igual. Uma de: ignore, fail, overwrite |
| Nova descrição de implementação (opcional). | Descrição da implementação |
| Novas tags de implementação (opcional) | Tags para identificar a implementação |
| Especificação de hardware (opcional) | Especifique uma especificação de hardware para a tarefa |
Parâmetros de saída
| Parâmetro | Descrição |
|---|---|
| Nova implementação | Caminho da implementação recém-criada |
Criar ativo de dados
Use este nó para criar um ativo de dados
Parâmetros de entrada
| Parâmetro | Descrição |
|---|---|
| Arquivo | Caminho para arquivo em um armazenamento de arquivos |
| Escopo de destino | Caminho para o espaço ou projeto de destino |
| Nome (opcional) | Nome da origem de dados com descrição opcional, país de origem e tags |
| Descrição (opcional) | Descrição para o ativo |
| País de origem (opcional) | País de origem para regulamentos de dados |
| Marcações (opcional) | Tags para identificar ativos |
| Modo de criação | Como manipular um caso em que o pipeline tenta criar uma tarefa e existe um nome igual. Uma de: ignore, fail, overwrite |
Parâmetros de saída
| Parâmetro | Descrição |
|---|---|
| Ativo de dados | O ativo de dados recém-criado |
Criar espaço de implementação
Use esse nó para criar e configurar um espaço que pode ser usado para organizar e criar implemenções
Parâmetros de entrada
| Parâmetro | Descrição |
|---|---|
| Novo do nome espaço | O nome do novo espaço com descrição opcional e tags. |
| Novas tags de espaço (opcional) | Tags para identificar o espaço |
| Novo CRN de instância do COS do espaço | CRN da instância de serviço do COS |
| Novo espaço WML instância CRN (opcional) | CRN da instância do serviço de tempo de execução watsonx.ai |
| Modo de criação (opcional) | Como manipular um caso em que o pipeline tenta criar um espaço e existe um nome igual. Uma de: ignore, fail, overwrite |
| Descrição do espaço (opcional) | Descrição do espaço |
Parâmetros de saída
| Parâmetro | Descrição |
|---|---|
| Espaço | Caminho do espaço recém-criado |
Criar implementação on-line
Use esse nó para criar uma implementação on-line na qual é possível enviar dados de teste diretamente para um terminal da API de REST do serviço da web
Parâmetros de entrada
| Parâmetro | Descrição |
|---|---|
| Ativo de aprendizado de máquina | O nome ou ID do ativo de aprendizado de máquina a ser implementado |
| Novo nome de implementação (opcional). | O nome da nova tarefa, com descrição opcional e tags. |
| Modo de criação (opcional) | Como manipular um caso em que o pipeline tenta criar uma tarefa e existe um nome igual. Uma de: ignore, fail, overwrite |
| Nova descrição de implementação (opcional). | Descrição da implementação |
| Novas tags de implementação (opcional) | Tags para identificar a implementação |
| Especificação de hardware (opcional) | Especifique uma especificação de hardware para a tarefa |
Parâmetros de saída
| Parâmetro | Descrição |
|---|---|
| Nova implementação | Caminho da implementação recém-criada |
Espere
Use nós para pausar um pipeline até que um ativo esteja disponível no local especificado no caminho.
Use este nó para aguardar até que todos os resultados dos nós anteriores no pipeline estejam disponíveis para que o pipeline possa continuar.
Este nó não usa entradas e não produz saídas. Quando todos os resultados estiverem disponíveis, o pipeline continuará automaticamente.
Aguardar todos os resultados
Use este nó para esperar até que qualquer resultado dos nós anteriores no pipeline esteja disponível para que o pipeline possa continuar. Execute os nós de recebimento de dados assim que qualquer uma das condições de envio de dados for atendida
Este nó não usa entradas e não produz saídas. Quando algum resultado estiver disponível, o pipeline continua automaticamente.
Aguardar qualquer resultado
Aguarde até que um ativo seja criado ou atualizado no local especificado no caminho de uma tarefa ou processo anterior no pipeline. Especifique um tempo limite para aguardar até que a condição seja atendida. Se 00:00:00 for o tempo limite especificado, o fluxo esperará indefinidamente.
Aguardar arquivo
Parâmetros de entrada
| Parâmetro | Descrição |
|---|---|
| Localização de arquivo | Especifique o local no navegador do ativo no qual o ativo reside Use o formato data_asset/filename em que o caminho é relativo à raiz. O arquivo deve existir e estar no local especificado ou o nó falhará com um erro. |
| Modo de espera | Por padrão o modo é para que o arquivo apareça. É possível mudar para aguardando o arquivo desaparecer |
| Tempo limite (opcional) | Especifique o tempo de espera antes de continuar com o pipeline. Use o formato hh:mm:ss |
| Política de erro (opcional) | Consulte Manipulando erros |
Parâmetros de saída
| Parâmetro | Descrição |
|---|---|
| Valor de retorno | Valor de retorno do nó |
| Status de execução | Retorna um valor de: Concluído, Concluído com avisos, Concluído com erros, Com falha ou Cancelado |
| Mensagem de status | Mensagem associada ao status |
Nós de controle
Controle o pipeline adicionando manipulação de erros e lógica.
Loops são um nó em um Pipeline que opera como um loop codificado.
Os dois tipos de loops são paralelos e sequenciais.
Você pode usar loops quando o número de iterações para uma operação é dinâmico. Por exemplo, se você não souber o número de notebooks para processar, ou deseja escolher o número de notebooks em tempo de execução, você pode usar um loop para iterar através da lista de notebooks.
Também é possível usar um loop para iterar através da saída de um nó ou através de elementos em uma matriz de dados.
Loops em paralelo
Inclua uma construção de loop paralelo no pipeline. Um loop paralelo executa os nós iterativos de forma independente e possivelmente simultaneamente.
Por exemplo, para treinar um modelo de aprendizado de máquina com um conjunto de hiperparâmetros para localizar o melhor executor, é possível usar um loop para iterar sobre uma lista de hiperparâmetros para treinar as variações do bloco de notas em paralelo Os resultados podem ser comparados mais tarde no fluxo para encontrar o melhor notebook. Para ver limites no número de loops você pode executar simultaneamente, consulte Limitações.
No exemplo a seguir, um nó Executar script Bash procura e recupera blocos de notas que correspondem aos critérios especificados.. Um nó da tarefa Executar DataStage recupera dados de um repositório Git Quando a entrada de cada nó está disponível, o processo de loop começa, executando cada bloco de notas recuperado pela procura e processando os dados recuperados do repositório Git .
Clique em Expandir para incluir nós ou no ícone de saída no nó para visualizar o processo de loop completo Conforme os blocos de notas são executados, quaisquer erros no bloco de notas são capturados em uma condição chamada Má Qualidade. A condição aciona um script Bash para incrementar uma variável de usuário denominada Aumentar contagem de erros. Quando o valor da variável Aumentar contagem de erros atender ao limite especificado, o loop será finalizado.
Como o fluxo é executado em paralelo para cada bloco de notas, ele retorna resultados mais rápidos que um loop sequencial.
Parâmetros de entrada ao iterar tipos de Lista
| Parâmetro | Descrição |
|---|---|
| Entrada de lista | O parâmetro List input contém dois campos, o tipo de dado da lista e o conteúdo da lista que o loop itera sobre ou um link padrão para entrada de pipeline ou saída de pipeline. |
| Paralelismo | Número máximo de tarefas a serem executadas simultaneamente. Deve ser maior que zero |
Parâmetros de entrada ao iterar tipos de Sequência
| Parâmetro | Descrição |
|---|---|
| Entrada de texto | Dados de texto dos quais o loop lê |
| Separator | Um caractere usado para dividir o texto |
| Paralelismo (opcional) | Número máximo de tarefas a serem executadas simultaneamente. Deve ser maior que zero |
Se o tipo de elemento de matriz de entrada for JSON ou qualquer tipo representado como tal, esse campo poderá decompô-lo como dicionário. Chaves são as chaves do elemento original e os valores são os aliases para nomes de saída.
Parâmetros de saída
| Parâmetro | Descrição |
|---|---|
| ID do nó de quebra de controle | Contém o ID do nó de terminação no qual o nó terminou; caso contrário, estará vazio |
| Status de execução | Informações sobre o estado da tarefa: pendente, iniciando, executando, concluído, cancelado ou falhou com erros |
| Mensagem de status | Informações sobre o estado da tarefa |
Loops em sequência
Inclua uma construção de loop sequencial no pipeline. Loops podem iterar sobre um intervalo numérico, uma lista ou texto com um delimitador.
Um caso de uso para loops sequenciais é se você deseja tentar uma operação 3 vezes antes de determinar se uma operação falhou
Parâmetros de entrada
| Parâmetro | Descrição |
|---|---|
| Entrada de lista | O parâmetro List input contém dois campos, o tipo de dado da lista e o conteúdo da lista que o loop itera sobre ou um link padrão para entrada de pipeline ou saída de pipeline. |
| Entrada de texto | Dados de texto dos quais o loop lê. Especifique um caractere para dividir o texto.. |
| Intervalo | Especifique a etapa de início, término e opcional para um intervalo para iterar. O passo padrão é 1. |
Após configurar o intervalo iterativo de loop, defina um fluxo de subpipeline dentro do loop para executar até que o loop seja concluído. Por exemplo, ele pode chamar bloco de notas, script ou outro fluxo por iteração.
Parâmetros de saída
| Parâmetro | Descrição |
|---|---|
| ID do nó de quebra de controle | Contém o ID do nó de terminação no qual o nó terminou; caso contrário, estará vazio |
| Status de execução | Informações sobre o estado da tarefa: pendente, iniciando, executando, concluído, cancelado ou falhou com erros |
| Mensagem de status | Informações sobre o estado da tarefa |
Finalizar o loop
Em um fluxo de processo de loop paralelo ou sequencial, é possível incluir um nó Finalizar pipeline para terminar o processo de loop a qualquer momento Você deve personalizar suas próprias condições de rescisão. Nos nós, você pode alterar o status do loop quando ele for encerrado como Completo ou Falha. Isso garante que você possa concluir o loop e ainda atender às condições de falha do nó do loop e optar por continuar com o pipeline ou realizar outras ações.
Configurar as variáveis de usuário
Configure uma variável de usuário com um par chave/valor e inclua a lista de variáveis dinâmicas para esse nó.
Para obter mais informações sobre como criar uma variável de usuário, consulte Configurando objetos globais.
Parâmetros de entrada
| Parâmetro | Descrição |
|---|---|
| Nome | Insira o nome, ou a chave, para a variável |
| Tipo de entrada | Escolha Expressão ou parâmetro Pipeline como o tipo de entrada. |
- Para expressões, use o Construtor de Expressões integrado para criar uma variável resultante de uma expressão customizada.
- Para parâmetros de pipeline, designe um parâmetro de pipeline e use o valor de parâmetro como entrada para a variável de usuário.
Finalizar o pipeline
Você pode iniciar e controlar a finalização de um pipeline com um nó de pipeline Terminate da categoria Controle. Quando o fluxo de erro é executado, você pode opcionalmente especificar como manipular notebook ou trabalhos de treinamento que foram iniciados por nós no pipeline. Você deve especificar se deve aguardar a conclusão das tarefas, cancelar as tarefas e, em seguida, parar o pipeline ou parar tudo sem cancelar. Especifique as opções para o nó do pipeline Terminate.
Parâmetros de entrada
| Parâmetro | Descrição |
|---|---|
| Modo terminador (opcional) | Escolha o comportamento para o fluxo de erro |
O modo terminador pode ser:
- Finalizar execução de pipeline e todas as tarefas em execução pára todas as tarefas e pára o pipeline.
- Cancelar todas as tarefas em execução então finalizar pipeline cancela quaisquer tarefas em execução antes de parar o pipeline.
- Finalizar execução de pipeline após a conclusão da execução de tarefas aguarda a conclusão da execução de tarefas e, em seguida, pára o pipeline.
- Finalizar pipeline que é executado sem parar tarefas para o pipeline, mas permite que as tarefas em execução continuem.
Atualizar os nós
Use nós de atualização para substituir ou atualizar ativos para melhorar o desempenho. Por exemplo, para padronizar tags, é possível atualizar para substituir uma tag por uma nova tag.
Atualize os detalhes de treinamento para um experimento doAutoAI
Atualizar o experimento de AutoAI
Parâmetros de entrada
| Parâmetro | Descrição |
|---|---|
| Experimento do AutoAI | Caminho para um projeto ou espaço no qual o experimento reside |
| Nome do experimento AutoAI (opcional) | O nome do experimento a ser atualizado, com descrição opcional e tags. |
| Descrição do experimento AutoAI (opcional) | Descrição do experimento |
| Tags de experimento AutoAI (opcional) | Tags para identificar o experimento |
Parâmetros de saída
| Parâmetro | Descrição |
|---|---|
| Experimento do AutoAI | Caminho do experimento atualizado |
Atualizar implementação em lote
Use estes parâmetros para atualizar uma implementação em lote.
Parâmetros de entrada
| Parâmetro | Descrição |
|---|---|
| Implementação | O caminho para a implementação a ser atualizada |
| Novo nome para a implementação (opcional) | Nome ou ID da implementação a ser atualizada |
| Nova descrição para a implementação (opcional) | Descrição da implementação |
| Novas tags para a implementação (opcional) | Tags para identificar a implementação |
| Ativo de aprendizado de máquina | O nome ou ID do ativo de aprendizado de máquina a ser implementado |
| Especificação de hardware | Atualize a especificação de hardware para a tarefa |
Parâmetros de saída
| Parâmetro | Descrição |
|---|---|
| Implementação | Caminho da implementação atualizada |
Atualizar espaço de implementação
Atualize os detalhes de um espaço.
Parâmetros de entrada
| Parâmetro | Descrição |
|---|---|
| Espaço | Caminho do espaço existente |
| Nome do espaço (opcional) | Atualize o nome do espaço |
| Descrição do espaço (opcional) | Descrição do espaço |
| Tags de espaço (opcional) | Tags para identificar o espaço |
| WML Instância (opcional) | Especifique uma nova instância do Machine Learning |
| WML instance | Especifique uma nova instância de aprendizado de máquina. Nota: Mesmo se você designar um nome diferente para uma instância na interface com o usuário, o nome do sistema é Instância de aprendizado de máquina. Diferenciar entre diferentes instâncias usando o CRN da instância.. |
Parâmetros de saída
| Parâmetro | Descrição |
|---|---|
| Espaço | Caminho do espaço atualizado |
Atualizar implementação on-line
Use esses parâmetros para atualizar uma implementação on-line (serviço da web)..
Parâmetros de entrada
| Parâmetro | Descrição |
|---|---|
| Implementação | Caminho para a implementação existente |
| Nome da implementação (opcional) | Atualizar o nome da implementação |
| Descrição de implementação (opcional) | Descrição da implementação |
| Tags de implementação (opcional) | Tags para identificar a implementação |
| Ativo (opcional). | O ativo (ou versão) do aprendizado de máquina a ser reimplementado |
Parâmetros de saída
| Parâmetro | Descrição |
|---|---|
| Implementação | Caminho da implementação atualizada |
Excluir Nós
Configure parâmetros para operações de exclusão.
Excluir
É possível excluir:
- Experimento do AutoAI
- Implementação em lote
- Espaço de implementação
- Implementação on-line
Para cada item, escolha o ativo para exclusão..
Executar nós
Use estes nós para treinar um experimento, executar um script ou executar um fluxo de dados.
Executar o experimento de AutoAI
Treina e armazena pipelines e modelos de AutoAI experimentais
Parâmetros de entrada
| Parâmetro | Descrição |
|---|---|
| Experimento do AutoAI | Procure o ativo Pipeline ML ou obtenha o experimento de um parâmetro de pipeline ou a saída de um nó anterior. |
| Ativo de dados de treinamento | Navegue ou procure os dados para treinar o experimento. Observe que é possível fornecer dados no tempo de execução usando um parâmetro de pipeline |
| Ativo de dados de validação (opcional) | Opcionalmente, escolha um arquivo separado para usar para dados de validação para testar o desempenho do modelo |
| Contagem de modelos (opcional) | Especifique quantos modelos devem ser salvos por meio dos pipelines com melhor desempenho. O limite é 3 modelos |
| Nome da execução (opcional). | Nome do experimento, descrição opcional e tags. |
| Prefixo do nome do modelo (opcional). | Prefixo usado para nomear modelos treinados O padrão é < (nome do experimento)> |
| Executar descrição (opcional) | Descrição da nova execução de treinamento |
| Executar tags (opcional) | Tags para nova execução de treinamento |
| Modo de criação (opcional) | Escolha como manipular um caso em que o fluxo de pipeline tenta criar um ativo e existe um do mesmo nome. Uma de: ignore, fail, overwrite |
| Política de erro (opcional) | Opcionalmente, substitua a política de erro padrão para o nó |
Parâmetros de saída
| Parâmetro | Descrição |
|---|---|
| Modelos | Lista de caminhos do modelo mais alto N treinado e persistente (ordenado por métrica de avaliação selecionada) |
| Best model | Caminho do modelo vencedor (com base na métrica de avaliação selecionada) |
| Métricas de modelo | uma lista de métricas de modelo treinado (cada item é um objeto aninhado com métricas como: holdout_accuracy, holdout_average_precision,...) |
| Métrica do modelo vencedor | A métrica de avaliação selecionada do modelo vencedor. |
| Métrica otimizada | A métrica usada para ajustar o modelo. |
| Status de execução | Informações sobre o estado da tarefa: pendente, iniciando, executando, concluído, cancelado ou falhou com erros |
| Mensagem de status | Informações sobre o estado da tarefa |
Executar script de bash
Execute um script Bash em linha ou um script de shell Korn para automatizar uma função ou um processo para o pipeline. Você pode inserir o código de script Bash manualmente ou pode importar o script bash a partir de um recurso, parâmetro de pipeline ou a saída de outro nó.
Você também pode usar um script Bash ou um script de shell Korn para processar arquivos de saída grandes. Por exemplo, você pode gerar uma lista grande e separada por vírgula que você pode então iterar ao usar um loop.
No exemplo a seguir, o usuário inseriu o código de script inline manualmente. O script usa a ferramenta cpdctl para pesquisar todos os notebooks com uma tag set variável e agrega os resultados em uma lista JSON. A lista pode então ser usada em outro nó, como executar os blocos de notas retornados da procura.
Parâmetros de entrada
| Parâmetro | Descrição |
|---|---|
| Código de script sequencial | Insira um script Bash ou um script de shell Korn no editor de código em linha. Opcional: como alternativa, é possível selecionar um recurso, designar um parâmetro de pipeline ou selecionar a partir de outro nó. |
| Variáveis de ambiente (opcionais) | Especifique um nome de variável (a chave) e um tipo de dados e inclua na lista de variáveis para usar no script. |
| Tipo de tempo de execução (opcional) | Selecione usar tempo de execução independente (padrão) ou um tempo de execução compartilhado. Use um tempo de execução compartilhado para tarefas que requerem a execução em pods compartilhados |
| Política de erro (opcional) | Opcionalmente, substitua a política de erro padrão para o nó |
Parâmetros de saída
| Parâmetro | Descrição |
|---|---|
| Variáveis de saída | Configure um par chave / valor para cada variável customizada e, em seguida, clique no botão Incluir para preencher a lista de variáveis dinâmicas para o nó |
| Valor de retorno | Valor de retorno do nó |
| Saída padrão | Saída padrão do script |
| Erro padrão | Mensagem de erro padrão do script |
| Status de execução | Informações sobre o estado da tarefa: pendente, iniciando, executando, concluído, cancelado ou falhou com erros |
| Mensagem de status | Mensagem associada ao status |
Regras para saída de script de shell Bash ou Korn
A saída de um script geralmente é o resultado de uma expressão computada e pode ser grande. Quando você estiver revisando as propriedades para um script com saída grande válida, é possível preview ou fazer o download da saída em um visualizador.
Essas regras controlam qual tipo de saída grande é válido..
- A saída de um
list_expressioné uma expressão calculada, portanto, é válida uma saída grande. - A saída de cadeia é tratada como um valor literal em vez de uma expressão calculada, portanto, ela deve seguir os limites de tamanho que governam as expressões sequenciais Por exemplo, você é avisado quando um valor literal excede 1 KB e valores de 2 KB e superior resultam em um erro.
- É possível incluir mensagens de erro padrão na saída padrão (
standard_output) e visualizá-las, por exemplo, com a funçãoGetCommandOutput.
Referência a uma variável em um script
A maneira como você referencia uma variável em um script depende se a variável foi criada como uma variável de entrada ou como uma variável de saída. As variáveis de saída são criadas como um arquivo e requerem um caminho de arquivo na referência. Especificamente:
- Variáveis de entrada estão disponíveis com o nome designado
- Os nomes de variáveis de saída requerem que
_PATHseja anexado ao nome da variável para indicar que valores têm que ser gravados no arquivo de saída apontado pela variável{output_name}_PATH.
Executar implementação em lote
Configure este nó para executar tarefas de implementação selecionadas.
Parâmetros de entrada
| Parâmetro | Descrição |
|---|---|
| Implementação | Procurar ou procurar a tarefa de implementação |
| Ativos de dados de entrada | Especifique os dados usados para a tarefa em lote. |
| Ativo de saída | O nome do arquivo de saída para os resultados da tarefa em lote. É possível selecionar Nome do Arquivo e inserir um nome do arquivo customizado ou Ativo de dados e selecionar um ativo existente em um espaço. |
| Especificação de hardware (opcional) | Procurar uma especificação de hardware para se candidatar à tarefa. |
| Política de erro (opcional) | Opcionalmente, substitua a política de erro padrão para o nó |
Parâmetros de saída
| Parâmetro | Descrição |
|---|---|
| Tarefa | O caminho para o arquivo com resultados da tarefa de implementação. |
| Execução da tarefa | ID para a tarefa. |
| Status de execução | Informações sobre o estado da tarefa: pendente, iniciando, executando, concluído, cancelado ou falhou com erros |
| Mensagem de status | Informações sobre o estado da tarefa |
O IBM DataStage é uma ferramenta de integração de dados para projetar, desenvolver e executar trabalhos que movem e transformam dados. Execute uma tarefa DataStage e use a saída em um nó posterior.
Por exemplo, o fluxo a seguir mostra um nó Executar DataStage que recupera dados de um repositório Git . Se o trabalho for concluído com sucesso, o pipeline executa o próximo nó e cria um espaço de implementação. Se a tarefa falhar, um e-mail de notificação será acionado e o loop será finalizado
| Parâmetro | Descrição |
|---|---|
| Tarefa do DataStage | Caminho para a tarefa do DataStage . |
| Valores para parâmetros locais (opcional) | Edite os parâmetros da tarefa padrão Essa opção estará disponível apenas se você tiver parâmetros locais na tarefa |
| Valores de conjuntos de parâmetros (opcional) | Edite os conjuntos de parâmetros utilizados por esta tarefa É possível escolher usar os parâmetros conforme definidos por padrão ou usar conjuntos de valores de outros parâmetros de pipelines. |
| Variáveis de ambiente (opcionais) | Especifique um nome de variável (a chave) e um tipo de dados e inclua na lista de variáveis a serem usadas na tarefa |
| Parâmetros da tarefa (opcional). | Parâmetro adicional a ser transmitido para a tarefa quando ela for executada Especifique um par chave / valor e inclua na lista. Nota: se o parâmetro local
DSJobInvocationId for usado, esse valor será transmitido como o nome da tarefa no painel de detalhes da tarefa.. |
| Política de erro (opcional) | Opcionalmente, substitua a política de erro padrão para o nó |
Parâmetros de saída
| Parâmetro | Descrição |
|---|---|
| Tarefa | Caminho para os resultados a partir da tarefa DataStage |
| Execução da tarefa | Informações sobre a execução da tarefa. |
| Nome da tarefa | Nome da tarefa |
| Status de execução | Informações sobre o estado da tarefa: pendente, iniciando, executando, concluído, cancelado ou falhou com erros |
| Mensagem de status | Informações sobre o estado da tarefa |
Executar tarefa de Data Refinery
Esse nó executa uma tarefa especificada do Data Refinery
Parâmetros de entrada
| Parâmetro | Descrição |
|---|---|
| Tarefa do Data Refinery | Caminho para a tarefa do Data Refinery |
| Meio ambiente | Caminho do ambiente usado para executar a tarefa Atenção: Deixe o campo de ambientes como está para usar o tempo de execução padrão Se você escolher substituir, especifique um ambiente alternativo para executar a tarefa. Certifique-se de que qualquer ambiente especificado seja compatível com a linguagem do componente e a configuração de hardware para evitar um erro de tempo de execução.
|
| Política de erro (opcional) | Opcionalmente, substitua a política de erro padrão para o nó |
Parâmetros de saída
| Parâmetro | Descrição |
|---|---|
| Tarefa | O caminho para os resultados da tarefa do Data Refinery. |
| Execução da tarefa | Informações sobre a execução da tarefa. |
| Nome da tarefa | Nome da tarefa |
| Status de execução | Informações sobre o estado do fluxo: pendente, iniciando, executando, concluído, cancelado ou falhou com erros |
| Mensagem de status | Informações sobre o estado do fluxo |
Executar múltiplas tarefas
Esse nó permite que você execute vários trabalhos na tela do Pipelines. Selecione o escopo e, em seguida, selecione os trabalhos no escopo que deseja adicionar.
Executar tarefa de bloco de notas
Use essas opções para especificar como executar um Jupyter Notebook em um pipeline.
Parâmetros de entrada
| Parâmetro | Descrição |
|---|---|
| Tarefa do bloco de notas | Caminho para a tarefa do bloco de notas |
| Meio ambiente | Caminho do ambiente usado para executar o notebook. Atenção: Deixe o campo de ambientes como está para usar o ambiente padrão. Se você escolher substituir, especifique um ambiente alternativo para executar a tarefa. Certifique-se de que qualquer ambiente especificado seja compatível com a linguagem do bloco de notas e a configuração de hardware para evitar um erro de tempo de execução.
|
| Variáveis de ambiente (opcionais) | Lista de variáveis de ambiente usadas para executar a tarefa do notebook |
| Política de erro (opcional) | Opcionalmente, substitua a política de erro padrão para o nó |
Notas:
- As variáveis de ambiente definidas em um pipeline não podem ser usadas em tarefas de notebook executadas fora do Orchestration Pipelines.
- É possível executar um bloco de anotações de um pacote de códigos em um pacote regular.
Parâmetros de saída
| Parâmetro | Descrição |
|---|---|
| Tarefa | Caminho para os resultados da tarefa do bloco de notas |
| Execução da tarefa | Informações sobre a execução da tarefa. |
| Nome da tarefa | Nome da tarefa |
| Variáveis de saída | Configure um par chave / valor para cada variável customizada, em seguida, clique em Incluir para preencher a lista de variáveis dinâmicas para o nó |
| Status de execução | Informações sobre o estado da execução: pendente, iniciando, executando, concluído, cancelado ou falhou com erros |
| Mensagem de status | Informações sobre o estado da execução do bloco de notas |
Executar componente de pipelines
Execute um componente de pipeline reutilizável criado usando um script Python . Para obter mais informações, consulte Criando um componente customizado.
- Se um componente de pipeline estiver disponível, a configuração do nó apresenta uma lista de componentes disponíveis
- O componente escolhido especifica a entrada e a saída para o nó.
- Depois de designar um componente a um nó, não é possível excluir ou alterar o componente Deve-se excluir o nó e criar um novo.
Executar tarefa de pipelines
Inclua um pipeline para executar uma tarefa de pipeline aninhada como parte de um pipeline contido. Esta é uma maneira de incluir processos reutilizáveis em vários pipelines É possível usar a saída de um pipeline aninhado que é executado como entrada para um nó no pipeline contido.
Parâmetros de entrada
| Parâmetro | Descrição |
|---|---|
| Tarefa de pipelines | Selecione ou insira um caminho para uma tarefa do Pipelines existente |
| Ambiente (opcional) | Selecione o ambiente no qual executar a tarefa do Pipelines e designe recursos de ambiente Atenção: Deixe o campo de ambientes como está para usar o tempo de execução padrão Se você escolher substituir, especifique um ambiente alternativo para executar a tarefa. Certifique-se de que qualquer ambiente especificado seja compatível com a linguagem do componente e a configuração de hardware para evitar um erro de tempo de execução.
|
| Nome da execução da tarefa (opcional) | Um nome de execução de tarefa padrão é usado, a menos que você o substitua especificando um nome de execução de tarefa customizado. É possível ver o nome da execução da tarefa no painel Detalhes da Tarefa . |
| Valores para parâmetros locais (opcional) | Edite os parâmetros da tarefa padrão Essa opção estará disponível apenas se você tiver parâmetros locais na tarefa |
| Valores de conjuntos de parâmetros (opcional) | Edite os conjuntos de parâmetros utilizados por esta tarefa É possível escolher usar os parâmetros conforme definidos por padrão ou usar conjuntos de valores de outros parâmetros de pipelines. |
| Política de erro (opcional) | Opcionalmente, substitua a política de erro padrão para o nó |
Parâmetros de saída
| Parâmetro | Descrição |
|---|---|
| Tarefa | Caminho para os resultados da tarefa de pipeline |
| Execução da tarefa | Informações sobre a execução da tarefa. |
| Nome da tarefa | Nome da tarefa |
| Status de execução | Retorna um valor de: Concluído, Concluído com avisos, Concluído com erros, Com falha ou Cancelado |
| Mensagem de status | Mensagem associada ao status |
Notas para executar tarefas de pipeline aninhadas
Se você criar um pipeline com pipelines aninhados e executar uma tarefa de pipeline a partir do nível superior, os pipelines serão nomeados e salvos como ativos de projeto que usam esta Convenção:
- A tarefa de pipeline de nível superior é nomeada "Tarefa de avaliação- guid de pipeline".
- Todas as tarefas subsequentes são denominadas "pipeline_ pipeline guid".
Executar tarefa do SPSS Modeler
Use essas opções para especificar como executar um SPSS Modeler em um pipeline.
Parâmetros de entrada
| Parâmetro | Descrição |
|---|---|
| Tarefa do SPSS Modeler | Selecione ou insira um caminho para uma tarefa existente do SPSS Modeler |
| Ambiente (opcional) | Selecione o ambiente no qual executar a tarefa SPSS Modeler e designe recursos do ambiente. Atenção: Deixe o campo de ambientes como está para usar o tempo de execução padrão do SPSS Modeler . Se você escolher substituir, especifique um ambiente alternativo para executar a tarefa. Certifique-se de que qualquer ambiente especificado seja compatível com a configuração de hardware para evitar um erro de tempo de execução
|
| Valores para parâmetros locais | Edite os parâmetros da tarefa padrão Essa opção estará disponível apenas se você tiver parâmetros locais na tarefa |
| Política de erro (opcional) | Opcionalmente, substitua a política de erro padrão para o nó |
Parâmetros de saída
| Parâmetro | Descrição |
|---|---|
| Tarefa | Caminho para os resultados da tarefa de pipeline |
| Execução da tarefa | Informações sobre a execução da tarefa. |
| Nome da tarefa | Nome da tarefa |
| Status de execução | Retorna um valor de: Concluído, Concluído com avisos, Concluído com erros, Com falha ou Cancelado |
| Mensagem de status | Mensagem associada ao status |
Executar tarefa do aplicativo Spark
| Nome | Executar tarefa do aplicativo Spark |
|---|---|
| ID | run-spark-application-job |
| Grupo | execução |
| Autorizações | casa do lago |
Execute o trabalho do aplicativo Spark no projeto ou no espaço de implantação.
Entradas
| Parâmetro | Descrição |
|---|---|
job |
Caminho CPD do trabalho do aplicativo Spark a ser executado |
error_policy |
Uma ação tomada quando o nó falhou |
Saídas
| Parâmetro | Descrição |
|---|---|
| Tarefa | Caminho para os resultados do trabalho do aplicativo spark |
| Execução da tarefa | Informações sobre a execução da tarefa. |
| Nome da tarefa | Nome da tarefa |
| Status de execução | Retorna um valor de: Concluído, Concluído com avisos, Concluído com erros, Com falha ou Cancelado |
| Mensagem de status | Mensagem associada ao status |
Executar tarefa de ingestão estruturada
| Nome | Executar tarefa de ingestão estruturada |
|---|---|
| ID | run-structured-ingest-job |
| Grupo | execução |
| Autorizações | casa do lago |
Execute o trabalho de ingestão estruturada no projeto ou no espaço de implantação.
Entradas
| Parâmetro | Descrição |
|---|---|
job |
Caminho do CPD do trabalho de ingestão estruturada a ser executado |
error_policy |
Uma ação tomada quando o nó falhou |
Saídas
| Parâmetro | Descrição |
|---|---|
| Tarefa | Caminho para os resultados do trabalho de ingestão estruturada |
| Execução da tarefa | Informações sobre a execução da tarefa. |
| Nome da tarefa | Nome da tarefa |
| Status de execução | Retorna um valor de: Concluído, Concluído com avisos, Concluído com erros, Com falha ou Cancelado |
| Mensagem de status | Mensagem associada ao status |
Entradas
| Parâmetro | Descrição |
|---|---|
job |
Selecione ou insira o caminho para uma tarefa existente do StreamSet. |
error_policy |
Opcionalmente, substitua a política de erro padrão para o nó |
Saídas
| Parâmetro | Descrição |
|---|---|
| Tarefa | Caminho para os resultados da tarefa " StreamSet " |
| Execução da tarefa | Informações sobre a execução da tarefa. |
| Nome da tarefa | Nome da tarefa |
| Status de execução | Retorna um valor de: Concluído, Concluído com avisos, Concluído com erros, Com falha ou Cancelado |
| Mensagem de status | Mensagem associada ao status |