Tutorial de integração de dados: Orquestrar um pipeline de IA com integração de dados

Para visualizar esta tarefa, assista ao vídeo a partir do minuto 02:26.

O projeto de amostra inclui vários ativos, incluindo uma conexão, uma definição de dados, dois fluxos do DataStage e um pipeline Siga estas etapas para visualizar esses ativos:.

1. Clique na guia Ativos no projeto Orchestrate an AI pipeline e, em seguida, visualize Todos os ativos.

2. Todos os ativos de dados usados nos fluxos do DataStage e no pipeline são armazenados em uma conexão do Data Fabric Trial- Db2 Warehouse no esquema AI_MORTGAGE . A imagem a seguir mostra os ativos dessa conexão:

   

3. O fluxo Integrar Dados de Hipoteca DataStage integra dados sobre cada requerente de hipoteca, incluindo informações pessoalmente identificáveis, com seus detalhes do aplicativo, escores de crédito, status como um comprador comercial e, finalmente, os preços da casa escolhida de cada requerente e, em seguida, cria um arquivo sequencial com o nome Mortgage_Data.csv no projeto que contém os dados unidos.. A imagem a seguir mostra o fluxo Integrar dados de hipoteca DataStage .

   Dica: se você não vir nenhum fluxo do DataStage , então volte para visualizar suas instâncias de serviço para verificar sua instância do DataStage provisionada com sucesso. Consulte Provisionar os serviços necessários.

   

4. O fluxo Integrar aprovações de hipoteca DataStage usa a saída do primeiro fluxo do DataStage (Mortgage_Data.csv) e enriquece ainda mais os dados integrando informações sobre cada aprovação do aplicativo de hipoteca. O conjunto de dados resultante é salvo no projeto com o nome Mortgage_Data_with_Approvals.csv.. A imagem a seguir mostra o fluxo Integrar aprovações de hipoteca DataStage :

   

5. A definição de dados Definition_Mortgage_Data para o ativo de dados Mortgage_Data_with_Approvals.csv é criada pelo fluxo Integrar aprovações de hipotecas DataStage . A imagem a seguir mostra a definição de dados:

   

Para visualizar essa tarefa, assista ao vídeo começando em 04:00.

O projeto de exemplo inclui um ` Orchestration Pipelines `, que automatiza as seguintes tarefas:

• Execute duas tarefas existentes do DataStage

• Crie um experimento do AutoAI

• Execute o experimento AutoAI e salve o modelo de melhor desempenho que usa o arquivo de saída resultante da tarefa DataStage como dados de treinamento.

• Crie um espaço de implementação.

• Promova o modelo salvo para o espaço de implementação

Siga estas etapas para explorar o pipeline:

1. Na guia Ativos no projeto Orchestrate an AI pipeline, visualize Todos os ativos.

2. Clique em Pipeline de aprovação de hipoteca para abrir o pipeline.

3. Na seção inicial do pipeline, duas tarefas do DataStage (Integrar dados de hipoteca e Integrar aprovações de hipoteca) são executadas em sequência para combinar várias tabelas da conexão do Db2 Warehouse on Cloud em um conjunto de dados rotulado coeso que é usado como os dados de treinamento para o experimento AutoAI .

4. Clique duas vezes no nó Check Status para ver a condição. Essa condição é um ponto de decisão no pipeline para confirmar a conclusão da primeira tarefa do DataStage com um valor de Concluído ou Concluído com avisos. Clique em Cancelar para retornar para o pipeline

5. Clique duas vezes no nó Criar AutoAI experimento para ver as configurações. Esse nó cria um experimento do AutoAI com as configurações

   1. Revise os valores para as seguintes configurações:

      • Nome do experimento de AutoAI

      • Escopo

      • Tipo de predição

      • Coluna da predição

      • Classe positiva

      • Razão de divisão de dados de treinamento

      • Algoritmos a serem incluídos

      • Algoritmos para usar

      • Otimizar a métrica

   2. Clique em Cancelar para fechar as configurações..

6. Clique duas vezes no nó Executar AutoAI experimento para ver as configurações. Esse nó executa o experimento AutoAI que é criado a partir do nó Criar AutoAI experimento que usa a saída da tarefa Integrar Aprovação Hipotecária DataStage como os dados de treinamento.

   1. Revise os valores para as seguintes configurações:

      • Experimento do AutoAI

      • Ativos de dados de treinamento

      • Prefixo de nome do modelo

   2. Clique em Cancelar para fechar as configurações..

7. Entre os nós Executar o experimento AutoAI e Criar Espaço de Implementação , clique duas vezes no Deseja implementar o modelo? nó para ver a condição. O valor de True para essa condição é um ponto de decisão no pipeline para continuar criando o espaço de implementação. Clique em Cancelar para retornar para o pipeline

8. Dê um clique duplo no nó Criar Espaço de Implementação para ver as configurações Esse nó cria um novo espaço de implantação com o nome especificado e requer entrada para os serviços Cloud Object Storage e watsonx.ai Runtime.

   1. Revise o valor para a configuração Novo nome do espaço .

   2. Para o campo CRN da nova instância do COS de espaço , selecione a sua instância do Cloud Object Storage na lista

   3. No campo New space WML Instance CRN, selecione sua instância de tempo de execução watsonx.ai na lista.

   4. Clique em Salvar.

9. Clique duas vezes no nó Promover Modelo para Espaço de Implementação para ver as configurações. Este nó promove o melhor modelo do nó Executar AutoAI experimento para o espaço de implementação criado a partir do nó Criar Espaço de Implementação .

   1. Revise os valores para as seguintes configurações:

      • Ativos de origem

      • Destino

   2. Clique em Cancelar para fechar as configurações..

Para visualizar esta tarefa, assista ao vídeo a partir do minuto 06:23.

O pipeline cria o modelo, cria um espaço de implementação e, em seguida, promove-o para um espaço de implementação. Você precisa adicionar um nó para criar uma implementação online. Siga estas etapas para editar o pipeline para automatizar a criação de uma implementação online:

1. Inclua o nó Criar Implementação Online na tela:

   1. Expanda a seção Criar na paleta do nó

   2. Arraste o nó Criar implementação on-line para a tela e solte o nó após o nó Promover Modelo para Espaço de Implementação .

2. Passe o mouse sobre o nó Promover Modelo para Espaço de Implementação para ver a seta. Conecte a seta ao nó Criar implementação online .

   Nota: os nomes do nó em seu pipeline podem ser diferentes da imagem animada a seguir:

   

3. Conecte o comentário Criar implementação on-line para o modelo promovido ao nó Criar implementação on-line conectando o círculo na caixa de comentário para o nó

   Nota: os nomes do nó em seu pipeline podem ser diferentes da imagem animada a seguir:

   

4. Clique duas vezes no nó Criar implementação on-line para ver as configurações..

5. Altere o nome do nó para Create Online Deployment

6. Próximo a Ativo ML, clique em Selecionar de outro nó no menu.

   

7. Selecione o nó Promover Modelo para o Espaço de Implementação na lista O ID do nó winning_model está selecionado.

8. Para Novo nome de implementação, digite mortgage approval model deployment.

9. Para o Modo de Criação, selecione Sobrescrever

10. Clique em Salvar para salvar as configurações do nó Criar Implementação On-line

Para visualizar esta tarefa, assista ao vídeo a partir dos 07:38.

Agora que o pipeline está concluído. siga estas etapas para executar o pipeline:

1. Na barra de ferramentas, clique em Executar pipeline> Executar avaliação.

2. Na página Definir parâmetros de pipeline , selecione True para a implementação..

   • Se configurado como True, o pipeline verifica o modelo implementado e pontua o modelo.

   • Se configurado como False, o pipeline verifica se o modelo foi criado no projeto pelo experimento AutoAI e revisa as informações do modelo e as métricas de treinamento.

3. Se esta ocasião é o seu primeiro tempo executando um pipeline, você é solicitado a fornecer uma chave API. Os ativos de pipeline usam sua chave de API pessoal do IBM Cloud para executar operações com segurança sem interrupção.

   • Se você tiver uma chave de API existente, clique em Usar chave de API existente, cole a chave de API e clique em Salvar.

   • Se você não tiver uma chave de API existente, clique em Gerar nova chave de API, forneça um nome e clique em Salvar.. Copie a chave API e, em seguida, salve a chave API para uso futuro. Quando terminar, clique em Fechar.

4. Clique em Executar para iniciar a execução do pipeline

5. Role através de logs consolidados enquanto o pipeline está em execução. A execução do julgamento pode levar até 10 minutes minutos para ser concluída.

6. À medida que cada operação for concluída, selecione o nó para aquela operação na tela.

7. Na guia Inspetor do Nó , visualize os detalhes da operação

8. Clique na guia Saída do nó para ver um resumo da saída para cada operação do nó

Para visualizar esta tarefa, assista ao vídeo a partir do minuto 09:48.

O gasoduto criou vários ativos. Siga estas etapas para visualizar os ativos:

1. Clique no nome do projeto Orquestrate an AI pipeline na trilha de navegação para retornar ao projeto.

   

2. Na guia Ativo , visualize Todos os ativos..

3. Visualizar os ativos de dados.

   1. Clique no ativo de dados Mortgage_Data.csv .. A tarefa do DataStage criou esse ativo

   2. Clique no nome do projeto na trilha de navegação para retornar à guia Ativos .

   3. Clique no ativo de dados do Mortgage_Data_with_Approvals.csv A tarefa do DataStage criou esse ativo

   4. Clique no nome do projeto na trilha de navegação para retornar à guia Ativos .

4. Visualizar o modelo.

   1. Clique no ativo do modelo de aprendizado de máquina que começa com mortgage_approval_best_model O experimento do AutoAI gerou vários candidatos de modelo e escolheu esse como o melhor modelo.

   2. Scroll através das informações do modelo.

   3. Clique no nome do projeto na trilha de navegação para retornar à guia Ativos .

5. Clique na guia Tarefas no projeto para ver informações sobre as duas tarefas do DataStage e uma tarefa de Pipeline em execução

6. No Menu de Navegação, selecione Implantações.

7. Clique na guia Espaços ..

8. Clique no espaço de implementação Aprovação de Hipoteca

9. Clique na guia Ativos e veja o modelo implementado que começa com mortgage_approval_best_model

10. Clique na guia Implementações.

11. Clique em Implementação do modelo de aprovação de hipoteca para visualizar a implementação..

    1. Visualize as informações na guia Referência da API ..

    2. Clique na guia Testar.

    3. Clique na guia Entrada JSON e substitua o texto de amostra pelo texto JSON a seguir.

       {
          "input_data": [
              {
                      "fields": [
                              "ID",
                              "NAME",
                              "STREET_ADDRESS",
                              "CITY",
                              "STATE",
                              "STATE_CODE",
                              "ZIP_CODE",
                              "EMAIL_ADDRESS",
                              "PHONE_NUMBER",
                              "GENDER",
                              "SOCIAL_SECURITY_NUMBER",
                              "EDUCATION",
                              "EMPLOYMENT_STATUS",
                              "MARITAL_STATUS",
                              "INCOME",
                              "APPLIEDONLINE",
                              "RESIDENCE",
                              "YRS_AT_CURRENT_ADDRESS",
                              "YRS_WITH_CURRENT_EMPLOYER",
                              "NUMBER_OF_CARDS",
                              "CREDITCARD_DEBT",
                              "LOANS",
                              "LOAN_AMOUNT",
                              "CREDIT_SCORE",
                              "CRM_ID",
                              "COMMERCIAL_CLIENT",
                              "COMM_FRAUD_INV",
                              "FORM_ID",
                              "PROPERTY_CITY",
                              "PROPERTY_STATE",
                              "PROPERTY_VALUE",
                              "AVG_PRICE"
                      ],
                      "values": [
                              [
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      "Bachelor",
                                      "Employed",
                                      null,
                                      144306,
                                      null,
                                      "Owner Occupier",
                                      15,
                                      19,
                                      2,
                                      7995,
                                      1,
                                      1483220,
                                      437,
                                      null,
                                      false,
                                      false,
                                      null,
                                      null,
                                      null,
                                      111563
                              ],
                              [
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      "High School",
                                      "Employed",
                                      null,
                                      45283,
                                      null,
                                      "Private Renting",
                                      11,
                                      13,
                                      1,
                                      1232,
                                      1,
                                      7638,
                                      706,
                                      null,
                                      false,
                                      false,
                                      null,
                                      null,
                                      null,
                                      547262
                              ]
                      ]
              }
          ]
       }
       

    4. Clique em Prever. Os resultados mostram que o primeiro requerente não será aprovado e o segundo requerente será aprovado.