Tutorial de Ciência de Dados e MLOps: Orquestrar um pipeline de AI com monitoramento de modelo

Para visualizar esta tarefa, assista ao vídeo a partir do minuto 02:37.

O projeto de amostra inclui vários ativos, incluindo uma conexão, uma definição de dados, um fluxo do Data Refinery e um pipeline Siga estas etapas para visualizar esses ativos:.

1. Clique na guia Ativos no projeto Data Science e MLOps e, em seguida, visualize Todos os ativos.

2. Visualize a lista de ativos de dados usados no fluxo do Data Refinery e no pipeline. Esses ativos são armazenados em uma conexão do Data Fabric Trial- Db2 Warehouse no esquema AI_MORTGAGE . Clique em Importar ativose, em seguida, navegue para a Data Fabric Avaliação- Db2 Warehouse > AI_MORTGAGE. A imagem a seguir mostra os ativos dessa conexão:

   

3. O Fluxo Mortgage_Data_Approvals_flow Data Refinery integra dados sobre cada requerente de hipoteca. Os dados integrados incluem informações pessoalmente identificáveis, com os seus detalhes de aplicação, pontuações de crédito, estatuto de comprador comercial e, finalmente, os preços da casa escolhida por cada requerente. O fluxo então cria um arquivo sequencial com o nome Mortgage_Data_with_Approvals_DS.csv no projeto que contém os dados associados. A imagem a seguir mostra o fluxo Mortgage_Data_Approvals_flow Data Refinery :

   

Para visualizar esta tarefa, assista ao vídeo a partir do minuto 03:25.

O projeto de amostra inclui um Orchestration Pipelines, que automatiza as seguintes tarefas:

• Execute uma tarefa existente do Data Refinery

• Crie um experimento do AutoAI

• Execute o experimento AutoAI e salve o modelo de melhor desempenho que usa o arquivo de saída resultante da tarefa Data Refinery como os dados de treinamento.

• Crie um espaço de implementação.

• Promova o modelo salvo para o espaço de implementação

Siga estas etapas para explorar o pipeline:

1. Na guia Ativos no projeto Ciência de Dados e MLOps , visualize Todos os ativos.

2. Clique em Pipeline de aprovação de hipoteca-Data Science para abrir o pipeline.

3. Clique duas vezes na tarefa Integrar dados de aprovação de hipoteca Data Refinery , que combina várias tabelas da conexão do Db2 Warehouse on Cloud em um conjunto de dados rotulado coeso que é usado como os dados de treinamento para o experimento AutoAI . Clique em Cancelar para retornar para o pipeline

4. Clique na condição Verificar status e escolha Editar Essa condição é um ponto de decisão no pipeline para confirmar a conclusão da tarefa Data Refinery com um valor de Concluído ou Concluído com avisos. Clique em Cancelar para retornar para o pipeline

5. Clique duas vezes no nó Criar AutoAI experimento para ver as configurações. Esse nó cria um experimento do AutoAI com as configurações

   1. Revise os valores para as seguintes configurações:

      • Nome do experimento de AutoAI

      • Escopo

      • Tipo de predição

      • Coluna da predição

      • Classe positiva

      • Razão de divisão de dados de treinamento

      • Algoritmos a serem incluídos

      • Algoritmos para usar

      • Otimizar a métrica

   2. Clique em Cancelar para fechar as configurações..

6. Clique duas vezes no nó Executar AutoAI experimento para ver as configurações. Esse nó executa o experimento AutoAI que é criado pelo nó Criar AutoAI do experimento que usa a saída da tarefa Integrar aprovação de hipoteca Data Refinery como dados de treinamento.

   1. Revise os valores para as seguintes configurações:

      • Experimento do AutoAI

      • Ativos de dados de treinamento

      • Prefixo de nome do modelo

   2. Clique em Cancelar para fechar as configurações..

7. Entre o experimento Executar AutoAI e os nós Criar Espaço de Implementação , clique em Deseja implementar o modelo? e escolha Editar. O valor de True para essa condição é um ponto de decisão no pipeline para continuar criando o espaço de implementação. Clique em Cancelar para retornar para o pipeline

8. Dê um clique duplo no nó Criar Espaço de Implementação para atualizar as configurações Esse nó cria um novo espaço de implantação com o nome especificado e requer entrada para os serviços Cloud Object Storage e watsonx.ai Runtime.

   1. Revise o valor para a configuração Novo nome do espaço .

   2. Para o campo CRN da nova instância do COS de espaço , selecione a sua instância do Cloud Object Storage na lista

   3. No campo CRN da instância WML do novo espaço, selecione sua instância de tempo de execução watsonx.ai na lista.

   4. Clique em Salvar.

9. Clique duas vezes no nó Promover Modelo para Espaço de Implementação para ver as configurações. Este nó promove o melhor modelo do nó Executar AutoAI experimento para o espaço de implementação criado a partir do nó Criar Espaço de Implementação .

   1. Revise os valores para as seguintes configurações:

      • Ativos de origem

      • Destino

   2. Clique em Cancelar para fechar as configurações..

Para visualizar esta tarefa, assista ao vídeo a partir do minuto 05:41.

O pipeline cria o modelo, cria um espaço de implementação e, em seguida, promove-o para um espaço de implementação. Você precisa adicionar um nó para criar uma implementação online. Siga estas etapas para editar o pipeline para automatizar a criação de uma implementação online:

1. Inclua o nó Criar Implementação Online na tela:

   1. Expanda a seção Criar na paleta do nó

   2. Arraste o nó Criar implementação on-line para a tela e solte o nó após o nó Promover Modelo para Espaço de Implementação .

2. Passe o mouse sobre o nó Promover Modelo para Espaço de Implementação para ver a seta. Conecte a seta ao nó Criar implementação online .

   Nota: os nomes do nó em seu pipeline podem ser diferentes da imagem animada a seguir:

   

3. Conecte o comentário Criar implementação on-line para o modelo promovido ao nó Criar implementação on-line conectando o círculo na caixa de comentário para o nó

   Nota: os nomes do nó em seu pipeline podem ser diferentes da imagem animada a seguir:

   

4. Clique duas vezes no nó Criar implementação on-line para ver as configurações..

5. Altere o nome do nó para Create Online Deployment

6. Próximo a Ativo ML, clique em Selecionar de outro nó no menu.

   

7. Selecione o nó Promover Modelo para o Espaço de Implementação na lista O ID do nó winning_model está selecionado.

8. Para Novo nome de implementação, digite Mortgage approval model deployment - Data Science.

9. Para o Modo de Criação, selecione Sobrescrever

10. Clique em Salvar para salvar as configurações do nó Criar Implementação On-line

Para visualizar esta tarefa, assista ao vídeo a partir do minuto 06:57.

Agora que o pipeline está concluído. siga estas etapas para executar o pipeline:

1. Na barra de ferramentas, clique em Executar pipeline> Executar avaliação.

2. Na página Definir parâmetros de pipeline , selecione True para a implementação..

   • Se configurado como True, o pipeline verifica o modelo implementado e pontua o modelo.

   • Se configurado como False, o pipeline verifica se o modelo foi criado no projeto pelo experimento AutoAI e revisa as informações do modelo e as métricas de treinamento.

3. Forneça uma chave de API se essa ocasião for sua primeira vez executando um pipeline. Os ativos de pipeline usam sua chave de API pessoal do IBM Cloud para executar operações com segurança sem interrupção.

   • Se você tiver uma chave de API existente, clique em Usar chave de API existente, cole a chave de API e clique em Salvar.

   • Se você não tiver uma chave de API existente, clique em Gerar nova chave de API, forneça um nome e clique em Salvar.. Copie a chave API e, em seguida, salve a chave API para uso futuro. Quando terminar, clique em Fechar.

4. Clique em Executar para iniciar a execução do pipeline

5. Monitore o progresso do pipeline

   1. Role através de logs consolidados enquanto o pipeline está em execução. A execução do julgamento pode levar até 10 minutes minutos para ser concluída.

   2. À medida que cada operação for concluída, selecione o nó para aquela operação na tela.

   3. Na guia Inspetor do Nó , visualize os detalhes da operação

   4. Clique na guia Saída do nó para ver um resumo da saída para cada operação do nó

Para visualizar esta tarefa, assista ao vídeo a partir do minuto 08:58.

O gasoduto criou vários ativos. Siga estas etapas para visualizar os ativos:

1. Clique no nome do projeto Data Science e MLOps na trilha de navegação para retornar ao projeto.

   

2. Na guia Ativo , visualize Todos os ativos..

3. Visualizar os ativos de dados.

   1. Clique no ativo de dados do Mortgage_Data_with_Approvals_DS.csv A tarefa do Data Refinery criou esse ativo

   2. Clique no nome do projeto Data Science e MLOps na trilha de navegação para retornar à guia Ativos .

4. Visualizar o modelo.

   1. Clique no ativo do modelo de aprendizado de máquina que começa com ds_mortgage_approval_best_model O experimento do AutoAI gerou vários candidatos de modelo e escolheu esse como o melhor modelo. Salve esse nome do modelo em um arquivo de texto O nome do modelo é necessário para configurar os monitores do Watson OpenScale na próxima tarefa

   2. Scroll através das informações do modelo.

   3. Clique no nome do projeto Data Science e MLOps na trilha de navegação para retornar à guia Ativos .

5. Clique na guia Tarefas no projeto para ver informações sobre as tarefas Data Refinery e Pipeline.

6. Abra o espaço de implementação criado com o pipeline.

   1. No Menu de Navegação, selecione Implantações.

   2. Clique na guia Espaços ..

   3. Clique no espaço de implementação Aprovação de hipoteca-Data Science e MLOps .

7. Clique na guia Ativos e veja o modelo implementado que começa com ds_mortgage_approval_best_model

8. Clique na guia Implementações.

9. Clique em Implementação do modelo de aprovação de hipoteca-Ciência de Dados para visualizar a implementação

   1. Na guia Referência da API , visualize o terminal da API e os fragmentos de código

   2. Clique na guia Testar.

   3. Clique na guia Entrada JSON e substitua o texto de amostra pelo texto JSON a seguir.

      {
        "input_data": [
                {
                        "fields": [
                                "ID",
                                "NAME",
                                "STREET_ADDRESS",
                                "CITY",
                                "STATE",
                                "STATE_CODE",
                                "ZIP_CODE",
                                "EMAIL_ADDRESS",
                                "PHONE_NUMBER",
                                "GENDER",
                                "SOCIAL_SECURITY_NUMBER",
                                "EDUCATION",
                                "EMPLOYMENT_STATUS",
                                "MARITAL_STATUS",
                                "INCOME",
                                "APPLIEDONLINE",
                                "RESIDENCE",
                                "YRS_AT_CURRENT_ADDRESS",
                                "YRS_WITH_CURRENT_EMPLOYER",
                                "NUMBER_OF_CARDS",
                                "CREDITCARD_DEBT",
                                "LOANS",
                                "LOAN_AMOUNT",
                                "CREDIT_SCORE",
                                "CRM_ID",
                                "COMMERCIAL_CLIENT",
                                "COMM_FRAUD_INV",
                                "FORM_ID",
                                "PROPERTY_CITY",
                                "PROPERTY_STATE",
                                "PROPERTY_VALUE",
                                "AVG_PRICE"
                        ],
                        "values": [
                                [
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        "Bachelor",
                                        "Employed",
                                        null,
                                        144306,
                                        null,
                                        "Owner Occupier",
                                        15,
                                        19,
                                        2,
                                        7995,
                                        1,
                                        1483220,
                                        437,
                                        null,
                                        false,
                                        false,
                                        null,
                                        null,
                                        null,
                                        111563,
                                        null
                                ],
                                [
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        "High School",
                                        "Employed",
                                        null,
                                        45283,
                                        null,
                                        "Private Renting",
                                        11,
                                        13,
                                        1,
                                        1232,
                                        1,
                                        7638,
                                        706,
                                        null,
                                        false,
                                        false,
                                        null,
                                        null,
                                        null,
                                        54262,
                                        null
                                ]
                        ]
                }
        ]
      }
      

   4. Clique em Prever. Os resultados mostram que o primeiro candidato não será aprovado e o segundo candidato será aprovado.

Para visualizar essa tarefa, assista ao vídeo começando em 10:40.

Agora você está pronto para executar o bloco de anotações incluído no projeto de amostra O bloco de notas inclui o código para:

• Busque o modelo e as implementações
• Configurar Watson OpenScale.
• Crie o provedor de serviços e a assinatura para seu serviço de aprendizado de máquina.
• Configure o monitor de qualidade
• Configure o monitor de justiça.
• Configure a explicabilidade.

Siga estas etapas para executar o notebook incluído no projeto de amostra. Reserve um tempo para ler os comentários no bloco de notas, que explicam o código em cada célula.

1. No Menu de Navegação, selecione Projetos > Exibir todos os projetos.

2. Clique no nome do projeto Ciência de Dados e MLOps

3. Clique na guia Ativos e navegue até Cadernos.
   

   Nota:

   Se você vir o ícone de atenção ao lado do notebook, clique no menu de overflow ao lado do notebook monitor-wml-model-with-watson-openscale-pipeline e selecione Alterar ambiente. Selecione um modelo de Runtime on Python compatível e clique em Change (Alterar ).

4. Abra o notebook monitor-wml-model-with-watson-openscale-pipeline .

5. Clique no ícone Editar para colocar o caderno no modo de edição.

6. Quando você importa um projeto do hub de Recursos, a primeira célula do bloco de notas contém o token de acesso ao projeto Se esse bloco de notas não contiver uma primeira célula com um token de acesso ao projeto, será necessário gerar o token A partir do menu Mais, selecione Inserir token de projeto. Esta ação insere uma nova célula como a primeira célula no bloco de notas que contém o token do projeto

7. Forneça sua chave de API na seção Fornecer sua chave de API do IBM Cloud . Você precisa passar suas credenciais para a API de tempo de execução watsonx.ai usando uma chave de API. Se você ainda não tem uma chave de API salva, então siga estas etapas para criar uma chave de API.
   Para visualizar esta tarefa, assista ao vídeo a partir do minuto 04:55.

   1. Acesse a página de chaves de API do console doIBM Cloud.

   2. Clique em Criar uma chave de API do IBM Cloud. Se você tiver alguma chave API existente, o botão poderá ser rotulado Criar.

   3. Digite um nome e uma descrição.

   4. Clique em Criar.

   5. Copiar a chave de API.

   6. Faça o download da chave de API para uso futuro.

   7. Retorne ao bloco de notas e cole sua chave de API no campo ibmcloud_api_key .

8. Na seção 3. Modelo e Implementação, para a variável model_name , cole o nome do modelo salvo em um arquivo de texto na tarefa anterior. O space_name e deployment_name são preenchidos para você usando os nomes especificados no pipeline.

9. Clique em Célula> Executar Todos para executar todas as células no bloco de notas Como alternativa, clique no ícone Executar para executar o caderno célula por célula e explorar cada célula e sua saída.

10. Monitore a célula de progresso por célula, notando o asterisco "In [*]" mudando para um número, por exemplo, "In [1]". O caderno leva de 1 a 3 minutos para ser concluído.

11. Tente estas dicas se encontrar algum erro ao executar o bloco de notas:

    • Clique em Kernel> Reiniciar & Limpar Saída para reiniciar o kernel e, em seguida, execute o bloco de notas novamente
    • Verifique se você copiou e colou o nome da implementação exatamente sem espaços iniciais ou finais.

Para visualizar esta tarefa, assista ao vídeo a partir do minuto 13:35.

Siga estas etapas para avaliar o modelo no Watson OpenScale::

1. Clique no projeto Data Science e MLOps na trilha de navegação.
   

2. Na guia Ativos , expanda o tipo de ativo Dados e, em seguida, clique em Ativos de Dados

3. Clique no menu Overflow para o ativo mortgage_sample_test_data.csv de dados e selecione Download. Para validar que o modelo está funcionando conforme necessário, você precisa de um conjunto de dados rotulados, que foi mantido a partir do treinamento do modelo. Este arquivo CSV contém esses dados de retenção.

4. Ative o Watson OpenScale.

   1. No Menu de Navegação, selecione Serviços > Instâncias de serviço.

   2. Clique em seu nome da instância do Watson OpenScale Se solicitado, efetue login usando as mesmas credenciais que você usou para se inscrever no Cloud Pak for Data.

   3. Na página da instância de serviço Watson OpenScale, clique em Ativar aplicativo.

5. No Painel do Insights, clique no ladrilho Implementação do modelo de aprovação de hipoteca-Ciência de dados .

6. A partir do menu Ações, selecione Avaliar agora.

7. A partir da lista de opções de importação, selecione a partir do arquivo CSV.

8. Arraste o arquivo de dados mortgage_sample_test_data.csv transferido por download do projeto para o painel lateral.

9. Clique em Fazer upload e avaliar. A avaliação pode levar alguns minutos para ser concluída

Para visualizar esta tarefa, assista ao vídeo a partir do minuto 14:44.

O monitor de qualidade Watson OpenScale gera um conjunto de métricas para avaliar a qualidade de seu modelo. É possível usar essas métricas de qualidade para determinar o quão bem seu modelo prevê os resultados. Quando a avaliação que usa os dados de validação for concluída, siga estas etapas para observar a qualidade ou precisão do modelo:

1. No painel de navegação esquerdo, clique no ícone do painel Insights.

2. Localize o ladrilho Implementação do modelo de aprovação de hipoteca-Ciência de Dados Observe que a implementação tem 0 problemas e que os testes de Qualidade e Justiça não geraram nenhum erro, o que significa que o modelo atendeu aos limites que são necessários dele.

   Nota: pode ser necessário atualizar o painel para ver as atualizações após a avaliação.

3. Clique no ladrilho Implementação do modelo de aprovação de hipoteca-Ciência de Dados para ver mais detalhes

4. Na seção Qualidade, clique no ícone Configurar. Aqui é possível ver que o limite de qualidade configurado para esse monitor é de 70% e que a medição de qualidade que está sendo usada é a área sob a curva ROC.

5. Clique em Acessar resumo do modelo para retornar para a tela de detalhes do modelo

6. Na seção Qualidade, clique no ícone Detalhes para ver os resultados detalhados da qualidade do modelo. Aqui você vê um número de cálculos de métrica de qualidade e uma matriz de confusão mostrando decisões de modelo corretas, juntamente com falsos positivos e falsos negativos. A área calculada sob a curva ROC é 0.9 ou superior, o que excede o limite 0.7 , portanto, o modelo está atendendo seu requisito de qualidade.

7. Clique em Implementação do modelo de aprovação de hipoteca-Data Science na trilha de navegação para retornar à tela de detalhes do modelo.

Para visualizar esta tarefa, assista ao vídeo a partir do minuto 15:59.

O monitor de justiça do Watson OpenScale gera um conjunto de métricas para avaliar a imparcialidade de seu modelo. É possível usar as métricas de justiça para determinar se o seu modelo produz resultados propensos. Siga estas etapas para observar a justiça do modelo:

1. Na seção Equidade, clique no ícone Configurar. Aqui você consulta que o modelo está sendo revisado para garantir que os candidatos estão sendo tratados imparcialmente, independentemente de seu gênero. As mulheres são identificadas como o grupo monitorado para o qual a justiça está sendo medida e o limite para a justiça deve ser de pelo menos 80%. O monitor de equidade usa o método de impacto discrepante para determinar a equidade. O impacto díspar compara a porcentagem dos resultados favoráveis de um grupo monitorado com a porcentagem dos resultados favoráveis de um grupo de referência.

2. Clique em Acessar resumo do modelo para retornar à tela de detalhes do modelo,

3. Na seção Equidade, clique no ícone Detalhes para ver os resultados detalhados da equidade do modelo. Aqui você vê a porcentagem de candidatos masculinos e femininos que estão sendo automaticamente aprovados, juntamente com uma pontuação de justiça de cerca de 100%, portanto, o desempenho do modelo excede em muito o limite de equidade de 80% exigido.

4. Observe os conjuntos de dados identificados no Conjunto de dados na lista Para assegurar que as métricas de imparcialidade sejam mais precisas, o Watson OpenScale usa a perturbação para determinar os resultados em que apenas os atributos protegidos e as entradas de modelo relacionadas são alterados enquanto outros recursos permanecem os mesmos.A perturbação muda os valores do recurso do grupo de referência para o grupo monitorado, ou vice-versa. Esses guardrails adicionais são usados para calcular a justiça quando o conjunto de dados "balanceado" é usado, mas também é possível visualizar os resultados de imparcialidade usando apenas dados de carga útil ou de treinamento de modelo. Como o modelo está se comportando de maneira justa, você não precisa entrar em detalhes adicionais para essa métrica.
   

5. Clique na trilha de navegação Implementação do modelo de aprovação de hipoteca-Data Science para retornar à tela de detalhes do modelo.

Para visualizar esta tarefa, assista ao vídeo a partir dos 17:42.

Você precisa entender como o modelo chegou a sua decisão. Esse entendimento é necessário para explicar as decisões para as pessoas envolvidas na aprovação do empréstimo e para assegurar que os proprietários do modelo sejam válidos. Para compreender essas decisões, siga estas etapas para observar a explicabilidade do modelo:

1. No painel de navegação esquerdo, clique no ícone Explicar uma transação.

2. Selecione Implementação do modelo de aprovação de hipoteca-Data Science para ver uma lista de transações.

3. Para qualquer transação, clique em Explicar sob a coluna Ações. Aqui você vê a explicação detalhada desta decisão.Você verá as entradas mais importantes para o modelo junto com o quão importante cada uma foi para o resultado final. Barras azuis representam entradas que tenderam a suportar a decisão do modelo, enquanto barras vermelhas mostram entradas que podem ter levado a outra decisão. Por exemplo, um candidato pode ter renda suficiente para ser aprovado de outra forma, mas seu histórico de crédito ruim e a alta dívida juntos levam o modelo a rejeitar o aplicativo.Revise esta explicação para se tornar satisfeito sobre a base para a decisão do modelo.

4. Opcional: se desejar aprofundar mais sobre como o modelo tomou sua decisão, clique na guia Inspecionar . Use o recurso Inspecionar para analisar a decisão para localizar áreas de sensibilidade em que pequenas mudanças em algumas entradas resultariam em uma decisão diferente.. Você mesmo pode testar a sensibilidade substituindo algumas das entradas reais por alternativas para ver se elas impactariam o resultado.