Iniciação rápida: construindo e implementando um modelo de modelo de aprendizado de máquina com o AutoAI
É possível automatizar o processo de construção de um modelo de aprendizado de máquina com a ferramenta AutoAI. Leia sobre a ferramenta AutoAI, em seguida, assista a um vídeo e faça um tutorial que seja adequado para iniciantes e não requer codificação.
- Serviços necessários
- watsonx.ai Studio
- watsonx.ai Runtime
O fluxo de trabalho básico inclui estas tarefas:
- Crie um projeto. Projetos nos quais seja possível colaborar com outras pessoas para trabalhar com dados.
- Inclua seus dados no projeto. É possível incluir dados ou arquivos CSV de uma origem de dados remota por meio de uma conexão.
- Crie um experimento do AutoAI no projeto.
- Revise os pipelines modelo e salve o pipeline desejado como um modelo para implementar ou como um bloco de notas para customizar.
- Implemente e teste o modelo.
Leia mais sobre o AutoAI
A ferramenta gráfica AutoAI analisa automaticamente seus dados e gera pipelines de modelo de candidato customizados para seu problema de modelagem preditiva Esses pipelines de modelo são criados iterativamente à medida que o AutoAI analisa seu conjunto de dados e descobre transformações de dados, algoritmos e configurações de parâmetros que funcionam melhor para a sua configuração de problema. Os resultados são exibidos em uma tabela de classificação, mostrando os pipelines de modelo gerados automaticamente classificados de acordo com o seu objetivo de otimização de problema.
Assista a um vídeo sobre como criar um modelo usando o AutoAI
Assista a este vídeo para ver como criar e executar um experimento AutoAI baseado na amostra de marketing bancário.
Este vídeo fornece um método visual para aprender os conceitos e tarefas nesta documentação.
Transcrição de vídeo Horário Transcrição 00:00 Este vídeo mostra como executar um experimento de AutoAI de amostra para criar um modelo de Machine Learning. 00:08 Inicie em um projeto e adicione a esse projeto um novo experimento AutoAI. 00:16 Para executar um experimento AutoAI, você precisará do serviço Machine Learning. 00:22 Aqui você tem a opção de associar um serviço Machine Learning a esse projeto. 00:29 É possível criar uma nova instância de serviço ou selecionar uma instância de serviço existente. 00:39 Ao retornar para a página na qual você está criando o experimento, basta recarregar a página e você verá a nova instância de serviço listada. 00:48 Para este primeiro experimento, você selecionará uma amostra. 00:52 A amostra de "Marketing bancário" contém dados de texto coletados de chamadas telefônicas para um banco em resposta a uma campanha de marketing. 01:01 Ao selecionar uma amostra, o nome do experimento e a descrição são preenchidos para você, então você está pronto para criar o experimento. 01:11 Em seguida, o construtor de experimento AutoAI é exibido. 01:15 Uma vez que este experimento é de uma amostra, o arquivo de origem de marketing bancário já está selecionado. 01:22 E a coluna para prever também já está selecionada. 01:26 Neste caso, é a coluna "y", que representa se um usuário se inscreverá para um depósito a prazo como parte da campanha de marketing. 01:35 Com base no conjunto de dados e na coluna selecionada para predição, o AutoAI analisa um subconjunto dos dados e escolhe um tipo de predição e uma métrica para otimizar. 01:47 Neste caso, uma vez que a coluna para prever contém valores de "Y" ou "N" (para sim ou não), a classificação binária foi escolhida. 01:57 A classe positiva é "Sim" e a métrica otimizada é ROC AUC. 02:03 A métrica ROC AUC equilibra precisão, acurácia e recall. 02:10 Agora, execute o experimento e aguarde à medida que a "Tabela de classificação do pipeline" é preenchida. 02:17 Durante o treinamento do AutoAI, seu conjunto de dados é dividido em duas partes: dados de treinamento e dados de validação. 02:24 Os dados de treinamento são usados pelos estágios de treinamento do AutoAI para gerar os pipelines de modelo e as pontuações de validação cruzada são usadas para classificá-los. 02:34 Após o treinamento, os dados de validação são usados para a avaliação do modelo de pipeline resultante e o cálculo de informações de desempenho, como as curvas ROC e matrizes de confusão. 02:48 Em seguida, o AutoAI gera pipelines usando diferentes estimadores, como o classificador XGBoost, ou aprimoramentos, como a otimização de hiperparâmetros e a engenharia de recursos, com os pipelines classificados com base na métrica de precisão. 03:06 A otimização de hiperparâmetros é um mecanismo para explorar automaticamente um espaço de procura de hiperparâmetros potenciais, construir uma série de modelos e comparar os modelos usando métricas de interesse. 03:20 A engenharia de recursos tenta transformar os dados brutos na combinação de recursos que melhor representa o problema para alcançar a predição mais precisa. 03:31 Ok, a execução foi concluída. 03:34 A legenda explica onde localizar os dados, o algoritmo superior, os pipelines e os transformadores de recurso no mapa de relacionamento. 03:44 É possível visualizar o log completo para ver detalhes completos. 03:48 Por padrão, você verá o "Mapa de Relacionamento", mas poderá trocar as visualizações para ver o "Mapa de Progresso". 03:57 Role para baixo para dar uma olhada na tabela de classificação. 04:01 Você pode querer começar com a comparação dos pipelines. 04:05 Este gráfico fornece métricas para os oito pipelines, visualizados por pontuação de validação cruzada ou por pontuação de validação. 04:13 É possível ver os pipelines classificados com base em outras métricas, como precisão média. 04:21 De volta à guia "Resumo do experimento", expanda um pipeline para visualizar as medidas de avaliação do modelo e a curva ROC. 4h30 É possível visualizar um pipeline individual para ver mais detalhes, além da matriz de confusão, curva de precisão-recall, informações do modelo, transformações de recursos e importância do recurso. 04:49 Este pipeline teve a classificação mais alta, então você pode salvá-lo como um modelo de aprendizado de máquina. 04:55 Basta aceitar os padrões e salvar o modelo. 05:01 Agora que você treinou o modelo, você está pronto para visualizar o modelo e implementá-lo. 05:06 A guia "Visão geral" mostra um resumo do modelo e o esquema de entrada. 05:12 Para implementar o modelo, você precisará promovê-lo para um espaço de implementação. 05:17 Como este projeto ainda não tem um espaço de implementação associado a ele, será necessário configurar a associação primeiro. 05:25 É possível selecionar um espaço de implementação existente ou criar um novo espaço de implementação. 05:31 Quando você criar um novo espaço, basta fornecer um nome e uma descrição e selecionar o serviço Cloud Object Storage and Machine Learning. 05:41 Em seguida, crie o espaço. 05:45 Agora, selecione este novo espaço, inclua uma descrição para o modelo e clique em "Promover". 05:53 Use o link para ir para o espaço de implementação. 06:00 Aqui está o modelo que você acabou de criar, que agora você pode implementar. 06:04 Neste caso, será uma implementação on-line. 06:08 Basta fornecer um nome para a implementação e clicar em "Criar". 06:12 Em seguida, aguarde enquanto o modelo é implementado. 06:16 Quando a implementação do modelo estiver concluída, visualize-a. 06:20 Na guia "Referência de API", você encontrará o terminal de pontuação para referência futura. 06:26 Você também encontrará snippets para várias linguagens de programação para utilizar esta implementação de seu aplicativo. 06:35 Na guia "Teste", é possível testar a predição do modelo. 06:40 É possível inserir dados de entrada de teste ou colar dados de entrada JSON, em seguida, clique em "Prever". 06:52 Isso mostra que há uma probabilidade muito grande de que a primeira pessoa não assine um depósito a prazo e uma alta probabilidade de que a segunda pessoa assine um depósito a prazo. 07:06 E de volta ao projeto, na guia "Ativos", você encontrará o experimento AutoAI e o modelo. 07:17 Encontre mais vídeos na documentação do Cloud Pak for Data as a Service.
Experimente um tutorial para criar um modelo usando o AutoAI
Este tutorial orienta você no treinamento de um modelo para prever se um cliente provavelmente assinará um depósito a termo com base em uma campanha de marketing.
Neste tutorial, você concluirá estas tarefas:
- Tarefa 1: abrir um projeto.
- Tarefa 2: Construir e treinar o modelo.
- Tarefa 3: Promover o modelo para um espaço de implementação e implantar o modelo treinado
- Tarefa 4: Teste o modelo implementado.
- Tarefa 5: criar uma tarefa em lote para pontuar o modelo.
Este tutorial levará aproximadamente 30 minutos para ser concluído.
Dados de amostra
Os dados de amostra que são usados na experiência guiada são dados de marketing do UCI: Bank usados para prever se um cliente se inscreve em uma promoção de marketing do promotion.The são transferidos por upload automaticamente e disponibilizados para seu uso quando você seleciona Amostra do hub de recurso como a base para seu experimento.
Dicas para concluir este tutorial
Aqui estão algumas dicas para concluir com sucesso este tutorial.
Use a imagem em vídeo
A imagem animada a seguir mostra como usar os recursos de imagem em vídeo e de índice:
Configure as janelas do navegador
Para uma experiência ideal ao concluir este tutorial, abra sua conta em uma janela do navegador e mantenha esta página do tutorial aberta em outra janela do navegador para alternar facilmente entre as duas janelas. Considere organizar as duas janelas do navegador lado a lado para facilitar o acompanhamento.
Tarefa 1: Abrir um Projeto
É necessário um projeto para armazenar os dados e o experimento AutoAI . É possível usar um projeto existente ou criar um projeto.
No Menu de
Navegação, selecione Projetos > Exibir todos os projetos.Abra um projeto existente. Se você deseja usar um novo projeto:
Clique em Novo projeto.
Selecione Criar um projeto vazio.
Insira um nome e uma descrição opcional para o projeto
Escolha uma instância de serviço de armazenamento de objetos existente ou crie uma nova.
Clique em Criar.
Quando o projeto abrir, clique na guia Gerenciar e selecione a página Serviços e integrações.
Na guia IBM , clique em Associar serviço.
Selecione sua instância de tempo de execução watsonx.ai. Se você ainda não tiver uma instância do serviço watsonx.ai Runtime provisionada, siga estas etapas:
Clique em Novo serviço
Selecione watsonx.ai Runtime.
Clique em Criar.
Selecione a nova instância de serviço na lista.
Clique em Associar serviço.
Se necessário, clique em Cancelar para retornar para a página Serviços e Integrações
Para obter mais informações ou para assistir a um vídeo, consulte Criação de um projeto. Para obter mais informações sobre serviços associados, consulte Adição de serviços associados.
Verifique seu progresso
A imagem a seguir mostra o novo projeto.
Tarefa 2: Construir e treinar o modelo
Para visualizar esta tarefa, assista ao vídeo a partir do minuto 00:08.
Agora que você tem um projeto, está pronto para construir e treinar o modelo usando AutoAI. Siga estas etapas para criar o experimento AutoAI , revisar os pipelines de modelo e selecionar um pipeline para salvar como um modelo:
Clique no Ativos guia em seu projeto e clique em Novo ativo > Crie modelos de aprendizado de máquina automaticamente .
Na página Criar um AutoAI Experimento , preencha os campos básicos:
Clique no painel Amostra do Hub de Recursos
Selecione Dados de amostra de marketing bancárioe clique em Avançar. O nome e a descrição do projeto serão preenchidos para você.
Confirme se a instância do serviço watsonx.ai Runtime que você associou ao seu projeto está selecionada no campo Instância do serviçowatsonx.ai Runtime.
Clique em Criar.
Nesse experimento AutoAI de amostra, você verá que os Dados de Amostra de Marketing do Banco já estão selecionados para o seu experimento
Revise as configurações de experimentos pré-configurados Com base no conjunto de dados e na coluna selecionada para predição, o AutoAI analisa um subconjunto dos dados e escolhe um tipo de predição e uma métrica para otimizar. Nesse caso, o tipo de predição é Classificação Binária, a classe positiva é Sime a métrica otimizada é ROC AUC & tempo de execução.
Clique em Executar experimento. À medida que o modelo avança, você vê um infográfico que mostra o processo de construção dos oleodutos.
Para obter uma lista de algoritmos ou estimadores disponíveis com cada técnica de machine learning no AutoAI, consulte: Detalhes da implementação do AutoAI.
Depois que a execução do experimento for concluída, será possível visualizar e comparar os pipelines classificados em uma tabela de classificação de classificação.
É possível clicar em Comparação de pipeline para ver como eles diferem..
Clique no pipeline mais alto classificado para ver os detalhes do pipeline.
Clique em Salvar como, selecione Modeloe clique em Criar. Isso salva o pipeline como um modelo em seu projeto.
Quando o modelo for salvo, clique no link Visualizar no projeto na notificação para visualizar o modelo em seu projeto. Como alternativa, é possível navegar para a guia Ativos no projeto, e clicar no nome do modelo na seção Modelos
Verifique seu progresso
A imagem a seguir mostra o modelo.
Tarefa 3: Promover o modelo para um espaço de implantação e implantar o modelo treinado
Para visualizar esta tarefa, assista ao vídeo a partir de 04:21.
Antes de implantar o modelo, é necessário promover o modelo para um espaço de implementação. Siga estas etapas para promover o modelo em um espaço de implementação para implementar o modelo:
Clique no ícone Promover para o espaço
de implantação.Escolha um espaço de implementação existente. Se você não tiver um espaço de implementação:.
Clique em Criar um novo espaço de implementação
Forneça um nome de espaço e uma descrição opcional.
Selecione um serviço de armazenamento.
Selecione um serviço de aprendizado de máquina.
Clique em Criar.
Clique em Fechar.
Selecione seu novo espaço de implementação na lista.
Selecione a opção Acessar o modelo no espaço depois de promovê-lo .
Clique em Promover.
Nota: se você não selecionou a opção para acessar o modelo no espaço depois de promovê-lo, será possível usar o menu de navegação para navegar para Implementações para selecionar seu espaço de implementação e modeloCom o modelo aberto, clique em Nova implementação..
Selecione On-line como o Tipo de implementação.
Especifique um nome para a implementação.
Clique em Criar.
Quando a implementação estiver concluída, clique no nome da implementação para visualizar a página de detalhes da implementação.
Verifique seu progresso
A imagem a seguir mostra a nova implementação.
Tarefa 4: Teste o modelo implementado
Para visualizar esta tarefa, assista ao vídeo a partir do minuto 05:35.
Agora que o modelo foi implantado, você pode testar essa implantação on-line usando a interface do usuário ou por meio das APIs de tempo de execução watsonx.ai. Siga estas etapas para usar a interface com o usuário para testar o modelo com novos dados:
Clique na guia Testar. É possível testar o modelo implementado por meio da página de detalhes da implementação de duas maneiras: testar com um formulário ou testar com um código JSON.
Clique na guia Entrada JSON , copie os dados de teste a seguir e cole-os para substituir o texto JSON existente:
{ "input_data": [ { "fields": [ "age", "job", "marital", "education", "default", "balance", "housing", "loan", "contact", "day", "month", "duration", "campaign", "pdays", "previous", "poutcome" ], "values": [ [ 27, "unemployed", "married", "primary", "no", 1787, "no", "no", "cellular", 19, "oct", 79, 1, -1, 0, "unknown" ] ] } ] }Clique em Prever para prever se um cliente com os atributos especificados provavelmente irá se inscrever para um tipo específico de conta. A predição resultante indica que esse cliente tem grandes chances de não se inscrever na promoção de marketing.
Clique no X para fechar a janela Resultados de Previsão
Verifique seu progresso
A imagem a seguir mostra os resultados de testes da implementação. Os valores para sua predição podem ser diferentes dos valores na imagem a seguir.
Tarefa 5: Criar uma tarefa em lote para pontuar o modelo
Agora que você testou o modelo implementado com uma única predição, é possível criar uma implementação em lote para pontuar diversos registros ao mesmo tempo
Tarefa 5a: Configurar implementação em lote
Para visualizar esta tarefa, assista ao vídeo a partir do minuto 06:02.
Para uma implementação em lote, você fornece dados de entrada, também conhecidos como carga útil do modelo, em um arquivo CSV. Os dados devem ser estruturados como os dados de treinamento, com os mesmos cabeçalhos de coluna. A tarefa em lote processa cada linha de dados e cria uma previsão correspondente. Siga estas etapas para fazer upload dos dados de carga útil para o espaço de implementação:
Copie e cole o seguinte texto em um editor de texto e salve o arquivo como
bank-payload.csv.age,job,marital,education,default,balance,housing,loan,contact,day,month,duration,campaign,pdays,previous,poutcome 30,unemployed,married,primary,no,1787,no,no,cellular,19,oct,79,1,-1,0,unknown 33,services,married,secondary,no,4789,yes,yes,cellular,11,may,220,1,339,4,failure 35,management,single,tertiary,no,1350,yes,no,cellular,16,apr,185,1,330,1,failure 30,management,married,tertiary,no,1476,yes,yes,unknown,3,jun,199,4,-1,0,unknown 59,blue-collar,married,secondary,no,0,yes,no,unknown,5,may,226,1,-1,0,unknown 35,management,single,tertiary,no,747,no,no,cellular,23,feb,141,2,176,3,failure 36,self-employed,married,tertiary,no,307,yes,no,cellular,14,may,341,1,330,2,other 39,technician,married,secondary,no,147,yes,no,cellular,6,may,151,2,-1,0,unknown 41,entrepreneur,married,tertiary,no,221,yes,no,unknown,14,may,57,2,-1,0,unknown 43,services,married,primary,no,-88,yes,yes,cellular,17,apr,313,1,147,2,failure 39,services,married,secondary,no,9374,yes,no,unknown,20,may,273,1,-1,0,unknown 43,admin.,married,secondary,no,264,yes,no,cellular,17,apr,113,2,-1,0,unknown 36,technician,married,tertiary,no,1109,no,no,cellular,13,aug,328,2,-1,0,unknown 20,student,single,secondary,no,502,no,no,cellular,30,apr,261,1,-1,0,unknown 31,blue-collar,married,secondary,no,360,yes,yes,cellular,29,jan,89,1,241,1,failure 40,management,married,tertiary,no,194,no,yes,cellular,29,aug,189,2,-1,0,unknown 56,technician,married,secondary,no,4073,no,no,cellular,27,aug,239,5,-1,0,unknown 37,admin.,single,tertiary,no,2317,yes,no,cellular,20,apr,114,1,152,2,failure 25,blue-collar,single,primary,no,-221,yes,no,unknown,23,may,250,1,-1,0,unknown 31,services,married,secondary,no,132,no,no,cellular,7,jul,148,1,152,1,otherClique em seu espaço de implementação na trilha de navegação
Clique na guia Ativos.
Arraste o arquivo bank-payload.csv para o painel lateral e aguarde o upload do arquivo.
Verifique seu progresso
A imagem a seguir mostra a guia Ativos no espaço de implementação.
Tarefa 5b: Criar a implementação em lote
Para visualizar esta tarefa, assista ao vídeo a partir do minuto 06:31.
Para processar um lote de entradas e ter a saída gravada em um arquivo, em vez de exibida em tempo real, crie uma tarefa de implementação em lote.
Acesse a guia Ativos no espaço de implementação..
Clique no menu Overflow
do seu modelo e selecione Implantar.Para o Tipo de implementação, selecione Lote
Digite um nome para a implementação
Escolha a menor especificação de hardware.
Clique em Criar.
Verifique seu progresso
A imagem a seguir mostra a implementação em lote.
Tarefa 5c: Criar a tarefa em lote
Para visualizar esta tarefa, assista ao vídeo a partir do minuto 06:45.
A tarefa em lote executa a implementação.. Para criar a tarefa, especifique os dados de entrada e o nome do arquivo de saída. É possível configurar uma tarefa para executar em um planejamento ou executar imediatamente. Siga estas etapas para criar uma tarefa em lote:
Na página de implementação, clique em Nova tarefa
Especifique um nome para a tarefa e clique em Avançar..
Selecione a menor especificação de hardware, e clique em Avançar.
Opcional: configure um planejamento e clique em Avançar.
Opcional: escolha receber notificações e clique em Avançar.
Na tela Escolher dados , selecione os dados de entrada :
Clique em Selecionar origem de dados
Selecione Ativo de Dados> bank-payload.csv
Clique em Confirmar.
De volta na tela Escolher dados , especifique o arquivo Saída :
Clique em Incluir.
Clique em Selecionar origem de dados
Assegure que a guia Criar novo esteja selecionada.
Para o Nome, digite
bank-output.csv.Clique em Confirmar.
Clique em Avançar para a etapa final
Revise as configurações e clique em Submit.
Clique no ícone Run (Executar ) para executar o trabalho.
Verifique seu progresso
A imagem a seguir mostra os detalhes da tarefa para a implementação em lote.
Tarefa 5d: Visualizar a saída
Para visualizar esta tarefa, assista ao vídeo a partir do minuto 07:35.
Siga estas etapas para revisar o arquivo de saída da tarefa em lote.
Clique no nome da tarefa para ver o status..
Quando o status mudar para Concluído, clique no nome do espaço de implementação na trilha de navegação.
Clique na guia Ativos.
Clique no arquivo bank-output.csv para revisar os resultados de predição para as informações do cliente enviadas para processamento em lote. Para cada caso, a previsão retornou que a probabilidade é que esses clientes não assinariam a promoção bancária.
Verifique seu progresso
A imagem a seguir mostra os resultados da tarefa de implementação em lote.
Próximas etapas
Agora é possível usar esse conjunto de dados para outras análises. Por exemplo, você ou outros usuários podem executar qualquer uma destas tarefas:
Recursos adicionais
Experimente estes tutoriais adicionais para obter mais experiência prática na construção de modelos usandoAutoAI:
Tente esses outros métodos para construir modelos:
Veja mais vídeos
Encontre conjuntos de dados de amostra para obter experiência prática na criação de modelos no hub de recursos