Planejamento do fluxo de trabalho de implementação da sua solução de aprendizado de máquina

Definição de um caso de uso de IA

Um caso de uso de IA consiste em um conjunto de fichas técnicas que contêm linhagem, histórico e outras informações relevantes sobre o ciclo de vida de um ativo de IA, como um modelo.

Sua organização pode exigir que você rastreie e documente sua solução de IA para fins de transparência ou conformidade normativa. No entanto, os casos de uso de IA são úteis mesmo quando não são necessários, pois fornecem uma maneira integrada de acompanhar o progresso, as decisões e as métricas sobre sua solução.

Para criar um caso de uso de IA, primeiro crie um inventário e, em seguida, crie o caso de uso. Adicione cientistas de dados, engenheiros de dados e outros usuários envolvidos na criação, teste ou governança da sua solução como colaboradores de casos de uso.

Desenvolvimento de fluxos de trabalho de governança

Um fluxo de trabalho de governança impõe um processo de revisão e aprovação para casos de uso de IA e uso de modelos.

Sua organização pode exigir um ou mais dos seguintes tipos de fluxos de trabalho de governança:

• Modele fluxos de trabalho de governança de risco para aprovar casos de uso de IA, aprovar eventos do ciclo de vida do modelo básico, executar avaliações de risco ou automatizar o monitoramento do desempenho dos modelos.
• Fluxos de trabalho de gerenciamento de conformidade regulatória para processar alertas publicados por agências reguladoras.
• Fluxos de trabalho de gerenciamento de risco operacional para rastrear o risco de modelo juntamente com outros riscos operacionais em toda a empresa.

Para definir um fluxo de trabalho de governança, configure-o no console de governança.

Configuração de um projeto

Um projeto é um espaço de trabalho colaborativo em que as pessoas trabalham com modelos e dados para atingir um objetivo compartilhado.

Você precisa de um projeto para preparar dados, executar experimentos e criar modelos de aprendizado de máquina.

Um projeto para uma solução de aprendizado de máquina normalmente contém os seguintes tipos de itens que são adicionados explicitamente por cientistas de dados ou engenheiros de IA ou são criados como resultado de um processo:

• Ativos de conexão com fontes de dados, como o local onde você armazena dados de treinamento.
• Ativos de dados que representam conjuntos de dados para modelos de treinamento.
• Notebooks que você cria ou que são gerados por processos como a execução de um experimento AutoAI.
• Experimente e flua os ativos que você cria a partir de ferramentas em execução, como AutoAI, SPSS Modeler, ou Decision Optimization.
• Trabalhos criados pela execução de ativos em ferramentas.

Você tem um projeto de sandbox criado automaticamente. No entanto, talvez você queira criar um projeto com um nome que reflita seu objetivo. Você pode criar um projeto na página inicial ou no menu de navegação. Adicione todas as pessoas que você deseja que trabalhem na solução. Você atribui uma função a cada colaborador para controlar suas permissões no projeto.

Preparando seus dados

A preparação de dados envolve o fornecimento de acesso aos dados necessários no formato e no nível de qualidade que sua solução precisa.

Você precisa fornecer os dados de treinamento para seu modelo de aprendizado de máquina. Seus dados de treinamento devem incluir dados rotulados para que a coluna possa prever ou classificar com um algoritmo de aprendizado de máquina. Você também pode fornecer conjuntos de dados de holdout não rotulados ou conjuntos de dados de backtest. Talvez seja necessário limpar ou modelar seus dados para prepará-los para análise e treinamento de modelos.

Você pode fornecer dados de treinamento das seguintes maneiras:

• Fazer upload de um arquivo de seu sistema local
• Conectar-se à fonte de dados que contém o conjunto de dados

Você pode preparar seus dados com ferramentas de preparação de dados e, em seguida, usar esses dados em outras ferramentas, como AutoAI ou notebooks:

• Faça upload de seus arquivos de dados ou conecte-se a tabelas em suas fontes de dados.
• Limpe, modele e visualize seus dados com Data Refinery.
• Gere dados tabulares sintéticos com base em dados de produção ou em um esquema de dados personalizado com o site Synthetic Data Generator.

Você pode preparar seus dados na mesma ferramenta em que treina o modelo de aprendizado de máquina:

• Limpe, transforme, reduza, integre e valide seus dados em SPSS Modeler.
• Chame bibliotecas de código aberto pré-instaladas e IBM ou instale e chame bibliotecas personalizadas em notebooks.

Treine seu modelo de aprendizado de máquina

Um modelo de aprendizado de máquina é treinado em um conjunto de dados para desenvolver algoritmos que podem ser usados para analisar e aprender com novos dados.

Você pode experimentar o treinamento do modelo de aprendizado de máquina alterando as condições das seguintes maneiras:

• Teste de diferentes algoritmos para melhor se adequar aos seus dados
• Seleção e dimensionamento de recursos para melhor representar o problema
• Ajuste das configurações do hiperparâmetro para otimizar o desempenho e a precisão

Para criar um modelo de aprendizado de máquina, você pode experimentar o código Python em notebooks. Para automatizar a localização dos algoritmos, transformações e configurações de parâmetros para criar o melhor modelo preditivo, execute um experimento de Auto AI para aprendizado de máquina. Para explorar seus dados, modelar resultados, experimentar modelos diferentes e investigar relacionamentos para encontrar informações úteis, crie um fluxo SPSS Modeler. Para resolver um problema comercial de otimização, crie um modelo Decision Optimization.

Avaliação de seus ativos de aprendizado de máquina

Uma avaliação de um modelo de aprendizado de máquina testa a qualidade da saída do modelo para o conjunto de métricas que você escolher. Algumas métricas são baseadas na comparação da saída do modelo com a saída apropriada que você fornece no conjunto de dados de teste. A eficiência com que seu modelo gera respostas também é avaliada.

Sua organização pode exigir avaliações para conformidade normativa ou políticas internas. No entanto, as avaliações são úteis mesmo quando não são necessárias, pois as pontuações das métricas podem indicar a qualidade da sua solução e podem prever a diminuição da satisfação do usuário quando as pontuações caírem.

Ao avaliar um ativo de IA, você pode configurar os seguintes fatores:

• O tamanho da amostra a ser testada
• Quais métricas incluir
• O valor limite para cada métrica

As métricas gerais fornecem os seguintes tipos de informações sobre o modelo de aprendizado de máquina:

• O desempenho do modelo em comparação com um conjunto de testes rotulado.
• Se o modelo produz resultados tendenciosos.
• Alterações na precisão e nos dados.
• A eficiência com que o modelo processa as transações.

Você visualiza os resultados atuais e os resultados ao longo do tempo. Os resultados de cada avaliação são adicionados ao caso de uso do prompt.

Para avaliar um modelo de aprendizado de máquina, abra o painel Insights em Watson OpenScale. Se você executar um experimento de aprendizado de máquina no site AutoAI, os modelos candidatos serão avaliados e classificados automaticamente.

Implementação de sua solução

A implantação de um ativo o torna disponível para testes ou para uso produtivo por um ponto de extremidade. Depois de criar implantações, você pode testá-las e gerenciá-las, além de preparar seus ativos para implantação em ambientes de pré-produção e produção.

Você cria implantações em espaços de implantação, que são espaços de trabalho separados dos projetos e aos quais você pode adicionar um conjunto diferente de colaboradores.

Para implantar ativos de modelo de aprendizado de máquina, você promove o ativo em um espaço de implantação e cria uma implantação que contém um endpoint. Em seguida, você pode chamar o endpoint do seu aplicativo. Você pode criar espaços de implementação separados para testes, preparação e implementações de produção para dar suporte ao seu fluxo de trabalho ModelOps.

Automatização de pipelines de aprendizado de máquina

Depois de treinar e implantar o modelo de aprendizado de máquina, você pode automatizar o processo de treinamento, implantação e avaliação do modelo. Você pode comparar os resultados de vários modelos de aprendizado de máquina para determinar o melhor. Você pode configurar a pontuação automatizada em lote em escala.

Você pode configurar um pipeline para executar as seguintes tarefas:

• Adicionar ativos ao seu pipeline ou exportar ativos do pipeline
• Criar ou excluir ativos, implantações ou espaços de implantação
• Adicionar lógica e tratamento de erros, como loops
• Definir variáveis de usuário
• Substituir ou atualizar ativos para melhorar o desempenho
• Executar um trabalho para treinar um experimento, executar um script ou executar um fluxo de dados
• Especificar condições para a execução do fluxo
• Executar um script que você escreveu

Para projetar um pipeline, arraste os nós para a tela do editor de pipelines, especifique objetos e parâmetros e, em seguida, execute e monitore o pipeline.

Monitoramento e manutenção de sua solução

Depois de incorporar a solução ao aplicativo e colocá-la em produção, você deve fazer a manutenção da solução. Você também pode monitorar o desempenho do modelo. A manutenção de sua solução pode incluir o retreinamento do modelo de aprendizado de máquina com dados recentes. O monitoramento de sua solução avalia o desempenho do modelo em seu ambiente de produção.

Sua organização pode exigir que você monitore sua solução e garanta que o desempenho não fique abaixo dos limites especificados.

Para monitorar sua solução, abra a implantação de sua solução no espaço de implantação e ative as avaliações. Você pode usar o ponto de extremidade de registro de carga útil para enviar solicitações de pontuação para avaliações de equidade e desvio e usar o ponto de extremidade de registro de feedback para fornecer dados de feedback para avaliações de qualidade.