Caso de uso de Ciência de Dados e MLOps

Para operacionalizar a análise de dados e a criação de modelos, sua empresa necessita de sistemas e processos integrados. O Cloud Pak for Data as a Service fornece os processos e as tecnologias para permitir que sua empresa desenvolva e implemente modelos de machine learning e outros aplicativos de ciência de dados.

Assista a este vídeo para ver o caso de uso para implementar uma solução de Ciência de Dados e MLOps.

Este vídeo fornece um método visual para aprender os conceitos e tarefas nesta documentação.

Desafios

É possível resolver os desafios a seguir para sua empresa implementando um caso de uso de Ciência de Dados e MLOps:

Acessando dados de alta qualidade: As organizações precisam fornecer acesso fácil a dados controlados de alta qualidade para equipes de ciência de dados que usam os dados para construir modelos.
Operacionalizando a construção e a implementação de modelo: As organizações precisam implementar processos repetidos para construir e implementar modelos de forma rápida e eficiente para ambientes de produção.
Modelos de Monitoramento e Retreinamento: As organizações precisam automatizar o monitoramento e o retreinamento de modelos com base no feedback de produção

Exemplo: desafios do Banco de Ouro

Siga a história do Golden Bank à medida que implementa um processo de Data Science e MLOps para expandir seus negócios, oferecendo renovações de hipoteca de baixa taxa para aplicativos online. Os cientistas de dados do Golden Bank precisam criar um modelo de aprovação de hipotecas que evite o risco e trate todos os candidatos de forma justa. Eles também devem automatizar o retreinamento do modelo para otimizar o desempenho do modelo.

Processo

Para implementar o Data Science e MLOps para sua empresa, sua organização pode acompanhar este processo:

Prepare-se e compartilhe os dados
Modelos de construção e de trem
Implementar modelos
Monitorar modelos implementados
Automatizar o ciclo de vida AI

Os serviços watsonx.ai Studio, watsonx.ai Runtime, Watson OpenScale e IBM watsonx.data intelligence em Cloud Pak for Data as a Service fornecem as ferramentas e os processos de que sua organização precisa para implementar uma solução de ciência de dados e MLOps.

Imagem mostrando o fluxo do caso de uso da ciência de dados

Os cientistas de dados podem preparar seus próprios conjuntos de dados e compartilhá-los em um catálogo. O catálogo serve como uma loja de recursos onde seus times de cientista de dados podem encontrar ativos de dados de alta qualidade com os recursos de que eles precisam. Eles podem adicionar ativos de dados de um catálogo em um projeto, onde eles colaboram para preparar, analisar e modelar os dados.

Preparar e compartilhar dados
O que você pode usar	O que é possível fazer	Melhor usar quando
Data Refinery	Acesse e refine dados de diversas conexões de origem de dados. Materialize os conjuntos de dados resultantes como snapshots no tempo que possam combinar, unir ou filtrar dados para outros cientistas de dados para analisar e explorar. Faça os conjuntos de dados resultantes disponíveis em catálogos.	Você precisa visualizar os dados quando quiser moldar ou limpá-lo. Quer simplificar o processo de preparação de grandes quantidades de dados brutos para análise.
Catálogos	Use os catálogos em IBM watsonx.data intelligence como um armazenamento de recursos para organizar seus ativos e compartilhá-los entre os colaboradores de sua organização. Aproveite a pesquisa semântica e as recomendações baseadas em IA para ajudar os usuários a encontrar o que precisam.	Seus usuários precisam entender facilmente, colaborar, enriquecer e acessar os dados de alta qualidade. Quer aumentar a visibilidade dos dados e a colaboração entre os usuários do negócio. É preciso que os usuários visualizem, acessem, manipulem e analisem dados sem entender seu formato físico ou local, e sem ter que se mover ou copiá-lo. Você quer que os usuários aprimorem os ativos, avaliando e revisando-os.

Exemplo: catálogo do Banco de Ouro

O líder da equipe de governança cria um catálogo, "Catálogo de Aprovação de Hipotecas" e acrescenta os dados de stewards e cientistas de dados como colaboradores do catálogo. Os stewards de dados publicam os ativos de dados que eles criaram no catálogo. Os cientistas de dados encontram os ativos de dados, curados pelos stewards de dados, no catálogo e copiam esses ativos para um projeto. Em seu projeto, os cientistas de dados podem refinar os dados para prepará-los para treinamento de um modelo.

2. Modelos de construção e de trem

Para obter insights preditivos com base em seus dados, cientistas de dados, analistas de negócios e engenheiros de aprendizado de máquina podem construir e treinar modelos. Os cientistas de dados podem criar os modelos de IA, garantindo que os algoritmos e as otimizações corretos sejam usados para fazer previsões que ajudem a resolver problemas de negócios.

O que você pode usar	O que é possível fazer	Melhor usar quando
AutoAI	Use o AutoAI no watsonx.ai Studio para selecionar automaticamente algoritmos, projetar recursos, gerar candidatos a pipeline e treinar candidatos a pipeline de modelos. ' Em seguida, avalie os pipelines classificados e salve os melhores como modelos. ' Implemente os modelos treinados em um espaço ou exporte o pipeline de treinamento de modelo que você gosta do AutoAI para um notebook para refiná-lo.	Você quer uma maneira avançada e automatizada de construir um bom conjunto de treinamentos e modelos de treinamento rapidamente. Você quer ser capaz de exportar os oleodutos gerados para refiná-los.
Cadernos de anotações e scripts	Use notebooks e scripts no watsonx.ai Studio para escrever seu próprio código de treinamento e avaliação de modelos de engenharia de recursos em Python ou R. Use conjuntos de dados de treinamento disponíveis no projeto ou conexões com fontes de dados, como bancos de dados, lagos de dados ou armazenamento de objetos. Use suas estruturas e bibliotecas de código aberto favoritas.	Você quer usar habilidades de codificação Python ou R para ter controle total sobre o código que é usado para criar, treinar e avaliar os modelos.
Fluxos do SPSS Modeler	Use os fluxos do SPSS Modeler no watsonx.ai Studio para criar seus próprios fluxos de treinamento, avaliação e pontuação de modelos. Use conjuntos de dados de treinamento que estão disponíveis no projeto, ou conexões com fontes de dados, como bancos de dados, lagos de dados ou armazenamento de objetos.	Você deseja codificar visualmente em um construtor gráfico. Você deseja criar fluxos repetíveis para explorar dados e definir o treinamento, a avaliação e a pontuação do modelo.
RStudio Servidor	Analise dados e crie e teste modelos trabalhando com o R em um ambiente de desenvolvimento do RStudio Server.	Deseja-se utilizar um ambiente de desenvolvimento para trabalhar em R.

Exemplo: construção e treinamento de modelo do Banco de Ouro

Cientistas de dados do Golden Bank criam um modelo, "Modelo de Aprovação de Hipoteca" que evita o risco não antecipado e trata todos os candidatos de forma justa. Eles querem acompanhar o histórico e o desempenho do modelo desde o início, então eles adicionam um caso de uso do modelo ao "Catálogo de Aprovação de Hipoteca". Eles executam um notebook para construir o modelo e prever quais candidatos se qualificam para hipotecas. Os detalhes do treinamento do modelo são capturados automaticamente como metadados no caso de uso do modelo.

3. Implementar modelos

Quando os membros da equipe de operações implementam seus modelos de IA, os modelos se tornam disponíveis para aplicativos de uso para pontuação e predições para ajudar a conduzir ações.

O que você pode usar	O que é possível fazer	Melhor usar quando
Interface com o usuário (IU) de espaços	Use a IU de Espaços para implementar modelos e outros ativos de projetos para espaços	Você deseja implantar modelos e visualizar informações de implementação em um espaço de trabalho colaborativo.

Exemplo: implantação do modelo do Banco de Ouro

Os membros da equipe de operações no Golden Bank promovem o "Modelo de Aprovação de Hipoteca" do projeto para um espaço de implantação e, em seguida, cria uma implantação de modelo online.

4. Monitorar modelos implementados

Após os modelos serem implementados, é importante monitorá-los para ter certeza de que eles estão se apresentando bem. Os cientistas de dados devem assistir a problemas de desempenho do modelo e de consistência de dados.

Modelos de Monitor
O que você pode usar	O que é possível fazer	Melhor usar quando
Watson OpenScale	Monitore questões de equidade do modelo em vários recursos. Monitore o desempenho do modelo e a consistência dos dados ao longo do tempo. Explique como o modelo chegou a determinadas previsões com fatores ponderados. Manter e informar sobre governança de modelo e ciclo de vida em toda a sua organização.	Você tem recursos que são protegidos ou que podem contribuir para a equidade de predição. Você quer traçar desempenho do modelo e consistências de dados ao longo do tempo. Quer saber por que o modelo dá certas previsões.

Exemplo: Monitoramento do modelo do Banco de Ouro

Os cientistas de dados do Golden Bank usam o Watson OpenScale para monitorar o "Modelo de Aprovação de Hipoteca" Implementado para garantir que ele seja preciso e tratar todos os candidatos de hipoteca do Banco de Ouro de forma justa. Eles executam um notebook para configurar monitores para o modelo e, em seguida, tfraca a configuração usando a interface de usuário do Watson OpenScale . Usando métricas do monitor de qualidade do Watson OpenScale e do monitor de justiça, os cientistas de dados determinam o quão bem o modelo prevê resultados e se ele produz algum resultado tendciosciado. Eles também recebem insights sobre como o modelo chega às decisões para que as decisões possam ser explicadas aos candidatos de hipoteca.

5. Automatizar o ciclo de vida de IA..

Sua equipe pode automatizar e simplificar o ciclo de vida de MLOps e IA com o Orchestration Pipelines.

Automatize o ciclo de vida da IA
O que você pode usar	O que é possível fazer	Melhor usar quando
Orchestration Pipelines	Use dutos para criar fluxos repetidos e planejados que automatizam notebook, Data Refinerye pipelines de aprendizado de máquina, a partir da ingestão de dados para treinamento de modelo, testes e implementação.	Você deseja automatizar algumas ou todas as etapas em um fluxo de MLOps.

Exemplo: o ciclo de vida automatizado ML do Banco de Ouro

Os cientistas de dados do Golden Bank podem usar dutos para automatizar seu completo ciclo de vida e processos de Ciência de Dados e MLOps para simplificar o processo de retreinamento do modelo.

Tutoriais para Ciência de Dados e MLOps

Tutorial	Descrição	Conhecimento para tutorial
Orquestrar um pipeline de IA com monitoramento de modelo	Treine um modelo, promova-o para um espaço de implementação e implemente o modelo.	Execute um notebook.
Orquestre um pipeline de IA com integração de dados	Crie um pipeline de ponta a ponta que prepara dados e treina um modelo.	Use a interface de arrastar e soltar do Orchestration Pipelines para criar um pipeline.