Gerenciar risco de modelo

Uma solução de gerenciamento de risco de modelo é oferecida com avaliação de modelo que mede os resultados dos modelos de IA em todo o seu ciclo de vida e realiza validações de modelo para ajudar sua organização a cumprir padrões e regulamentações.

Realize análises com o Watson OpenScale

Depois de configurar e ativar os recursos de gerenciamento de risco de modelo, é possível ver e comparar as avaliações de amostra. É possível fazer download do relatório de resumo do modelo que inclui todas as medidas de qualidade, medidas de justiça e magnitude de desvio.

Painel de resumo do MRM

  1. No painel de Insights, clique no bloco de implementação de modelo

  2. No menu Ações, clique em uma das opções de análise a seguir:

    • Todas as avaliações: Lista todas as avaliações em andamento e concluídas
    • Comparar: Compare qualquer um dos modelos, mas especialmente as versões do mesmo modelo, para obter o melhor desempenho
    • Baixar o relatório em PDF: Gera o relatório de resumo do modelo, que fornece todas as métricas e a explicação de por que elas foram pontuadas da maneira que foram

Implementar um novo modelo na produção no Watson OpenScale

Envie por push o melhor modelo para produção. Crie um registro de produção importando de um modelo de pré-produção.

  1. Revise o status da implementação do modelo.
  2. Retorne para o bloco de notas de amostra e execute as células para enviar o modelo para a produção.
  3. Agora é possível visualizar o ladrilho de implementação do modelo de produção. Em um ambiente de produção regular, ele inicialmente aparece vazio até que dados suficientes sejam reunidos e o tempo transcorra para que o cálculo de métrica seja acionado. O bloco de notas inclui dados e executa os monitores para que você possa ver os resultados imediatamente.

Comparar modelos

Ao visualizar os detalhes de uma avaliação de modelo, você pode comparar modelos com um gráfico de matriz que destaca as principais métricas. Use este recurso para determinar qual versão de um modelo é a melhor para enviar para produção ou qual modelo pode precisar de trabalho.

No menu Ações, selecione Comparar para gerar um gráfico que compara as pontuações das métricas que você usa para monitorar seus modelos.

Avaliar agora

No menu Actions (Ações ), selecione Evaluate now (Avaliar agora) para avaliar os dados de teste. No ambiente de pré-produção, é possível importar dados de teste com um dos seguintes métodos:

  • Fazer upload de um arquivo CSV que contém dados de teste rotulados
  • Conecte-se a um arquivo CSV que contenha dados de teste rotulados no Cloud Object Storage ou DB2

Quando você usa qualquer um desses métodos de importação, é possível controlar se o Watson OpenScale pontua os dados de teste.

Se quiser pontuar seus dados, importe os dados de teste rotulados com colunas de recursos e rótulos. Os dados de teste são pontuados e os valores de previsão e probabilidade são armazenados na tabela de feedback como as colunas _original_prediction e _original_probability.

Se você desejar importar dados de teste que já estão pontuados, marque a caixa de seleção Test data includes model output no painel Importar dados de teste. É necessário importar os dados de teste com colunas de recurso e de rótulo juntamente com a saída pontuada. Os dados do teste não são reescalonados. Os valores de predição e de probabilidade são armazenados na tabela de feedback como as colunas _original_prediction e _original_probability.

Notas:

  • Os dados de teste que são transferidos por upload também podem incluir as colunas record_id/transaction_id e record_timestamp, que são adicionadas às tabelas de criação de log de carga útil e de feedback quando a opção Test data includes model output é selecionada.
  • Certifique-se de que a assinatura esteja totalmente ativada, configurando os esquemas certos antes de executar avaliações.
  • Marque a caixa de seleção Habilitar credenciais de tarefa. Essa configuração é necessária para todas as assinaturas que precisam de autorização para executar trabalhos de avaliação com segurança.

Ao executar avaliações, é possível visualizar o progresso com um indicador de status que mostra se as avaliações foram concluídas com êxito.

O indicador de status do progresso da avaliação é exibido

Copiar a configuração de uma assinatura de pré-produção para uma assinatura de produção

Para economizar tempo, é possível copiar metadados de configuração e de modelo de uma assinatura de pré-produção e incluir esses dados em uma assinatura de produção. O modelo deve ser uma correspondência idêntica ao modelo de origem, mas implementado no espaço de produção.