Instalando um módulo Python para configurar a avaliação de modelo

Para automatizar o fornecimento e a configuração dos serviços necessários e ver um aplicativo de avaliação, incluindo dados de amostra, é possível instalar um módulo Python.

Sobre este Módulo

  • O módulo fornece uma maneira alternativa para que os usuários técnicos vejam uma instância Watson OpenScale em execução sem precisar provisionar e configurar os serviços você mesmo, conforme descrito no tutorial Introdução.
  • O módulo Python é executado por meio do processo de verificação dos serviços existentes e da criação dos necessários. Após o módulo ter sido executado com sucesso, no painel da IBM Cloud, será possível iniciar o Watson OpenScale para ver como ele avalia um modelo.

Cliente Python do Watson OpenScale

O Cliente Python é uma biblioteca que trabalha diretamente com o serviço de avaliação de modelo. Para propósitos de desenvolvimento e automação, é possível usar o cliente Python para configurar diretamente o banco de dados de data mart, acessar o mecanismo de aprendizado de máquina e selecionar e avaliar implementações. Para exemplos que usam o cliente Python desta forma, consulte os Blocos de notas de amostra do Watson OpenScale.

 

Antes de iniciar

  1. Crie uma chave de API do IBM Cloud e faça seu download. É necessário inserir a chave de API em uma etapa posterior.

  2. Instale qualquer liberação do Python 3.

    O Python 3 inclui o sistema de gerenciamento de pacotes pip.

  3. Instale o pacote ibm-watson-openscale-cli executando o comando a seguir:

    pip install -U ibm-watson-openscale-cli

    Se mais de uma versão de pip for instalada em seu sistema, pode-se precisar executar pip3 em vez de pip, como em, pip3 install -U ibm-watson-openscale-cli.

  4. Se você tiver uma instância existente do serviço watsonx.ai Runtime, verifique o painel doIBM Cloud para garantir que o serviço seja gerenciado pelo Cloud Identity and Access Management (IAM), e não pelo Cloud Foundry.

    Importante:

    O módulo verifica se há uma instância do watsonx.ai Runtime. Se você tiver uma instância, o módulo a usará. Mas se a sua instância for gerenciada pelo Cloud Foundry, primeiro você deve migrá-la para um grupo de recursos do IAM antes de executar o módulo.

Executando o módulo

Execute o comando a seguir:

ibm-watson-openscale-cli -a <Your API key>

Visualizando resultados

Para visualizar insights sobre a justiça e a precisão do modelo, os detalhes dos dados que são avaliados e a explicabilidade de uma transação individual, abra o painel Insights.

  • Para entender o cenário para os dados da amostra, consulte Introdução.

Visualizar insights

No Painel do Insights, clique na guia Insights , que mostra uma visão geral de métricas para modelos implementados: Insights

  • Em uma visão rápida, a página Insights mostra quaisquer problemas com justiça e precisão, conforme determinado pelos limites que estão configurados.

  • Cada implementação é mostrada como um ladrilho. Se estiver acompanhando qualquer um dos tutoriais, em seu painel, você verá uma implementação chamada GermanCreditRiskModel. A amostra a seguir exibe um painel com muitos modelos implementados e avaliados:

    Painel insight com muitas implementações, cada uma mostrada como um azulejo

Visualizar dados de avaliação

  1. A partir da página Insights, clique no bloco GermanCreditRiskModel para visualizar detalhes sobre os dados avaliados.

  2. Deslize o marcador no gráfico para visualizar um período de dia e horário que mostra os dados e, em seguida, clique no link Visualizar detalhes.

    • Por exemplo, a tela a seguir mostra os dados para uma data e um horário específicos. As datas e os horários variam, dependendo de quando você executa o módulo.

    • Para obter informações sobre a interpretação do gráfico de série temporal, consulte Obtendo insights.

    Dados históricos avaliados são mostrados

  3. Para ver detalhes sobre a avaliação de dados do AGE , certifica-se de que AGE é selecionado no menu.

    • Observe que, na captura de tela a seguir, não existe nenhuma propensão.

    • Para obter informações sobre como interpretar o gráfico dos pontos de dados em uma hora específica, consulte Visualizando dados para uma hora específica.

    Detalhes da visualização são mostrados

Visualizar explicabilidade

Para entender os fatores que contribuem quando o viés está presente para um determinado período de tempo, a partir da tela de visualização que é mostrada na seção anterior, clique em Visualizar transações.

Os IDs de transação para a hora passada são listados para as transações que têm propensões. Para o modelo usado neste módulo, não existe nenhuma propensão para solicitações que estão disponíveis. Portanto, nenhuma transação é mostrada para o período na captura de tela a seguir.

Lista de transações sem transações

Para obter informações adicionais, consulte Explicando transações.

Informações relacionadas

  • Para aprender sobre os biases, consulte Equidade.
  • Para aprender sobre o quão bem o seu modelo prevê resultados, consulte Precisão.
  • Para saber mais sobre a interpretação de gráficos e dados, consulte Obtendo insights.
  • Para aprender como os fatores subjacentes influenciam os resultados, consulte Monitorando a explicabilidade.

Tópico pai: Watson OpenScale