Perguntas Frequentes

Para executar o Watson OpenScale em meus próprios servidores, quanta energia de processamento de computador é necessária?

Existem diretrizes específicas para a configuração de hardware para configurações de três nós e seis nós. Sua equipe de Vendas Técnicas da IBM também pode ajudá-lo a dimensionar sua configuração específica. Como Watson OpenScale é executado como um complemento do IBM Cloud Pak for Data, você precisa considerar os requisitos de ambos os produtos de software.

Por que o Watson OpenScale precisa de acesso aos dados de treinamento?

Deve-se fornecer ao Watson OpenScale acesso a dados de treinamento que estão armazenados no DB2 ou no IBM Cloud Object Storage ou deve-se executar um Bloco de Notas para acessar os dados de treinamento.

O Watson OpenScale precisa de acesso aos seus dados de treinamento pelos seguintes motivos:

• Para gerar Modelo Intérprete Local-explicações Agnósticas Explicações (LIME) e explicações Contrastivas: Para criar explicações, é necessário o acesso às estatísticas, como valor mediano, desvio padrão e valores distintos dos dados de treinamento.
• Para exibir estatísticas de dados de treinamento: para preencher a página de detalhes da propensão, o Watson OpenScale deve ter dados de treinamento por meio dos quais gerar estatísticas.
• Para criar o arquivo de v2 desvio: O monitor de v2 desvio usa dados de treinamento para estabelecer a linha de base para avaliações de v2 desvio

Na abordagem baseada em Bloco de Notas, espera-se que você faça upload das estatísticas e de outras informações ao configurar uma implementação no Watson OpenScale. O Watson OpenScale não tem mais acesso aos dados de treinamento fora do Bloco de Notas, que é executado em seu ambiente. Ele tem acesso apenas às informações transferidas por upload durante a configuração.

Existe uma ferramenta de linha de comandos a ser usada?

Sim! Há uma ferramenta de CLI ModelOps, cujo nome oficial é ferramenta de operações de modelo de CLI do Watson OpenScale. Use-a para executar tarefas relacionadas ao gerenciamento de ciclo de vida de modelos de aprendizado de máquina.

Qual versão do Python posso usar com o Watson OpenScale?

Como o Watson OpenScale é independente de seu processo de criação de modelo, ele suporta quaisquer versões de Python que seu provedor de aprendizado de máquina suportar. O cliente Python do Watson OpenScale é uma biblioteca Python que funciona diretamente com o serviço Watson OpenScale na IBM Cloud. Para obter as informações de versão mais atualizadas, consulte a seção Requisitos. É possível usar o cliente Python, em vez da IU do cliente Watson OpenScale, para configurar diretamente um banco de dados de criação de log, ligar o seu mecanismo de aprendizado de máquina e selecionar e monitorar implementações. Para obter exemplos de uso do cliente Python desta forma, consulte os Blocos de notas de amostra do Watson OpenScale.

Quais navegadores posso usar para executar o Watson OpenScale?

O conjunto de ferramentas de serviço do Watson OpenScale requer o mesmo nível de software do navegador que é exigido pela IBM Cloud. Consulte o tópico IBM Cloud Pré-requisitos para obter detalhes.

A configuração de um modelo requer informações sobre a localização dos dados de treinamento e as opções são o Cloud Object Storage e o DB2. Se os dados estão no Netezza, o Watson OpenScale pode usar o Netezza?

Use este Watson OpenScale Notebook para ler os dados e Netezza gerar as estatísticas de treinamento e também o arquivo de v2 desvio.

Por que o Watson OpenScale não vê as atualizações que foram feitas no modelo?

O Watson OpenScale trabalha em uma implementação de um modelo, não no próprio modelo. Deve-se criar uma nova implementação e, em seguida, configurar essa nova implementação como uma nova assinatura no Watson OpenScale. Com esse arranjo, você consegue comparar as duas versões do modelo.

Como a propensão de modelo é minimizada usando o Watson OpenScale?

O recurso de remoção de propensão no Watson OpenScale é de classe corporativa. Ele é robusto, escalável e pode lidar com uma grande variedade de modelos. Remover propensão no Watson OpenScale consiste em um processo de duas etapas.

1. Fase de Aprendizado: Aprenda o comportamento do modelo do cliente para entender quando ele age de maneira tendenciosa..
2. Fase de aplicação: identificar se o modelo do cliente age de maneira tendenciosa em um ponto de dados específico e, se necessário, corrigir a propensão. Para obter mais informações, consulte Revisando transações sem propensão.

É possível verificar a propensão de modelo em atributos sensíveis, como raça e sexo, mesmo quando o modelo não é treinado com relação a eles?

Sim. Recentemente, o Watson OpenScale entregou um recurso inovador chamado “Detecção indireta de propensão“. Use-o para detectar se o modelo está exibindo a propensão indiretamente para atributos sensíveis, mesmo que o modelo não seja treinado com relação a esses atributos. Para obter mais informações, consulte Revisando transações sem propensão.

Posso configurar a imparcialidade do modelo por meio de uma API?

Sim, é possível com o Watson OpenScale SDK. Para obter mais informações, consulte IBM Watson OpenScale Python

Quais são os vários tipos de riscos associados ao uso de um modelo de aprendizado de máquina?

Vários tipos de riscos que estão associados a modelos de aprendizado de máquina, como qualquer mudança nos dados de entrada (também conhecidos como desvio) podem fazer com que o modelo tome decisões imprecisas, impactando as previsões de negócios. Os dados de treinamento podem ser limpos para serem livres de propensão, mas os dados de tempo de execução podem induzir o comportamento propenso do modelo..

Os modelos estatísticos tradicionais são mais simples de interpretar e explicar, mas a impossibilidade de explicar o resultado do modelo de aprendizado de máquina pode representar uma séria ameaça ao uso do modelo.

Para obter mais informações, consulte Gerenciar risco de modelo.

Quais são os tipos de explicações mostrados no Watson OpenScale?

O Watson OpenScale fornece uma explicação local com base em LIME, explicação contrastiva e explicações SHAP Para obter mais informações, consulte Visualizando explicabilidade.

O que é a análise what-if no Watson OpenScale?

As explicações UI também fornecem a capacidade de testar cenários de what-if. Por exemplo, o usuário pode alterar os valores de recurso do datapoint de entrada e verificar seu impacto na predição e probabilidade do modelo.

Quais modelos suportam explicações LIME?

Os tipos de modelos a seguir suportam explicações LIME no Watson OpenScale:

• Modelos de regressão e classificação estruturados
• Modelos de classificação de texto e imagem não estruturados

Quais modelos suportam explicações contrastivas e análises hipotéticas??

Explicações contrastivas e análises what-if são suportadas para modelos que usam apenas dados estruturados e problemas de classificação..

O que são recursos controláveis na configuração de explicabilidade do Watson OpenScale?

Usando recursos controláveis, alguns recursos do ponto de dados de entrada podem ser bloqueados, de modo que eles não mudem quando a explicação contrastiva for gerada e eles também não podem ser mudados na análise what-if. Os recursos que não devem ser alterados devem ser configurados como não controláveis ou NÃO na configuração de explainabilidade.

Durante a configuração dos provedores de aprendizado de máquina no Watson OpenScale, qual é a diferença entre as assinaturas de pré-produção e produção?

Antes de colocar um modelo em produção, um validador de modelo pode configurá-lo e validá-lo usando um provedor de serviços pré-produção. Watson OpenScale pode designar um provedor de aprendizado de máquina como parte do processamento de pré-produção, onde você executa avaliações de risco. Depois que o modelo atende aos padrões de qualidade, é possível enviá-lo para produção. É possível usar diferentes provedores de aprendizado de máquina para pré-produção e produção ou usar diferentes instâncias do mesmo provedor de aprendizado de máquina para manter os ambientes de pré-produção e produção segmentados.

Devo manter o monitoramento do painel do Watson OpenScale para ter certeza de que meus modelos se comportam como esperado?

Não, você pode configurar alertas de e-mail para suas implementações do modelo de produção em Watson OpenScale. Os alertas de e-mail são enviados sempre que um teste de avaliação de risco falha, e então você pode vir conferir os problemas e abordá-los.

Em um ambiente de pré-produção que usa o Watson OpenScale depois que o modelo é avaliado para risco e aprovado para uso, tenho que reconfigurar todos os monitores novamente no ambiente de produção?

Não, o Watson OpenScale fornece uma maneira de copiar a configuração da assinatura de pré-produção para a assinatura de produção. Para obter mais informações, consulte Gerenciar risco de modelo.

No Watson OpenScale, posso comparar minhas implementações de modelo na pré-produção com um modelo de referência para ver o quão bom ou ruim ele é?

Sim, o Watson OpenScale fornece a opção para comparar duas implementações ou assinaturas de modelo. Você pode ver uma comparação lado-a-lado do comportamento dos dois modelos em cada um dos monitores configurados. Para comparar, acesse a página de resumo do modelo no painel Watson OpenScale e selecione Actions -> Compare. Para obter mais informações, consulte Revisando os resultados da avaliação

No Watson OpenScale, quais dados são usados para cálculo de métricas de Qualidade?

As métricas de qualidade são calculadas usando dados de feedback rotulados manualmente e as respostas de implementação monitoradas para esses dados.

No Watson OpenScale, por que algumas guias de configuração estão desativadas?

Algumas condições ativam guias específicas. É possível ver o motivo pelo qual essa guia não está ativada passando o mouse sobre o ícone de círculo na guia.

Como posso configurar alertas nos ambientes de produção para que sejam enviados e-mails quando forem detectadas violações de limites?

Antes de configurar alertas, deve-se configurar o servidor SMTP no Cloud Pak for Data.