Estruturas de aprendizado de máquina IBM
Você pode usar o IBM watsonx.ai Runtime para executar o registro de carga útil, o registro de feedback e para medir a precisão do desempenho, a detecção de viés de tempo de execução, a detecção de desvio, a explicabilidade e a função de deduções automáticas ao avaliar modelos de aprendizado de máquina.
As seguintes estruturas de tempo de execução IBM watsonx.ai são compatíveis com a avaliação de modelos de aprendizado de máquina:
Tabela 1. Detalhes do suporte da estrutura
| Estrutura | Tipo de problema | Tipo de dados |
|---|---|---|
| AutoAI1 | Classificação (binário e multiclasse) | Estruturado (dados, texto) |
| AutoAI | Regressão | Estruturado ou não estruturado2 (apenas texto) |
| Apache Spark MLlib | Classificação | Estruturado ou não estruturado2 (apenas texto) |
| Apache Spark MLLib | Regressão | Estruturado ou não estruturado2 (apenas texto) |
| Keras com TensorFlow3&4 | Classificação | Não estruturado2 (imagem, texto) |
| Keras com TensorFlow3&4 | Regressão | Não estruturado2 (imagem, texto) |
| função Python | Classificação | Estruturado (dados, texto) |
| função Python | Regressão | Estruturado (dados, texto) |
| scikit-learn5 | Classificação | Estruturado (dados, texto) |
| scikit-learn | Regressão | Estruturado (dados, texto) |
| XGBoost6 | Classificação | Estruturado (dados, texto) |
| XGBoost | Regressão | Estruturado (dados, texto) |
1Para saber mais sobre o AutoAI, consulte Detalhes da implementação do AutoAI. Para modelos em que os dados de treinamento estão no Cloud Object Storage, não há suporte para atributos de imparcialidade do tipo booleano. No entanto, se os dados de treinamento estiverem no Db2, as avaliações do modelo suportam atributos de equidade do tipo booleano. Ao usar a opção AutoAI, se a previsão do modelo for um tipo de dados binário, não haverá suporte para as avaliações do modelo. Deve-se mudar esses modelos para que o tipo de dados da predição seja um tipo de dados de sequência.
2As métricas de imparcialidade e desvio não são suportadas para tipos de dados não estruturados (imagem ou texto).
3O suporte do Keras não inclui suporte para imparcialidade.
4A explicabilidade é suportada se o seu modelo/sua estrutura produz probabilidades de predição.
5Para gerar o modelo de detecção de desvio, deve-se usar o scikit-learn versão 1.3.2 em blocos de notas.
6Para modelos de classe múltiplas e binárias XGBoost, deve-se atualizar o modelo para retornar a probabilidade de predição em forma de valores numéricos para modelos binários e uma lista de probabilidades por classe para modelos multiclasse. O suporte à estrutura do XGBoost tem as seguintes limitações para problemas de classificação: Para a classificação binária, a função de regressão logística ' binary:logistic com uma saída como probabilidade de ' True é compatível com as avaliações de modelo. Para a classificação multiclasse, a função " multi:softprob, em que o resultado contém a probabilidade prevista de cada ponto de dados pertencente a cada classe, é compatível com as avaliações de modelo.
Modelos e dados de treinamento do AutoAI
AutoAI prepara automaticamente dados, aplica algoritmos ou estimadores e constrói pipelines de modelo que são mais adequados para seus dados e caso de uso. O acesso aos dados de treinamento é necessário para analisar o modelo para avaliações.
Como o local dos dados de treinamento não é detectado para uma avaliação de modelo de AutoAI como pode ser para modelos regulares, você deve fornecer explicitamente os detalhes necessários para acessar o local dos dados de treinamento:
- Para o caminho on-line, onde você configura manualmente monitores, deve-se fornecer os detalhes do banco de dados por meio dos quais os dados de treinamento podem ser acessados.
- Para o caminho do bloco de notas customizado, no qual você faz upload da distribuição de dados de treinamento, é possível usar o arquivo JSON que é produzido executando o bloco de notas.
Para obter mais informações, consulte Fornecer detalhes do modelo.
Especificando uma instância do serviço IBM watsonx.ai Runtime
Sua primeira etapa para configurar avaliações de modelo é especificar uma instância do IBM watsonx.ai Runtime. Sua instância do watsonx.ai Runtime é onde você armazena seus modelos e implantações de IA.
Pré-requisitos
Você deve ter provisionado uma instância do IBM watsonx.ai Runtime na mesma conta ou cluster em que a instância de serviço para avaliações de modelo está presente. Se você tiver provisionado uma instância do IBM watsonx.ai Runtime em alguma outra conta ou cluster, não poderá configurar essa instância com o registro automático de carga útil para avaliações de modelo.
Conecte sua instância do serviço watsonx.ai Runtime
Você pode se conectar a modelos e implementações de IA em uma instância IBM watsonx.ai Runtime para avaliações de modelos. Para conectar seu serviço, vá para a guia Configurar " 
, adicione um provedor de aprendizado de máquina e clique no ícone Editar " 
. Além de um nome e uma descrição e se este é um tipo de ambiente de Pré-produção ou de Produção, deve-se fornecer as informações a seguir que são específicas para esse tipo de instância de serviço:
- Se você tiver uma instância do IBM watsonx.ai Runtime, a instância será detectada, juntamente com as informações de configuração.