Controlando modelos externos

Usando o serviço watsonx.governance ou AI Factsheets , ative o controle para modelos que são criados em blocos de notas ou fora do Cloud Pak for Data. Controle os resultados de avaliações de modelo e detalhes de modelo em fichas técnicas.

Além de controlar modelos treinados usando o watsonx.ai Runtime, você pode controlar modelos criados usando ferramentas de terceiros, como Amazon Web Services ou Microsoft Azure. Para obter uma lista de provedores suportados, consulte Provedores de machine learning suportados. Além disso, os modelos que são desenvolvidos em blocos de notas são considerados modelos externos, portanto, é possível usar AI Factsheets para controlar modelos que você desenvolve, implementa e monitora em plataformas diferentes do Cloud Pak for Data.

Use as avaliações de modelo fornecidas com watsonx.governance para medir métricas de desempenho para um modelo importado de um provedor externo. Capture os fatos em planilhas para o modelo e as métricas de avaliação como parte de um caso de uso de IA. Use os dados rastreados como parte de sua estratégia de controle e conformidade

Antes de iniciar

Antes de iniciar, certifique-se de que você, ou um usuário com uma função de Administrador, faça o seguinte:

Ative o rastreamento de modelos externos em um inventário
Designe um proprietário para o inventário

Para obter detalhes, consulte Gerenciando inventários..

Preparando-se para rastrear modelos externos

Esses pontos são uma visão geral do processo para a preservação de fatos para um modelo externo.

Os modelos externos estão listados em Modelos externos no menu de navegação principal.
É possível usar a API em um bloco de notas de modelo para salvar um ativo de modelo externo em um inventário
Associe o ativo de modelo externo a um caso de uso de IA no inventário para começar a preservar os fatos Junto com metadados de modelo, novos campos External model identifier e External deployment identifier descrevem como os modelos e implementações são identificados em sistemas externos, por exemplo: AWS ou Azure.
Também é possível incluir automaticamente os modelos externos em um inventário quando eles são avaliados em watsonx.governance O inventário de destino é estabelecido de acordo com estas regras:
- O modelo externo será criado no Platform assets catalog se seu modelo de tempo de desenvolvimento correspondente existir no Platform assets catalog ou se não houver nenhum modelo de tempo de desenvolvimento criado em qualquer inventário.
- Se o modelo de tempo de desenvolvimento correspondente for criado em um inventário usando o cliente Python , o modelo será criado nesse inventário.

Associando um ativo de modelo externo a um caso de uso de IA

O rastreamento de modelo externo automático inclui quaisquer modelos externos que são avaliados em watsonx.governance no inventário no qual o modelo de tempo de desenvolvimento existe. Depois que o modelo estiver no inventário, será possível associar um ativo de modelo externo a um caso de uso das seguintes maneiras:

Use a API para salvar o ativo de modelo externo em qualquer inventário programaticamente de um bloco de notas. O ativo de modelo externo pode então ser associado a um caso de uso de IA.
Associe o modelo externo criado com a avaliação do Watson OpenScale a um caso de uso de IA.

Criando um ativo de modelo externo com a API

Crie um modelo em um notebook.
Salve o modelo. Por exemplo, pode-se salvá-lo em um depósito S3.
Use a API para criar um ativo de modelo externo (uma representação do modelo externo) em um inventário. Para obter mais informações sobre os comandos da API que interagem com o inventário, consulte a documentação IBM_AIGOV_FACTS_CLIENT.

Registrando um ativo de modelo externo com um inventário

Abra a guia Ativos no inventário no qual você deseja controlar o modelo
Selecione o ativo do modelo Externo que você deseja controlar
Retorne para a guia Ativos no Inventário e clique em Incluir no caso de uso de IA.
Selecione um caso de uso de IA existente ou crie um novo.
Siga os avisos para salvar os detalhes no inventário.

Registrando um modelo externo do Watson OpenScale

Se você estiver validando um modelo externo no Watson OpenScale, será possível associar um modelo externo a um caso de uso de IA para rastrear os fatos do ciclo de vida

Inclua um modelo externo no painel OpenScale .
Se você já tiver definido um caso de uso de IA com a API, o sistema reconhecerá a associação de caso de uso
Conforme você cria e monitora uma implementação, os fatos são registrados com o caso de uso associado. Esses fatos são exibidos no estágio Validar ou Operar, dependendo de como você classificou o provedor de aprendizado de máquina do modelo.

Preenchendo o caso de uso de IA..

Quando os fatos são salvos para um ativo de modelo externo, eles estão associados ao pilar que representa sua fase no ciclo de vida, da forma a seguir:

Se o ativo do modelo externo for criado a partir de um notebook sem implementação, ele será exibido no pilar Desenvolver.
Se o ativo de modelo externo for criado a partir de um bloco de notas com a implementação, ele será exibido no pilar Validar
Quando a implementação do modelo externo é avaliada em OpenScale, ela exibe no estágio Validar ou Operar, dependendo de como foi classificado o provedor de aprendizado de máquina para o modelo.

Visualizando fatos para um modelo externo

A visualização de fatos de um modelo externo é ligeiramente diferente da visualização de fatos de um modelo de tempo de execução do watsonx.ai. Estas regras se aplicam:

Clique na guia Ativos do inventário contendo os ativos de modelo externo para visualizar fatos.
Ao contrário dos casos de uso do modelo de tempo de execução do watsonx.ai, que têm fichas técnicas diferentes para modelos e implantações, as fichas técnicas para modelos externos combinam informações sobre o modelo e as implantações na mesma página.
Vários ativos com o mesmo nome podem ser criados em um inventário Para diferenciá-los, as tags desenvolvimento, pré-produção e produção são designadas automaticamente para refletir seu estado.