A governança de IA é a capacidade de monitorar e gerenciar as atividades com IA dentro de uma organização. Inclui processos e procedimentos para rastrear e documentar a origem dos dados e modelos implementados dentro da empresa; bem como as técnicas usadas para treinar, validar e monitorar a precisão contínua dos modelos. A governança de IA eficaz oferece três resultados principais para as empresas:

• Conformidade. Ajudar a garantir que as soluções de IA e as decisões entregues por IA sejam consistentes com as práticas aceitas pelo setor, padrões regulatórios e requisitos legais.

• Confiança. Permitir a confiança nas decisões tomadas pela IA, ajudando a garantir que os modelos de IA sejam explicáveis e justos.

• Eficiência. Melhorar a velocidade de lançamento no mercado e reduzir os custos de desenvolvimento da IA, ao padronizar e otimizar as práticas de desenvolvimento e implementação da IA.

As empresas que não adotam a governança de IA correm o risco de várias consequências negativas. O processo de aprendizado de máquina é iterativo e requer colaboração. Sem boa governança e documentação, os cientistas de dados ou validadores não podem ter certeza da linhagem dos dados de um modelo ou de como o modelo foi criado. Pode ser desafiador reproduzir a forma como foram obtidos resultados. Se os administradores treinarem um modelo usando dados errados ou incompletos, meses de trabalho podem ser destruídos.

A falta de governança de IA pode resultar em penalidades significativas. Os operadores bancários receberam multas de sete dígitos por usar modelos com viés ao determinar a elegibilidade para empréstimos. A UE pretende adicionar regulamentações de IA ao Regulamento Geral de Proteção de Dados (GDPR). As infrações do GDPR atualmente podem "resultar em uma multa de até € 20 milhões, ou 4% da receita anual mundial da empresa no ano fiscal anterior, o que for maior".

A reputação da marca também está em risco. Um experimento usou um software de IA para aprender os padrões de fala de jovens nas mídias sociais. Autoridades administrativas removeram o software rapidamente depois que trolls da internet “ensinaram” a ferramenta a criar postagens racistas, sexistas e antissemitas.

Arquitetura conceitual

O diagrama acima mostra os principais componentes de uma solução de governança de IA para uma solução de IA generativa usando um grande modelo de linguagem (LLM).

A Governança de Modelos é a central de governança de IA. Ela fornece dashboards, relatórios e recursos de alertas usados pela equipe da empresa para garantir, auditar e relatar que os modelos de IA estão atendendo aos requisitos de justiça, transparência e conformidade. O componente de Governança de Modelos também permite que as empresas definam critérios de gating e outras políticas que afetam quando e como os modelos migram do desenvolvimento para a produção.

O Monitoramento de Modelos monitora ativamente a produção dos modelos para garantir que eles sejam explicáveis, justos e estejam em conformidade com os regulamentos, e que permaneçam assim quando forem implementados. Se os modelos começam a se desviar ou a exibir viés em suas saídas, o componente de Monitoramento de Modelos os sinaliza para investigação pela equipe de operações de IA.

Passo a passo conceitual

O diagrama abaixo mostra as interações de componentes de alto nível para oferecer a governança de IA empresarial.

1. Os membros da equipe de governança corporativa usam o componente Model Governance para (i) visualizar os modelos de IA (de base ou não) implementados na empresa em infraestrutura privada, hiperescaladores e plataformas baseadas em nuvem e (ii) definir critérios operacionais mínimos e outras políticas para modelos a serem implantados e operados na empresa. Os critérios e controles de políticas são propagados para o componente Model Monitoring para monitoramento e alertas subsequentes.

2. Um prompt do Desenvolvedor de Modelos ajusta um grande modelo de linguagem (LLM) e avalia a resposta do modelo para os prompts de teste. Os resultados desses testes, juntamente com estatísticas resumidas, são capturados e propagados para o componente de Monitoramento de Modelos, onde são registrados para fornecer a linhagem do modelo e dos dados.

3. Um Validador de Modelos avalia os resultados do ajuste e dos testes e, com a ajuda do componente de Monitoramento de Modelos, compara-os com os critérios e controles de gating definidos pela equipe de governança empresarial. Quando os critérios e controles são atendidos, o modelo é aprovado para uso em produção.

4. Um Desenvolvedor de Modelos usa o componente de Monitoramento de Modelos para monitorar o desempenho do modelo ao longo do tempo; especificamente, o Desenvolvedor procura garantir que as respostas do modelo continuem a atender aos critérios empresariais de justiça (ausência de viés), precisão (respostas corretas) e transparência (respostas explicáveis).

5. O componente de Monitoramento de Modelos monitora continuamente os modelos de IA implementados (modelos de base/generativos, bem como modelos de aprendizado de máquina "tradicionais") para capturar estatísticas de precisão e desempenho.

6. O componente de Monitoramento de Modelos também captura prompts de usuários e as respostas do modelo para (i) proteger ainda mais contra desvios do modelo (desvios no viés e/ou precisão do modelo) e (ii) capturar dados de teste e ajudar a identificar áreas de tópicos ou domínios de dados onde um ajuste adicional será benéfico.

Solução de produtos da IBM atualmente

O mapeamento atual do IBM watsonx.governance e as soluções do IBM OpenPages ao modelo conceitual são mostrados no diagrama abaixo. Os modelos de base executados no toolkit de ponta a ponta do watsonx.ai, no local, na infraestrutura baseada em nuvem, ou em plataformas de IA de terceiros, como o Amazon Sagemaker, são monitorados em tempo de execução pelo watsonx.governance. O watsonx.governance também oferece recursos para criar, atualizar e gerenciar cartões do modelo, conhecidos como Factsheets de IA, no watsonx.governance, além de capturar e gerar relatórios sobre métricas de desempenho do modelo. O módulo Model Risk Management do IBM OpenPages fornece os recursos de gerenciamento e geração de relatórios de risco e os recursos de gerenciamento de políticas de desenvolvimento e implementação de modelos, o Model Governance.

Solução de produtos da IBM no futuro

Em um futuro próximo, o watsonx.governance fornecerá os recursos de Governança de Modelos e Monitoramento de Modelos

A governança de soluções de IA generativa é semelhante à governança de modelos de IA "tradicionais", mas seus recursos generativos exigem um gerenciamento mais próximo das entradas e saídas do modelo do que os modelos tradicionais para proteger contra prompts indevidos ou maliciosos e para garantir que os modelos estejam efetivamente produzindo saídas corretas e aceitáveis. Esta seção ilustra como o IBM watsonx.governance é aplicado a modelos de base em dois casos de uso principais: gerenciamento do ciclo de vida de modelos e risco e conformidade regulatória de modelos.

Gerenciamento do ciclo de vida de modelos

O diagrama acima ilustra como o watsonx.governance é usado para gerenciar o ciclo de vida de modelos, desde os testes iniciais e a validação até a implementação.

1. Um prompt do Model Developer ajusta um modelo na solução no local do watsonx.ai, no serviço watsonx.ai ou em outra plataforma no local ou baseada na nuvem e desenvolve e testa prompts em relação a nela.

2. Os prompts e dados de resposta do modelo, juntamente com métricas de desempenho do modelo, como ROUGE, SARI, Chrf e BLEU, são capturados na funcionalidade de gerenciamento de inventário do modelo do watsonx.governance. Várias versões dos prompts e dados de respostas são capturadas para permitir a comparação cruzada e a seleção de uma combinação de modelo e prompt que melhor atenda aos requisitos da empresa.

3. Um Validador de Modelos avalia os resultados das combinações individuais de prompt e modelos e seleciona uma versão para aprovar para implementação em produção.

4. Desenvolvedores de Modelos usam o mesmo recurso para rastrear combinações de modelo/prompt e seu desempenho para casos de uso específicos de negócios.

Risco e conformidade regulatória de modelos

O passo a passo dos componentes para risco e conformidade regulatória de modelos no watsonx.governance é mostrado abaixo.

1. Os membros da equipe de governança de IA da empresa determinam e definem critérios, especificados como variações mínimas, máximas e permitidas das métricas do modelo, como ROUGE, que devem ser atendidas pelos modelos em produção. Esses critérios são definidos na ferramenta IBM OpenPages Model Risk Management e, posteriormente, propagados para o watsonx.governance.

2. Um prompt do Model Developer ajusta e desenvolve prompts de teste em relação a um modelo de base implementado na solução no local do watsonx.ai, no serviço watsonx.ai ou em outra solução no local ou baseada na nuvem, como o Sagemaker.

3. As informações de prompts e os dados de resposta do modelo, juntamente com as métricas de desempenho do modelo, são propagados para o watsonx.governance, onde as métricas são comparadas com os limites definidos pela equipe de governança.

4. Os resultados da comparação de métricas são propagados para o IBM OpenPages para avaliação e geração de relatórios pela equipe de governança. Especificamente, se a combinação de prompt/modelo atender a todos os critérios definidos, ela poderá ser sinalizada como pronta para produção ou como não tendo riscos. Se o modelo atender a apenas alguns dos critérios, ele pode ser sinalizado como potencialmente com baixo desempenho e ainda não adequado para produção, dependendo do quão rigorosa a equipe de governança tornou a política.