O que é gerenciamento de IA?

Os sistemas de inteligência artificial se comportam de maneira diferente dos softwares tradicionais. Um programa de software convencional segue instruções explícitas para produzir uma saída determinística: fornecer a mesma entrada sob as mesmas circunstâncias a um programa tradicional sempre produzirá a mesma saída. Um sistema orientado por IA produz saídas probabilísticas orientadas por algoritmos de aprendizado de máquina: sua saída pode variar mesmo que a entrada e as circunstâncias permaneçam as mesmas.

Essa lógica dinâmica é excepcionalmente poderosa, mas a imprevisibilidade que ela acarreta traz riscos potenciais. Por exemplo, as organizações enfrentam riscos à reputação derivados de saídas com viés ou tóxicas. Alucinações de IA não verificadas ou não detectadas apresentam um conjunto amplo de riscos, que vão desde irritar ou confundir os usuários até imprecisões em cenários de missão crítica com grandes consequências. Ataques adversários impulsionados por IA ou conjuntos de dados comprometidos podem introduzir riscos de cibersegurança. O não cumprimento dos regulamentos de IA em um ambiente em rápida mudança traz riscos financeiros e jurídicos.

Um AIMS é projetado para prever e levar em conta esses riscos. Em termos mais tangíveis, um AIMS pode ser entendido como políticas e protocolos para incorporar governança de IA em todos os fluxos de trabalho relevantes para o uso de ferramentas e produtos baseados em IA por uma organização. Isso inclui medidas como avaliações proativas padronizadas de riscos, mecanismos de geração de relatórios, auditorias de rotina e monitoramento em tempo real das saídas e do desempenho dos modelos.

Quando bem executados, os sistemas de gerenciamento de IA não só mitigam os riscos, como também otimizam a eficiência operacional e criam confiança entre desenvolvedores, usuários finais e outros stakeholders cuja adesão é essencial para a adoção eficaz da IA.

Um sistema abrangente de gerenciamento de inteligência artificial deve lidar com o seguinte:

Quem pode ser afetado por questões de imparcialidade e viés e como seriam afetados? Seu projeto de IA pode inadvertidamente ter como resultados a discriminação? Além dos requisitos regulatórios, quais são as suas responsabilidades éticas em relação à privacidade de dados e à transmissão precisa dos recursos e limitações do sistema? A transparência severa sobre essas questões éticas sustenta a confiança dos stakeholders e melhora a tomada de decisão mais adiante.

Quais ameaças específicas são inerentes ao desenvolvimento ou à implementação da sua aplicação de IA? Por exemplo, o uso de ferramentas de IA em domínios jurídicos ou de saúde deve levar em conta as consequências regulatórias; falhas de IA em contextos de atendimento ao cliente correm o risco de ter consequências para a reputação. Como a mitigação dessas ameaças é um dos principais objetivos de seu AIMS, a identificação dos riscos de IA específicos de seu caso de uso deve ser uma das primeiras e mais importantes etapas do processo.

Uma governança de dados adequada é essencial para manter a qualidade e a segurança contínuas dos dados usados para treinar modelos de IA (e dos dados gerados por eles). É particularmente importante em domínios que envolvam conformidade com frameworks regulatórios. Por exemplo, se um usuário afirmar o"direito ao esquecimento" dele derivado do RGPD, seu sistema deve permitir que os dados desse indivíduo sejam facilmente localizados e excluídos. Os sistemas que operam em contextos de saúde devem proteger informações confidenciais em conformidade com os requisitos da HIPAA.

Protocolos e políticas para lidar com essas considerações devem ser incorporados não apenas no desenvolvimento e na implementação inicial de sistemas de IA, mas em sua manutenção contínua. O gerenciamento adequado do ciclo de vida da IA é necessário para detectar e subjugar os riscos introduzidos pelo desvio do modelo ou outras preocupações que possam surgir ao longo do tempo.

Uma estratégia para questionar ativamente a integridade de seu sistema de IA ao longo do tempo está entre os meios mais importantes para manter os objetivos que seu AIMS deve ajudar a alcançar. A estrutura específica e a cadência das auditorias de rotina estão entre as considerações operacionais mais importantes do gerenciamento da IA.

De quem é o trabalho de implementar e supervisionar tudo isso? É necessário ter uma definição clara das funções e responsabilidades individuais para que a estratégia de gerenciamento de IA passe de algo que soa bem no papel para algo que proteja ativamente a inovação de IA em sua organização.

Estabelecer esses princípios e processos no início do processo de desenvolvimento da IA ajuda a otimizar e agilizar a tomada de decisão mais adiante.

Há muitas maneiras de implementar um gerenciamento eficaz de IA, e algumas organizações podem optar por adotar abordagens totalmente personalizadas para suas iniciativas de gerenciamento de IA. Mas muitas serão bem atendidas ao aderir a (ou pelo menos pegar inspiração em) framework estabelecidos, como a ISO 42001, o NIST AI Risk Management Framework ou os princípios prescritos pela Lei de IA da UE.

A ISO 42001 (abreviação de ISO/IEC 42001:2023) é a primeira norma internacional do mundo para estabelecer, implementar, manter e continuar a melhorar o AIMS. Desenvolvida em 2023, o objetivo declarado da ISO 42001 é oferecer às organizações "a orientação abrangente de que precisam para usar a IA de forma responsável e eficaz, mesmo quando a tecnologia está evoluindo rapidamente". As organizações podem solicitar a certificação formal ISO 42001, que envolve uma auditoria de terceiros de sistemas e processos para avaliar sua adesão às práticas prescritas de IA pela ISO 42001.

Mais especificamente, a ISO 42001 prescreve uma norma de sistema de gerenciamento (MSS) para uma sólida governança organizacional de IA usando a metodologia Planejar-Executar-Verificar-Agir.

O estágio de planejamento é onde o AIMS define as regras de engajamento de seu sistema de IA.

• Contexto e escopo: defina exatamente o que suas ferramentas de IA fazem e não fazem. Por exemplo, você pode especificar que um chatbot de suporte ao cliente pode responder a consultas de suporte ou escalar problemas para um ser humano, mas não pode autorizar reembolsos diretamente. 

• Avaliação de riscos: mapeie as ameaças específicas acarretadas por esse contexto e escopo. Por exemplo, o bot de suporte ao cliente pode alucinar uma política da empresa, causando confusão ou expectativas equivocadas. O atlas de riscos de IA da IBM pode ajudar você a começar.

• Definição de objetivos: defina métricas tangíveis para o que se qualifica como “sucesso”. Isso geralmente depende do problema que você está tentando resolver com a implementação de ferramentas de IA. Se o objetivo do seu projeto de IA for liberar a largura de banda dos funcionários para consultas mais complexas, por exemplo, você pode definir sucesso como uma certa porcentagem de casos sendo resolvidos sem necessidade de intervenção humana adicional. 

No estágio Fazer, os princípios e objetivos definidos no estágio anterior são operacionalizados em um fluxo de trabalho real de desenvolvimento de IA.

• As possíveis ameaças devem ser consideradas nas políticas de governança de dados.

• Devem ser estabelecidas proteções e redundâncias para proteger contra riscos conhecidos.

• A automação da avaliação de desempenho do sistema, sempre que possível, minimiza o trabalho braçal necessário para medir objetivamente o sucesso e, posteriormente, melhorar o sistema.

O sistema de IA deve ser supervisionado ativamente. Todas as ações tomadas pelo sistema devem ser registradas, para facilitar a explicabilidade do sistema. Se um determinado resultado do sistema de IA for problemático ou insatisfatório de alguma forma, ele só poderá ser melhorado se você puder identificar exatamente onde ocorreram erros no processo.

As auditorias de rotina devem garantir que as equipes estejam seguindo os protocolos de AIMS e que estejam fazendo isso de forma significativa, não apenas nominalmente.

Quando ocorrem incidentes, um sistema está implementado para interromper o trabalho e fazer as melhorias necessárias. Se as auditorias revelarem proteções inadequadas, problemas imprevistos ou vulnerabilidades de segurança emergentes, novas medidas são implementadas para lidar com elas.

O Instituto Nacional de Padrões e Tecnologia dos EUA (NIST) é uma agência do Departamento de Comércio dos Estados Unidos. O AI Risk Management Framework (AI RMF) do NIST é um playbook adaptável para uso responsável da IA, complementado por extensa literatura de materiais de apoio, incluindo:

• O AI RMF Playbook, que fornece ações sugeridas para alcançar os resultados estabelecidos no AI RMF adequado.

• O Roteiro do RMF de IA, que visa "ajudar a preencher lacunas de conhecimento, prática ou orientação", tem como objetivo identificar maneiras de fortalecer o próprio RMF de IA e a capacidade do NIST de auxiliar organizações dos setores público e privado a implementá-lo.

• AI RMF Crosswalks, que são projetados para ajudar as organizações a mapear práticas existentes para conceitos e termos em uma variedade de frameworks de gerenciamento de IA, incluindo (entre outros) a ISO 42001.

• Casos de uso no governo, indústria e meio acadêmico.

O AI RMF Playbook usa uma metodologia de Governar, Mapear, Medir, Gerenciar.

Um "Comitê de Riscos de IA" é estabelecido. Esse comitê define a “tolerância ao risco” da organização e produz um documento de Política de Risco de IA, a ser assinado pelos diretores executivos, que especifica explicitamente quem é responsável por quaisquer falhas de IA.

Uma fase de descoberta identifica riscos específicos relacionados às ferramentas de IA e à maneira como as pessoas as usarão. Esse processo acaba produzindo o perfil de risco, detalhando cada ameaça identificada.

Cada ameaça mapeada é quantificada em termos de como pode afetar a empresa ou seus clientes. Isso normalmente envolve red teaming e stress teaming, produzindo um Relatório TEVV (Teste, Avaliação, Verificação e Validação) que funciona como um "quadro de avaliação" para a precisão e confiabilidade do sistema.

Os problemas e possíveis vulnerabilidades encontrados durante a fase de medição são abordados e contabilizados.

Enquanto a ISO 42001 e o NIST AI RMF são framework voluntários, as disposições da Lei de IA da UE são prescrições obrigatórias para quaisquer organizações envolvidas no desenvolvimento e implementação de sistemas de IA dentro do mercado da UE.

As disposições da Lei de IA da UE incluem:

• Documentação técnica obrigatória para treinamento, testes e avaliação de modelos.

• O fornecimento de informações sobre os recursos e limitações dos modelos de IA relevantes para quaisquer provedores posteriores que os utilizarão.

• Conformidade com a Diretiva de Direitos Autorais da UE

• Resumos públicos dos dados de treinamento

Se um determinado modelo de IA exceder 1.025 operações de ponto flutuante (FLOPs) no treinamento, considera-se que ele apresenta riscos sistêmicos e fica sujeito a proteções adicionais.

A UE disponibiliza recursos e ferramentas para ajudar as empresas a cumprir a Lei da IA, incluindo um verificador de conformidade interativo, que especifica quais disposições se aplicam a sua empresa, um guia para pequenas e médias empresas (PMEs) e uma série de artigos sobre temas específicos.