O que é AI TRiSM?

O AI TRIsm, ou gerenciamento de confiança, risco e segurança de inteligência artificial (AI TRIsm), “garante a governança, confiabilidade, equidade, confiabilidade, robustez, eficácia e proteção de dados do modelo de IA. Isso inclui soluções e técnicas para interpretabilidade e explicabilidade de modelos, proteção de dados de IA, operações de modelos e resistência a ataques adversariais.”¹
 

 Ele foi desenvolvido pela empresa de pesquisa e consultoria Gartner®, e “fornece soluções proativas para identificar e mitigar esses riscos, garantindo confiabilidade, confiança e segurança.”²

Embora existam inúmeros frameworks separados que se concentram especificamente na confiança em IA, no risco em IA ou na segurança em IA, pesquisadores afirmam que eles são difíceis de integrar e sincronizar. Essa falta de coordenação pode resultar em uma gestão fragmentada da IA. Também pode levar a lacunas de conhecimento sobre os riscos e consequências de segurança decorrentes da implementação da IA e das práticas associadas.

O framework AI TRiSM, no entanto, oferece uma abordagem unificada. Ele reúne as partes mais importantes de diferentes frameworks para um gerenciamento mais abrangente das tecnologias de IA.

Os defensores do AI TRiSM consideram o framework importante para mitigar riscos e ameaças cibernéticas relacionadas ao avanço e ao uso crescente de IA generativa, como grandes modelos de linguagem (LLMs). O uso de IA generativa pode aumentar a superfície de ataque das organizações, permitir ataques cibernéticos mais sofisticados por hackers e levantar novas considerações éticas. Os benefícios das aplicações de AI TRiSM em áreas como saúde e finanças incluem mitigação de riscos, medidas aprimoradas para monitoramento de modelos e proteções contra ataques adversários e acesso não autorizado.³

Segundo o Gartner, “o gerenciamento de confiança, risco e segurança da IA (AI TRiSM) garante:

• Controle
• Confiabilidade
• Justiça
• Confiabilidade
• Proteção de dados em implementações de IA”⁴

Governança de IA refere-se aos processos, padrões e mecanismos de controle que ajudam a garantir que os sistemas e ferramentas de IA sejam seguros e éticos. Uma governança de IA eficaz inclui gerenciamento de riscos, com mecanismos para lidar com possíveis vieses, violações de privacidade de dados e outras preocupações, enquanto constrói confiança e apoia a inovação.

Ela envolve a avaliação e o monitoramento contínuos dos sistemas de IA para garantir que estejam em conformidade com normas éticas e regulamentações legais estabelecidas. A governança de IA inclui a governança de dados, uma disciplina de gerenciamento de dados projetada para manter dados seguros e de alta qualidade que sejam facilmente acessíveis para descoberta de dados e iniciativas de inteligência de negócios.

Diferentes organizações e frameworks enfatizam diversos princípios orientadores e objetivos para determinar a confiabilidade dos sistemas de IA. Princípios frequentemente citados de IA confiável incluem responsabilização, explicabilidade e interpretabilidade.

Quando usuários de modelos de IA e outros stakeholders têm dificuldade para entender como um modelo funciona, isso pode prejudicar sua confiança no sistema de IA. Os processos e metodologias corretos podem ajudar os usuários a entender e confiar nos processos de tomada de decisão e nos resultados dos modelos de aprendizado de máquina.

Justiça geralmente envolve mitigar ou eliminar vieses nos modelos e dados de IA durante o ciclo de desenvolvimento da IA. Os modelos de IA absorvem os vieses da sociedade que podem estar incorporados nos dados de treinamento. A coleta de dados tendenciosa que reflete desigualdades sociais pode causar danos a grupos historicamente marginalizados em áreas como pontuação de crédito, contratação e outras.

Identificar e lidar com o viés na IA requer a capacidade de direcionar, gerenciar e monitorar as atividades de IA de uma organização. Isso pode ser alcançado por meio da governança de IA — especificamente, com a criação de políticas e práticas para orientar o desenvolvimento responsável de IA e o uso das tecnologias de IA.

Confiabilidade refere-se, geralmente, à capacidade de algo funcionar conforme o esperado ou necessário por um determinado período sob certas condições. No caso dos sistemas de IA, atender às expectativas de desempenho inclui fornecer resultados corretos por um período que pode se estender por toda a vida útil do sistema.⁵

Proteção de dados é a prática de proteger dados sensíveis contra perda e corrupção. O objetivo da proteção de dados é preservar a disponibilidade dos dados, garantindo que os usuários possam acessá-los para operações comerciais, mesmo que eles sejam danificados ou perdidos em um vazamento ou ataque de malware.

A proteção de dados abrange a segurança de dados (a proteção de informações digitais contra acesso não autorizado, corrupção ou roubo) e a privacidade de dados (o princípio de que uma pessoa deve ter controle sobre seus dados pessoais). A proteção de dados é essencial para a conformidade com grandes regimes regulatórios, como o Regulamento Geral de Proteção de Dados (GDPR) da União Europeia.

Tanto tecnologias tradicionais quanto soluções mais recentes e específicas para IA oferecem suporte ao AI TRiSM. As primeiras incluem ferramentas de gerenciamento de identidade e acesso (IAM) e soluções de gerenciamento da postura de segurança de dados.

As tecnologias específicas de IA para o AI TRiSM variam conforme o fornecedor. Algumas se concentram em funções específicas, como segurança ou conformidade. Outras oferecem produtos mais abrangentes, com uma variedade de recursos para governança de IA e inspeção e aplicação em tempo de execução:

Os softwares de governança de IA permitem que as empresas registrem e monitorem automaticamente informações de modelos, incluindo atividades de desenvolvimento de IA, para dar suporte a auditorias; conduzam avaliações de risco de modelos; avaliem o desempenho dos modelos e evitem a geração de conteúdo nocivo; além de gerenciar a conformidade regulatória. Embora algumas ferramentas de governança sejam limitadas a modelos de IA criados internamente por uma organização, outras podem ser aplicadas a modelos criados em plataformas de terceiros, como Amazon Bedrock e Microsoft Azure.

Segundo um webinar da Gartner, as funções de inspeção e aplicação em tempo de execução abrangem modelos de IA, aplicações de IA e agentes de IA. Os modelos, aplicações e agentes de IA oferecem “conformidade com controles internos e externos”, e as aplicações de IA fornecem “controle de acesso baseado em contexto e classificação contextual dinâmica de dados.”⁶

Há diversos casos de uso para implementar o AI TRiSM na implementação e gestão de IA corporativa. Eles incluem:

Profissionais da saúde utilizam cada vez mais ferramentas baseadas em IA para diversas finalidades, desde automação de dispositivos médicos até análise de imagens. Um programa de AI TRiSM pode ajudar a proteger os dados de saúde usados nesses sistemas contra vazamentos. Medidas como controles de acesso, por exemplo, podem mitigar riscos de acessos não autorizados.

Quando conjuntos de dados com viés demográfico são usados para treinar algoritmos de IA, os resultados podem ser enviesados. Esse é um problema conhecido no setor financeiro, afetando aprovações de crédito, taxas de juros e muito mais. Na Dinamarca, a Associação Empresarial Dinamarquesa aplicou práticas de AI TRiSM realizando testes de equidade para validar as previsões de modelos de IA que supervisionam transações financeiras, aumentando a confiança dos clientes.⁷

Além de promover maior equidade em transações financeiras, as medidas de AI TRiSM podem ajudar a proteger os sistemas de detecção de fraudes das instituições financeiras contra ataques adversariais.⁸ Essas soluções de IA também auxiliam os bancos a cumprir exigências legais relacionadas à proteção do consumidor e à segurança de informações sensíveis.