Ele foi desenvolvido pela empresa de pesquisa e consultoria Gartner, e “fornece soluções proativas para identificar e mitigar esses riscos, garantindo confiabilidade, confiança e segurança.”2
Receba insights selecionados sobre as notícias mais importantes (e intrigantes) sobre IA. Inscreva-se no nosso boletim informativo semanal Think. Consulte a Declaração de privacidade da IBM.
Embora existam inúmeros frameworks separados que se concentram especificamente na confiança em IA, no risco em IA ou na segurança em IA, pesquisadores afirmam que eles são difíceis de integrar e sincronizar. Essa falta de coordenação pode resultar em uma gestão fragmentada da IA. Também pode levar a lacunas de conhecimento sobre os riscos e consequências de segurança decorrentes da implementação da IA e das práticas associadas.
O framework AI TRiSM, no entanto, oferece uma abordagem unificada. Ele reúne as partes mais importantes de diferentes frameworks para um gerenciamento mais abrangente das tecnologias de IA.
Os defensores do AI TRiSM consideram o framework importante para mitigar riscos e ameaças cibernéticas relacionadas ao avanço e ao uso crescente de IA generativa, como grandes modelos de linguagem (LLMs). O uso de IA generativa pode aumentar a superfície de ataque das organizações, permitir ataques cibernéticos mais sofisticados por hackers e levantar novas considerações éticas. Os benefícios das aplicações de AI TRiSM em áreas como saúde e finanças incluem mitigação de riscos, medidas aprimoradas para monitoramento de modelos e proteções contra ataques adversários e acesso não autorizado.3
Segundo o Gartner, “o gerenciamento de confiança, risco e segurança da IA (AI TRiSM) garante:
Governança de IA refere-se aos processos, padrões e mecanismos de controle que ajudam a garantir que os sistemas e ferramentas de IA sejam seguros e éticos. Uma governança de IA eficaz inclui gerenciamento de riscos, com mecanismos para lidar com possíveis vieses, violações de privacidade de dados e outras preocupações, enquanto constrói confiança e apoia a inovação.
Ela envolve a avaliação e o monitoramento contínuos dos sistemas de IA para garantir que estejam em conformidade com normas éticas e regulamentações legais estabelecidas. A governança de IA inclui a governança de dados, uma disciplina de gerenciamento de dados projetada para manter dados seguros e de alta qualidade que sejam facilmente acessíveis para descoberta de dados e iniciativas de inteligência de negócios.
Diferentes organizações e frameworks enfatizam diversos princípios orientadores e objetivos para determinar a confiabilidade dos sistemas de IA. Princípios frequentemente citados de IA confiável incluem responsabilização, explicabilidade e interpretabilidade.
Quando usuários de modelos de IA e outros stakeholders têm dificuldade para entender como um modelo funciona, isso pode prejudicar sua confiança no sistema de IA. Os processos e metodologias corretos podem ajudar os usuários a entender e confiar nos processos de tomada de decisão e nos resultados dos modelos de aprendizado de máquina.
Justiça geralmente envolve mitigar ou eliminar vieses nos modelos e dados de IA durante o ciclo de desenvolvimento da IA. Os modelos de IA absorvem os vieses da sociedade que podem estar incorporados nos dados de treinamento. A coleta de dados tendenciosa que reflete desigualdades sociais pode causar danos a grupos historicamente marginalizados em áreas como pontuação de crédito, contratação e outras.
Identificar e lidar com o viés na IA requer a capacidade de direcionar, gerenciar e monitorar as atividades de IA de uma organização. Isso pode ser alcançado por meio da governança de IA — especificamente, com a criação de políticas e práticas para orientar o desenvolvimento responsável de IA e o uso das tecnologias de IA.
Confiabilidade refere-se, geralmente, à capacidade de algo funcionar conforme o esperado ou necessário por um determinado período sob certas condições. No caso dos sistemas de IA, atender às expectativas de desempenho inclui fornecer resultados corretos por um período que pode se estender por toda a vida útil do sistema.5
Proteção de dados é a prática de proteger dados sensíveis contra perda e corrupção. O objetivo da proteção de dados é preservar a disponibilidade dos dados, garantindo que os usuários possam acessá-los para operações comerciais, mesmo que eles sejam danificados ou perdidos em um vazamento ou ataque de malware.
A proteção de dados abrange a segurança de dados (a proteção de informações digitais contra acesso não autorizado, corrupção ou roubo) e a privacidade de dados (o princípio de que uma pessoa deve ter controle sobre seus dados pessoais). A proteção de dados é essencial para a conformidade com grandes regimes regulatórios, como o Regulamento Geral de Proteção de Dados (GDPR) da União Europeia.
Tanto tecnologias tradicionais quanto soluções mais recentes e específicas para IA são compatíveis com o AI TRiSM. As primeiras incluem ferramentas de gerenciamento de acesso e identidade (IAM) e soluções de gerenciamento da postura de segurança de dados.
As tecnologias específicas de IA para o AI TRiSM variam conforme o fornecedor. Algumas se concentram em funções específicas, como segurança ou conformidade. Outras oferecem produtos mais abrangentes, com uma gama de recursos como:
Governança de IA
Proteção e classificação de dados de IA
Inspeção e aplicação em tempo de execução de IA (consulte informações adicionais na seção a seguir)
De acordo com as diretrizes adicionais da Gartner, divulgadas em fevereiro de 2025, as soluções de TRiSM também devem incluir:7
Um inventário de entidades de IA usadas na organização, como modelos, agentes e aplicações em várias configurações, desde a IA incorporada em aplicações de terceiros prontas para uso, até sistemas de geração aumentada de recuperação, para modelos primários
Dados usados para treinar ou fazer o ajuste fino de modelos de IA, fornecer contexto para consultas de usuários em um sistema de RAG ou alimentar sistemas agênticos de IA.
Garantias e avaliações contínuas de desempenho, confiabilidade, segurança ou expectativas e métricas de proteção usadas como linhas de base. As garantias e avaliações são aplicadas antes e depois da implementação (fora da banda).
Aplicado a modelos, aplicações e interações de agentes para apoiar o alinhamento transacional com as políticas de governança organizacionais. Conexões, processos, comunicações, entradas e saídas aplicáveis são inspecionados em busca de violações de políticas e comportamento esperado. As anomalias são destacadas e bloqueadas, corrigidas automaticamente ou encaminhadas a seres humanos ou sistemas de resposta a incidentes para investigação, triagem, resposta e remediação aplicáveis.
Há diversos casos de uso para implementar o AI TRiSM na implementação e gestão de IA corporativa. Eles incluem:
Profissionais da saúde utilizam cada vez mais ferramentas baseadas em IA para diversas finalidades, desde automação de dispositivos médicos até análise de imagens. Um programa de AI TRiSM pode ajudar a proteger os dados de saúde usados nesses sistemas contra vazamentos. Medidas como controles de acesso, por exemplo, podem mitigar riscos de acessos não autorizados.
Quando conjuntos de dados que contêm vieses demográficos são usados para treinar algoritmos de IA, os resultados podem ser enviesados. Isso tem sido um problema conhecido no setor financeiro, afetando aprovações de empréstimos, cobranças de taxas de juros e mais. Na Dinamarca, a Associação Empresarial Dinamarquesa aplicou práticas de AI TRiSM realizando testes de imparcialidade para validar previsões de modelos de IA que supervisionam transações financeiras, aumentando a confiança dos clientes.8
Além de garantir maior imparcialidade nas transações financeiras, as medidas de AI TRiSM podem ajudar a proteger os sistemas de detecção de fraudes das instituições financeiras contra ataques adversários.9 Essas soluções de IA também ajudam os bancos a cumprir os requisitos legais sobre proteção ao consumidor e salvaguarda de informações confidenciais.
Leia o relatório completo aqui.
Governe modelos de IA generativa de qualquer lugar e implemente na nuvem ou no local com o IBM watsonx.governance.
Veja como a governança de IA pode ajudar a aumentar a confiança de seus funcionários na IA, acelerar a adoção e a inovação e melhorar a confiança dos clientes.
Prepare-se para a Lei de IA da UE e estabeleça uma abordagem de governança de IA responsável com a ajuda da IBM Consulting.
1 Gartner Glossary, AI TRiSM, https://www.gartner.com/en/information-technology/glossary/ai-trism. GARTNER é uma marca registrada e marca de serviço da Gartner, Inc. e/ou de suas afiliadas nos EUA e internacionalmente, e é utilizada aqui com permissão. Todos os direitos reservados.
2, 4 Artigo Gartner, Tackling Trust, Risk and Security in AI Models, Avivah Litan, 24 de dezembro de 2024, https://www.gartner.com/en/articles/ai-trust-and-ai-risk.
3, 8 “Artificial Intelligence Trust, Risk and Security Management (AI TRiSM): Frameworks, applications, challenges and future research directions.” Expert Systems with Applications. 15 de abril de 2024.
5 “AI Risks and Trustworthiness.” Instituto Nacional de Padrões e Tecnologia dos EUA. Acessado em 23 de fevereiro de 2025.
6 The Gartner Framework to Manage AI Governance, Trust, Risk and Security. [Webinar] Gartner. Acessado em 28 de janeiro de 2025, Agenda | Agenda | The Gartner Framework to Manage AI Governance, Trust, Risk and Security
7 Artigo da Gartner, Market Guide for AI Trust, Risk and Security Management, Avivah Litan, Max Goss, Sumit Agarwal, Jeremy D’Hoinne, Andrew Bales, Bart Willemsen. 18 de fevereiro de 2025. https://www.ibm.com/br-pt/forms/mkt-53702
9 ”The Role of Artificial Intelligence in Modern Finance: Current Applications and Future Prospects.” Applied and Computational Engineering. Dezembro de 2024.