O que é uma auditoria de IA?

Uma auditoria de IA é um exame estruturado e baseado em evidências de como os sistemas de inteligência artificial (IA) são projetados, treinados e implementados.

As auditorias de IA podem ser consideradas uma “verificação de integridade” abrangente dos sistemas de IA. Enquanto uma auditoria tradicional se concentra nas demonstrações financeiras ou nos controles de TI, uma auditoria de IA investiga os fundamentos de todo o ciclo de vida da IA. Isso inclui coleta e qualidade dos dados, arquitetura e explicabilidade do modelo, além do processo de tomada de decisão quando o sistema entra em funcionamento.

Este processo de auditoria avalia se o uso de IA por uma organização está alinhado com seu framework de governança , framework de gestão de riscos e padrões éticos. Ele faz perguntas como:

• Os dados pessoais e os dados de treinamento são coletados legalmente e armazenados de forma segura?
• Os algoritmos introduzem viés ou criam novas vulnerabilidades?
• Há controles e métricas de acesso implementados para mitigar os riscos ao longo do tempo?

Uma auditoria de IA fornece uma visão clara do funcionamento interno de um sistema de IA, estabelecendo sua confiabilidade. Para os stakeholder e reguladores, isso fornece provas concretas de que essa tecnologia emergente está sendo usada de forma responsável .

Os sistemas de IA influenciam decisões de alto risco todos os dias, como aprovação de hipotecas, triagem de pacientes e moderação de conteúdo nas redes sociais. Embora esses sistemas ofereçam velocidade e automação, eles também podem acarretar danos potenciais. Um modelo falho pode reforçar o viés; uma postura de segurança fraca pode desencadear uma violação de dados; uma tomada de decisão mal informada podem corroer a confiança dos stakeholders.

Os reguladores estão respondendo. A Lei de Inteligência Artificial da União Europeia (Lei de IA da UE) define vários níveis de risco (risco limitado e mínimo, risco elevado e risco inaceitável) e exige normas de auditoria rigorosas.

Da mesma forma, o framework de Gestão de Riscos de IA do National Institute for Standards and Technology (NIST) estabelece expectativas para a transparência e a responsabilidade em IA. Espera-se que os auditores internos e as equipes de segurança da informação demonstrem conformidade e mostrem que seus sistemas de IA são confiáveis desde a concepção até a implementação.

Uma auditoria de IA, portanto, é uma ferramenta defensiva e estratégica. Pode ajudar as organizações a identificar vulnerabilidades antes que elas se agravem, fortalecendo práticas e iniciativas de governança de dados . Ao promover documentação clara e fluxos de trabalho repetíveis, as auditorias de IA ajudam as organizações a atender aos requisitos de conformidade regulamentar e a construir confiança entre clientes e investidores.

Uma auditoria abrangente de IA examina três áreas interdependentes, cada uma com seu próprio conjunto de testes e métricas:

• Dados
• Modelo
• Implementação

Os auditores avaliam como os dados são coletados, rotulados e gerenciados. Eles avaliam a precisão e a qualidade do conjunto de dados e testam a presença de vieses ocultos ou dados "desatualizados" que possam distorcer os resultados. Os controles de privacidade e proteção de dados são críticos: os dados pessoais devem cumprir o Regulamento Geral de Proteção de Dados (GDPR) ou normas comparáveis, enquanto os metadados devem ser rastreáveis em todo o ciclo de vida da IA.

As verificações típicas incluem pontuações de qualidade de dados e avaliações de imparcialidade, que garantem que períodos de retenção, controles de acesso e permissões sejam documentados e aplicados.

Os auditores, então, investigam os próprios algoritmos . Questões-chave incluem: quais técnicas de aprendizado de máquina são utilizadas? O quanto a lógica de decisão é explicável? Existem métricas e limites definidos para monitorar desvios ou comportamentos inesperados?

Eles frequentemente realizam análises de taxa de erro entre grupos demográficos, aplicam testes de esforço ou realizam exercícios de red teaming para expor vulnerabilidades. Os testes de confiabilidade também podem ajudar a identificar possíveis danos antes da implementação.

Por fim, os auditores examinam o ambiente operacional. Eles verificam se as estruturas de governança e os fluxos de trabalho de monitoramento permanecem em vigor após o lançamento.

As avaliações comuns incluem avaliações de conformidade para o cumprimento de regulamentações (por exemplo, a Lei de IA da UE), monitoramento contínuo de desempenho em tempo real e simulações de resposta a incidentes, para ajudar a garantir que a organização possa detectar e conter ameaças emergentes. Os auditores também podem confirmar se as saídas passam por avaliações com intervenção humana quando necessário.

Um número crescente de leis e normas em todo o mundo está moldando a auditoria de IA. Várias já estão em vigor, enquanto muitas outras estão avançando rapidamente para implementação. Regulamentos notáveis incluem:

• Lei de IA da UE: na União Europeia, a Lei de IA da UE está em vigor desde agosto de 2024 e classifica os sistemas de IA por nível de risco, exigindo extensa documentação, testes e supervisão humana para aplicações de alto risco.

• AI Risk Management Framework: desenvolvida pelo NIST em 2023, esse framework voluntário orienta as organizações na identificação, avaliação e gestão dos riscos de IA ao longo de todo o ciclo de vida. Embora a ordem executiva que determinava as agências federais a institucionalizar o framework tenha sido revogada, a própria norma continua servindo como orientação.

• Directive on Automated Decision-Making: a diretiva federal do Canadá, em vigor desde 2020, obriga os departamentos a realizar uma avaliação de Impacto algorítmico e a divulgar publicamente os resultados para sistemas de IA de alto impacto.

• Model AI Governance Framework: lançado pela primeira vez em 2019 e atualizado em 2024, o framework de Singapura fornece orientações detalhadas sobre transparência, engajamento dos stakeholders e supervisão humana. Está sendo usado por muitas organizações do setor privado.

• AI Governance Guidelines: atualizadas em 2023, as diretrizes do Japão exigem avaliações de risco, explicabilidade e auditorias independentes de terceiros, enfatizando a responsabilidade em todo o ciclo de vida da IA.

• Princípios de IA: adotados por mais de 40 países membros da Organização para a Cooperação e Desenvolvimento Econômico (OCDE) desde 2019, esses princípios não vinculativos promovem a imparcialidade, a transparência e a segurança robusta. Eles servem como um ponto de referência global para regulamentações nacionais emergentes.

Vários framework nacionais também estão surgindo em países como Brasil, Emirados Árabes Unidos e Coreia do Sul. Essas iniciativas promovem projetos de lei governança de IA e publicam diretrizes detalhadas que enfatizam o uso ético, a proteção da privacidade e a responsabilidade dos stakeholders.

As regulamentações no nível setorial adicionam outra camada de responsabilidade. Nos EUA, as organizações de saúde devem cumprir a Lei de portabilidade e responsabilidade de planos de saúde (HIPAA), incluindo suas Regras de Privacidade e Segurança, que exigem proteções rigorosas para todos os dados de pacientes usados em sistemas de IA.

As instituições financeiras seguem normas de gerenciamento de risco de modelos, como as diretrizes SR 11-7 do Federal Reserve e os requisitos de validação de modelo do Office of the Comptroller of the Currency, que exigem testes independentes e o monitoramento contínuo de modelos de IA.

Os frameworks traduzem os requisitos regulatórios em normas de auditoria práticas. As organizações geralmente combinam elementos de vários frameworks para criar uma abordagem de auditoria adaptada a seus setores e ambientes regulatórios.

Os frameworks comuns incluem:

• COBIT: o framework Control Objectives for Information and Related Technologies (COBIT) fornece uma abordagem orientada ao controle que integra a auditoria de IA a programas corporativos de governança de TI e segurança da informação. Isso ajuda a garantir uma supervisão consistente em todos os departamentos.

• COSO ERM: o framework Committee of Sponsoring Organizations of the Treadway Commission Enterprise Risk Management (COSO ERM) ajuda as organizações a incorporar o risco da IA em estratégias mais amplas de gestão de riscos e na supervisão em nível de diretoria, conectando tecnologias emergentes aos objetivos corporativos.

• Framework GAO AI Accountability: o framework US Government Accountability Office (GAO) Artificial Intelligence Accountability (GAO) oferece orientação para avaliar a governança, a qualidade de dados e o monitoramento de desempenho, tornando-a útil para auditorias dos setores público e privado.

• Framework IIA AI Auditing: o framework Institute of Internal Auditors (IIA) Artificial Intelligence Auditing adapta as normas de auditoria tradicionais às características exclusivas dos sistemas de IA, enfatizando os padrões éticos e a transparência na tomada de decisão.

• Framework PDPC Model AI Governance: a Personal Data Protection Commission (PDPC) de Singapura fornece orientações detalhadas sobre o envolvimento de stakeholders e o tratamento responsável de dados pessoais para organizações que operam em múltiplas jurisdições.

Uma auditoria de IA eficaz combina melhores práticas com um roteiro disciplinado passo a passo. Embora existam inúmeras estratégias para auditar a IA, uma abordagem poderia seguir estas etapas: 

Crie uma estrutura de governança que defina as funções das equipes de auditoria, dos auditores internos, dos cientistas de dados e dos stakeholders de negócios. Envolva a função de auditoria interna assim que os projetos de IA forem propostos, para que a avaliação de riscos e as medidas de governança de dados sejam incorporadas desde o início.

Catalogue todos os modelos de IA em uso ou em desenvolvimento, incluindo modelos de IA generativa , chatbots e ferramentas de automação . Documente as fontes de dados de treinamento e as métricas de qualidade de dados para criar a base para a avaliação de riscos e o monitoramento futuro.

Realize uma avaliação formal de riscos que considere possíveis danos como viés, violações de dados ou uso indevido de dados pessoais. Valide métodos de coleta de dados, verifique as proteções de privacidade e garanta que os conjuntos de dados cumpram normas regulatórias para métricas como retenção e precisão.

Escolha os frameworks de auditoria que se alinham a seu setor e ambiente regulatório. Por exemplo, algumas organizações combinam o foco de controle do COBIT com a visão de risco corporativo do COSO e, em seguida, adicionam elementos do GAO ou IIA para responsabilização e PDPC para transparência dos stakeholders. Use ferramentas de auditoria compatíveis com testes de explicabilidade, auditoria algorítmica e métricas em tempo real.

Desenvolva modelos para coleta de evidências, controles de acesso e geração de relatórios. Defina métricas para o desempenho de modelos e estratégias de mitigação. Garanta que fluxos de trabalho de auditoria incluam pontos de verificação para aprovação da auditoria interna e avaliações pelos stakeholders.

Realize a auditoria, documente as descobertas e compartilhe os resultados com executivos e órgãos reguladores, conforme a necessidade. Estabeleça monitoramento contínuo para acompanhar tanto a qualidade de dados quanto o risco operacional. Métricas e dashboards podem dar às equipes de auditoria visibilidade em tempo real sobre as vulnerabilidades e permitir uma mitigação rápida.

As disciplinas de auditoria estão evoluindo em sintonia com as tecnologias de IA. Olhando para o futuro, as organizações podem esperar ver:

Independentemente de como o futuro se desenrola, a auditoria não é mais um exercício de conformidade único. Está se tornando um processo contínuo e inteligente, que pode ajudar as empresas a implementar tecnologias de IA com segurança e confiança.