O que é transparência de IA?

Às vezes, os pesquisadores descrevem a inteligência artificial como uma "caixa-preta", pois ainda pode ser difícil explicar, gerenciar e regular os resultados de IA devido à crescente complexidade da tecnologia. A transparência de IA ajuda a abrir essa caixa-preta para entender melhor os resultados da IA e como os modelos tomam decisões.

Um número crescente de setores de alto risco (incluindo finanças, saúde, recursos humanos (RH) e aplicação da lei) depende de modelos de IA para a tomada de decisões. Melhorar a compreensão das pessoas sobre como esses modelos são treinados e como eles determinam os resultados cria confiança nas decisões de IA e nas organizações que os utilizam.

Os criadores de IA podem alcançar uma IA transparente e confiável por meio da divulgação. Eles podem documentar e compartilhar a lógica e o raciocínio do algoritmo subjacente de IA, os dados de input usados para treinar o modelo, os métodos utilizados para avaliação e validação do modelo e mais. Isso permite que os stakeholders avaliem a precisão preditiva do modelo em relação à imparcialidade, desvio e vieses.

Um alto nível de transparência é essencial para uma IA responsável. A IA responsável é um conjunto de princípios que ajuda a orientar o projeto, o desenvolvimento, a implementação e o uso da IA. Ela considera o impacto social mais amplo dos sistemas de IA e as medidas necessárias para alinhar essas tecnologias aos valores das partes interessadas, aos padrões legais e às considerações éticas.

Aplicações de IA, como IA generativa chatbots, agentes virtuais e mecanismos de recomendação agora são usados por dezenas de milhões de pessoas em todo o mundo todos os dias. A transparência sobre como essas ferramentas de IA funcionam provavelmente não é uma preocupação para esse nível de tomada de decisão de baixo risco: se o modelo se mostrar impreciso ou tendencioso, os usuários podem perder algum tempo ou renda disponível.

No entanto, mais setores estão adotando aplicações de IA para informar a tomada de decisões de alto risco. Por exemplo, a IA agora ajuda empresas e usuários a fazer escolhas de investimento, diagnósticos médicos, decisões de contratação, sentenças criminais e muito mais. Nesses casos, as possíveis consequências de resultados de IA tendenciosos ou imprecisos são muito mais perigosas. As pessoas podem perder economias, oportunidades de carreira ou anos de suas vidas.

Para que os stakeholders confiem que a IA está tomando decisões eficazes e justas em seu nome, eles precisam de visibilidade sobre como os modelos operam, a lógica dos algoritmos e como o modelo é avaliado quanto à precisão e à imparcialidade. Eles também precisam saber mais sobre os dados usados para treinar e ajustar o modelo, incluindo fontes de dados e como os dados são processados, ponderados e rotulados.

Além de criar confiança, a transparência na IA promove o compartilhamento de conhecimento e a colaboração em todo o ecossistema de IA, contribuindo para avanços no desenvolvimento da IA. E ao ser transparente por padrão, as organizações podem se concentrar mais no uso de tecnologias de IA para atingir as metas de negócios e se preocupar menos com a confiabilidade da IA.

A teia de requisitos regulatórios em torno do uso de IA está em constante evolução. Processos de modelo transparentes são críticos para conformidade com esses regulamentos e para lidar com solicitações de validadores de modelos, auditores e reguladores. A Lei de IA da UE é considerada o primeiro framework regulatório abrangente do mundo para IA.

A Lei de Inteligência Artificial da União Europeia (UE) adota uma abordagem baseada em risco para a regulamentação, aplicando regras diferentes à IA conforme o risco que apresenta. Ele proíbe alguns usos da IA de forma absoluta e implementa requisitos rigorosos de governança, gestão de risco e transparência para outros. Existem obrigações adicionais de transparência para tipos específicos de IA. Por exemplo:

• Os sistemas de IA destinados a interagir diretamente com indivíduos devem ser projetados para informar aos usuários que eles estão interagindo com um sistema de IA, a menos que isso seja óbvio para o indivíduo a partir do contexto. Um chatbot, por exemplo, deve ser projetado para notificar os usuários de que é um chatbot.
  
  
• Os sistemas de IA que geram texto, imagens ou outros conteúdos específicos devem usar formatos legíveis por máquina para marcar as produções como geradas por IA ou manipuladas. Isso inclui, por exemplo, IA que gera deepfakes — imagens ou vídeos que são alterados para mostrar alguém fazendo ou dizendo algo que não fez ou disse.

A implementação do Regulamento Geral de Proteção de Dados (GDPR) da UE levou outros países a adotar regulamentações de privacidade de dados pessoais. Da mesma forma, os especialistas preveem que a Lei de IA da UE estimulará o desenvolvimento de padrões éticos e de governança de IA em todo o mundo.

A maioria dos países e regiões ainda não promulgou legislação ou regulamentos abrangentes sobre o uso da IA; no entanto, existem vários frameworks extensivos disponíveis. Embora nem sempre sejam aplicáveis, eles servem para orientar futuras regulamentações e o desenvolvimento responsável da IA. Exemplos notáveis incluem:

• Ordem Executiva da Casa Branca sobre o Desenvolvimento e Uso Seguro, Confiável e Responsável da Inteligência Artificial: publicada em 30 de outubro de 2023 (e revogada em 20 de janeiro de 2025), a ordem abordava a transparência em várias seções. Na Seção 8, tratava especificamente da proteção de consumidores, pacientes, passageiros e estudantes. Ela incentivava agências reguladoras independentes a considerarem o uso de sua autoridade para proteger consumidores americanos contra riscos da IA, incluindo “enfatizar ou esclarecer requisitos e expectativas relacionadas à transparência dos modelos de IA e à capacidade das entidades reguladas de explicar seu uso de modelos de IA."¹
  
  
• Blueprint para uma Declaração de Direitos da IA: o Blueprint é um conjunto de cinco princípios e práticas associadas para orientar o design, uso e implementação de sistemas de IA. O quarto princípio, “Notificação e Explicação”, aborda diretamente a transparência: “As pessoas responsáveis pelo design, desenvolvimento e implementação de sistemas automatizados devem fornecer documentação acessível a todos, redigida em linguagem clara, incluindo descrições precisas sobre o funcionamento geral do sistema e o papel desempenhado pela automação, um aviso indicando que tais sistemas estão em uso, a pessoa ou organização responsável pelo sistema e explicações claras, oportunas e acessíveis sobre os resultados obtidos.”²
  
  
• O Framework de Política Abrangente do Processo de Hiroshima sobre Inteligência Artificial: lançado em 2023 após a Cúpula do G7 em Hiroshima, o Processo de Hiroshima sobre IA é um conjunto de princípios orientadores para o desenvolvimento global de sistemas avançados de IA que promovem uma IA segura, protegida e confiável. O framework exige que as organizações sigam 11 princípios, vários dos quais incentivam "publicação de relatórios de transparência” e “compartilhamento responsável de informações".³

A transparência da IA está intimamente relacionada aos conceitos de explicabilidade e interpretabilidade da IA. Esses conceitos fornecem insights que ajudam a resolver o problema de longa data da "caixa preta" – a questão prática e ética de que os sistemas de IA são tão sofisticados que são impossíveis de serem interpretados pelos humanos. No entanto, eles têm definições e casos de uso distintos:

• Explicabilidade da IA: como o modelo chegou a esse resultado?
  
  
• Interpretabilidade da IA: como o modelo toma decisões?
  
  
• Transparência da IA: como o modelo foi criado, quais dados o treinaram e como ele toma decisões?

A explicabilidade da IA, ou IA explicável (XAI), é um conjunto de processos e métodos que permitem que os usuários humanos compreendam e confiem nos resultados e nas saídas geradas por modelos de aprendizado de máquina. A explicabilidade do modelo examina como um sistema de IA chega a um resultado específico e ajuda a caracterizar a transparência do modelo.

A interpretabilidade da IA refere-se a tornar todo o processo de IA compreensível para um ser humano. A interpretabilidade da IA fornece informações significativas sobre a lógica subjacente, a importância e as consequências esperadas do sistema de IA. Ela mede a taxa de sucesso com a qual humanos podem prever o resultado de uma saída de IA, enquanto a explicabilidade vai além e analisa como o modelo de IA chegou a esse resultado.

A transparência da IA vai além de simplesmente explicar os processos de tomada de decisão da IA. Ela abrange fatores relacionados ao desenvolvimento e à implementação dos sistemas de IA, como os dados de treinamento da IA e quem tem acesso a eles.

Embora o fornecimento de transparência de IA varie de acordo com o caso de uso, a organização e o setor, há algumas estratégias que as empresas podem ter em mente ao criar sistemas de IA. Em um nível mais alto, essas estratégias incluem ter princípios claros de confiança e transparência, colocar esses princípios em prática e incorporá-los em todo o ciclo de vida da IA.

Uma estratégia mais específica para a transparência da IA é a divulgação completa em todos os estágios do ciclo de vida da IA. Para oferecer divulgação, as organizações precisam determinar quais informações compartilhar e como compartilhá-las.

O caso de uso do modelo, o setor, o público e outros fatores determinarão quais informações devem ser divulgadas. Por exemplo, usos de IA de alto risco (como avaliações de hipotecas) provavelmente exigirão divulgações mais abrangentes do que aplicações de baixo risco (como classificação de áudio para assistentes virtuais).

A divulgação pode incluir todas ou algumas das seguintes informações sobre o modelo:

• Nome do modelo
• Propósito
• Nível de risco
• Política de modelo
• Geração de modelos
• Domínio pretendido
• Dados de treinamento
• Precisão de treinamento e teste
• Viés
• Métricas de robustez adversarial
• Métricas de imparcialidade
• Métricas de explicabilidade
• Informações de contato

Cada função no ciclo de vida da IA pode contribuir com informações, distribuindo a responsabilidade em todo o ecossistema, em vez de atribuí-la a um único indivíduo. Existem plataformas de software e ferramentas disponíveis que podem ajudar a automatizar a coleta de informações e outras atividades de governança da IA.

As organizações podem apresentar informações para garantir a transparência da IA em vários formatos, como documentos impressos ou vídeos. O formato depende tanto do público-alvo quanto do caso de uso. A informação se destina a um consumidor e, portanto, precisa ser facilmente compreensível? Ou é voltada para um cientista de dados ou regulador, exigindo um alto nível de detalhamento técnico?

Os formatos podem incluir:

• Um documento vivo que é modelado após a declaração de conformidade de um fornecedor (SDoC), que é um documento usado em muitos setores para mostrar que um produto está em conformidade com determinadas normas ou regulamentações técnicas
  
  
• Páginas oficiais de políticas no site da empresa detalhando como a organização está colocando em ação iniciativas transparentes de IA
  
  
• Recursos educacionais, como documentos e vídeos, para ajudar os usuários a entender como a IA é usada em produtos e serviços e como ela afeta a experiência do cliente
  
  
• Discurso público voltado para a ética da IA da organização por meio de atividades oficiais de relações públicas, eventos, mídias sociais e outras formas de comunicação.
  
  
• Artigos de pesquisa, conjuntos de dados e outras comunicações baseadas em dados para oferecer insights sobre o uso, o desenvolvimento e os benefícios da IA no setor da organização ou em casos de uso.

Práticas transparentes de IA têm muitos benefícios, mas também levantam questões de segurança e privacidade. Por exemplo, quanto mais informações são fornecidas sobre o funcionamento interno de um projeto de IA, mais fácil pode ser para os hackers encontrarem e explorarem as vulnerabilidades. A OpenAI abordou esse exato desafio em seu relatório técnico GPT-4, afirmando:

“Dado o cenário competitivo e as implicações de segurança de modelos de grande escala como o GPT-4, este relatório não contém mais detalhes sobre a arquitetura (incluindo tamanho do modelo), hardware, computação de treinamento, construção do conjunto de dados, método de treinamento ou similar.”⁴

A cotação também revela outro desafio de transparência da IA: o equilíbrio entre transparência e proteção da propriedade intelectual. Outros obstáculos podem incluir a explicação clara de programas intrincados e complexos e algoritmos de aprendizado de máquina (como neural networks) para não especialistas e a falta de padrões de transparência globalmente para IA.