O que é IA confiável?

A inteligência artificial confiável, ou TAI, pode mitigar os riscos potenciais associados à implementação dos modelos de IA. Esses riscos da IA incluem danos a pessoas, organizações e ecossistemas. Quando esses danos ocorrem, eles podem minar não somente a confiança em modelos de IA específicos, mas também na inteligência artificial como um todo.

Frameworks de IA confiável podem ajudar a orientar as organizações em seu desenvolvimento, adoção e avaliação das tecnologias de IA. Diversas organizações governamentais e intergovernamentais estabeleceram esses frameworks, incluindo o Instituto Nacional de Padrões e Tecnologia dos EUA, o Grupo de Especialistas de Alto Nível em IA da Comissão Europeia e a Organização para Cooperação e Desenvolvimento Econômico (OECD).

Além disso, as empresas podem implementar diferentes estratégias e ferramentas para melhorar a confiabilidade de seus sistemas de IA. Por exemplo, os frameworks de monitoramento contínuo, documentação e governança de IA podem ajudar a minimizar os riscos.

Entender como uma tecnologia funciona é fundamental para confiar em sua eficácia. Mas muitos sistemas de IA e aprendizado de máquina (ML), como modelos de deep learning, operam como verdadeiras caixas-pretas; eles ingerem dados e criam saídas, com pouca ou nenhuma transparência sobre como chegam a essas saídas.

Como resultado, a falta de confiança é abundante. Uma pesquisa de 2023 descobriu que mais de 40% dos líderes empresariais citaram preocupações sobre a confiabilidade da IA.¹ Enquanto isso, os consumidores também demonstraram desconfiança em relação à IA: um estudo de 2024 descobriu que incluir o termo “inteligência artificial” na rotulagem de um produto pode tornar os compradores menos propensos a comprar esse produto.²

Exemplos do mundo real de sistemas de IA que produzem resultados errôneos ou prejudiciais em casos de uso de alto risco alimentam ainda mais as preocupações com a confiança na IA. Em um exemplo conhecido do setor de saúde, um modelo de IA não conseguiu diagnosticar de forma confiável a sepse. Embora o modelo tenha tido um bom desempenho em um ambiente de treinamento, não detectou sepse em mais de dois terços dos pacientes hospitalares.³

Em outros casos, os modelos de IA demonstraram uma tomada de decisões algorítmica tendenciosa, incluindo sistemas de policiamento preditivo que visam desproporcionalmente comunidades minoritárias e sistemas de rastreamento de candidatos que favorecem candidatos do sexo masculino em detrimento dos do sexo feminino. Além disso, há preocupações de segurança, como chatbots IA revelando inadvertidamente dados pessoais confidenciais e hackers explorando vulnerabilidades em modelos de IA para roubar informações corporativas proprietárias.

Quando os modelos de IA têm desempenho inferior ou produzem resultados prejudiciais, isso pode minar a confiança não apenas nesses modelos, mas na inteligência artificial como um todo, o que pode prejudicar o desenvolvimento e a adoção futuros da IA. Conseguir sistemas de IA confiável e apoiar o desenvolvimento futuro da IA significa lançar luz dentro da caixa preta metafórica da IA. Isso permite que os stakeholders contem com suas aplicações de IA para fornecer resultados confiáveis e precisos, ao mesmo tempo em que minimizam os riscos de resultados tendenciosos ou não alinhados com a intenção original.

Diferentes organizações e frameworks enfatizam vários princípios e metas orientadores para a IA confiável. Entre os princípios frequentemente citados sobre a IA confiável estão:

• Prestação de contas
• Explicabilidade
• Justiça
• Interpretabilidade e transparência
• Privacidade
• Confiabilidade
• Robustez e segurança
• Segurança

A responsabilidade na IA implica em responsabilizar os atores da IA pelo funcionamento adequado dos sistemas de IA ao longo de seus ciclos de vida. Isso inclui indivíduos e organizações envolvidos no desenvolvimento, implementação ou operação da tecnologia de IA.⁴

A explicabilidade da IA trata da verificação ou fornecimento de justificativas para as saídas de um modelo. Existem vários métodos de explicabilidade, coletivamente conhecidos como inteligência artificial explicável (XAI), que permitem que os usuários humanos compreendam e confiem nos resultados e saídas criados pelos algoritmos de aprendizado de máquina. 

A equidade na IA refere-se ao tratamento equitativo de indivíduos e grupos. Ela engloba a mitigação de vieses algorítmicos e de dados. O viés algorítmico ocorre quando erros sistêmicos em algoritmos de aprendizado de máquina produzem resultados injustos ou discriminatórios, enquanto o viés de dados refere-se à natureza distorcida ou não representativa dos dados de treinamento usados em um modelo de IA.

A interpretabilidade da IA ajuda as pessoas a entender e explicar melhor os processos de tomada de decisões dos modelos de IA. Interpretabilidade tem a ver com transparência, permitindo que os usuários compreendam a arquitetura de um modelo, os recursos que ele usa e como ele os combina para fornecer previsões. Enquanto alguns modelos são inerentemente interpretáveis, outros exigem o uso de métodos de interpretação.

A privacidade da IA refere-se à proteção das informações pessoais ou confidenciais coletadas, usadas, compartilhadas ou armazenadas pela IA. A privacidade da IA está intimamente ligada à privacidade de dados. A privacidade de dados, também conhecida como privacidade de informações, é o princípio de que uma pessoa deve ter controle sobre seus dados pessoais. A manutenção da privacidade da IA de dados pode ser aprimorada por meio de vários métodos, que vão desde criptografia até aprendizado federado.

A confiabilidade pode ser definida como a capacidade de funcionar conforme pretendido ou necessário, sem falhas, por um determinado período de tempo sob certas condições. Sistemas de IA confiáveis, quando usados nas condições esperadas, devem fornecer resultados corretos em um determinado período, o que pode incluir toda a vida útil desses sistemas.⁵

Sistemas de IA seguros e robustos têm mecanismos de proteção contra ataques adversários e acesso não autorizado, minimizando os riscos e vulnerabilidades de cibersegurança. Eles podem funcionar sob condições anormais sem causar danos não intencionais e retornar à função normal após um evento inesperado.

Os sistemas de IA seguros não colocam em risco a vida humana, a integridade, a propriedade ou o meio ambiente. Eles são projetados proativamente para proteger as pessoas contra danos e incluem medidas que atenuam os resultados inseguros, incluindo a possibilidade de remover um sistema do uso.⁶

Os sistemas de IA que não possuem qualidades confiáveis representam uma ampla gama de riscos. O Instituto Nacional de Padrões e Tecnologia dos EUA (NIST), que faz parte do Departamento de Comércio dos EUA, desenvolveu um framework que se tornou um benchmark no gerenciamento de riscos de IA. Ele organiza os riscos de possíveis danos dos sistemas de IA nas seguintes categorias:⁷

• Danos às pessoas
• Danos a uma organização
• Danos a um ecossistema

Essa categoria inclui danos às liberdades civis, direitos, segurança física ou psicológica ou oportunidade econômica dos indivíduos. Também abrange impactos sobre grupos por meio de discriminação e impactos sobre as sociedades na forma de danos à participação democrática ou ao acesso educacional.

Essa categoria refere-se a danos às operações de negócios de uma organização, danos decorrentes de violações de segurança ou perdas monetárias e danos à sua reputação.

Essa categoria engloba danos a “elementos e recursos interconectados e interdependentes”. O NIST cita especificamente os danos ao sistema financeiro global, à cadeia de suprimentos ou aos “sistemas inter-relacionados”, bem como aos recursos naturais, ao meio ambiente e ao planeta.

Saídas tendenciosas ou imprecisas dos sistemas de IA podem resultar em vários danos. Voltando a um exemplo anterior, sistemas tendenciosos de rastreamento de candidatos podem prejudicar as oportunidades econômicas dos indivíduos e, ao mesmo tempo, prejudicar a reputação de uma organização. Se um grandes modelos de linguagem (LLM) for enganado executar um malware que paralise as operações de uma empresa, isso poderá causar danos tanto à empresa quanto à cadeia de suprimentos à qual ele pertence.

Sistemas de IA confiáveis podem ajudar a evitar esses cenários e consequências terríveis. De acordo com o NIST, "sistemas de IA confiáveis e seu uso responsável podem mitigar riscos negativos e contribuir para benefícios para pessoas, organizações e ecossistemas".

Nos últimos anos, surgiram diferentes frameworks para orientar fornecedores e usuários de IA no desenvolvimento, implementação e operação de sistemas de IA confiável. Esses frameworks incluem:

Publicado em janeiro de 2023, o framework de Gerenciamento de Risco de IA (AI RMF) do NIST inclui uma visão geral dos riscos da IA em todos os ciclos de vida da IA e as características dos sistemas de IA confiável. O framework também descreve ações específicas para ajudar as organizações a gerenciar esses sistemas, incluindo tarefas de testes, avaliação, verificação e validação.

O framework voluntário se aplica a qualquer empresa ou região, mas o NIST reconhece que nem todas as características da IA confiável se aplicam a todos os ambientes. O framework incentiva o uso do julgamento humano na escolha de métricas aplicáveis e a consideração de que geralmente há compensações envolvidas na otimização de uma ou outra característica da IA confiável. Em julho de 2024, o NIST lançou um recurso complementar para AI RMF, que se concentrou na IA generativa.

Os Princípios de IA da OCDE promovem o respeito aos direitos humanos e valores democráticos no uso da IA. Adotado em maio de 2019 e atualizado em maio de 2024, o framework da OCDE inclui princípios baseados em valores e recomendações para formuladores de políticas. A OCDE apresenta as recomendações como as primeiras normas intergovernamentais para IA, com 47 seguidores em todo o mundo, incluindo Estados Unidos, países da União Europeia e países da América do Sul e Ásia.

As diretrizes da União Europeia, publicadas em abril de 2019 pelo Grupo de Especialistas de Alto Nível da Comissão Europeia em IA, concentram-se na ética em IA e enfatizam uma abordagem "centrada no ser humano" para o desenvolvimento da IA na UE. As diretrizes incluíam sete princípios éticos, como “ação e supervisão humanas” e “bem-estar social e ambiental”. No ano seguinte, o grupo lançou a Lista de Avaliação para IA Confiável (link externo a ibm.com), que ajuda as organizações a avaliar seus sistemas de IA.

Embora as diretrizes em si não sejam vinculativas, elas foram posteriormente citadas na histórica Lei de IA da UE, uma lei que rege o desenvolvimento ou uso de inteligência artificial na União Europeia. O texto da lei afirma que os princípios éticos da IA da UE "devem ser traduzidos, quando possível, no design e uso de modelos de IA".⁸

Outras organizações também lançaram frameworks e diretrizes incentivando a IA confiável, incluindo o White House Office of Science and Tecnologia (por meio de seu Blueprint for IA Bill of Rights) e empresas como a Deloitte (link externo a ibm.com) e a IBM.

Os termos IA confiável, IA ética e IA responsável são frequentemente usados de forma intercambiável. E, como as definições de cada conceito podem variar de acordo com a fonte e frequentemente incluem sobreposições significativas, traçar distinções conclusivas entre os três pode ser desafiador.

Por exemplo, definições comuns de IA confiável e IA ética listam princípios como justiça e privacidade como fundamentais para cada conceito. Da mesma forma, responsabilização e transparência são atributos frequentemente associados tanto à IA confiável quanto à IA responsável.

Uma maneira de discernir entre os três conceitos baseados em IA é olhar além de seus princípios fundamentais e, em vez disso, concentrar-se em como eles são usados:

• A IA confiável é frequentemente enquadrada como algo que é alcançado; é a IA que estabelece a confiança com seus usuários.
• A IA ética, por outro lado, foi descrita como sistemas de IA que têm considerações éticas (refletindo valores humanos e padrões morais) incorporados durante seu design e desenvolvimento.
• A IA responsável pode ser interpretada como abrangendo os meios práticos de incorporar essa ética em aplicações e fluxos de trabalho de IA.

As organizações podem adotar medidas importantes para garantir que seus sistemas de inteligência artificial, incluindo algoritmos de IA e conjuntos de dados, estejam operando em alinhamento com os princípios da IA confiável.

Avaliação: avaliar os processos de negócios habilitados para IA pode ajudar as empresas a determinar onde há espaço para melhoria em diferentes métricas de confiabilidade.

Monitoramento contínuo: por meio do monitoramento contínuo de problemas como viés da IA e desvio do modelo, as organizações lidam com processos ou saídas injustos ou imprecisos, apoiando, assim, a imparcialidade e a confiabilidade.

Gerenciamento de riscos: a implementação de um framework e ferramentas de gerenciamento de riscos permite a detecção e minimização de violações de segurança e de privacidade para fortalecer a IA.

Documentação: a documentação automatizada em todo o ciclo de vida da ciência de dados e da IA pode ser usada para auditorias regulatórias e setoriais, permitindo responsabilidade e transparência.

Frameworks de governança de IA: os frameworks de governança de IA incluem procedimentos sobre gerenciamento de dados e modelos, ajudando a garantir que os desenvolvedores e cientistas de dados de uma organização estejam seguindo os padrões internos e as regulamentações governamentais.

O software de governança de IA e os toolkits de código aberto podem ajudar as organizações a adotar essas e outras medidas para melhorar a confiabilidade de seus sistemas de IA. Com as medidas e proteções certas em vigor, as empresas podem minimizar os riscos enquanto aproveitam o poder da IA.