A informação precisa é a força vital das empresas modernas. Elas utilizam a IA para tomar decisões estratégicas sobre tudo, desde gerenciamento de cadeia de suprimentos até marketing de produto.
Embora a inteligência artificial (IA) possa melhorar essa tomada de decisão baseada em dados, ela também pode prejudicá-la. Os conteúdos gerados por IA podem conter muitos erros, como manchetes falsas péssimos conselhos jurídicos, receitas de pizza com cola Elmer’s como ingrediente principal.1
Será que um dia vamos superar completamente esse tipo de situação delicada? Por mais que os entusiastas da IA gostem de pensar o contrário, a resposta provavelmente é não.
Os modelos de IA (IA generativa) modelos de IA, explica Matt Candy da IBM, sempre estarão vulneráveis a produzir inadvertidamente pelo menos alguma informação falsa. “Como essas tecnologias funcionam de forma preditiva, tentando adivinhar a próxima palavra, sempre haverá algum risco”, afirma Candy, Global Managing Partner para IA generativa na IBM® Consulting.
Candy acrescenta que os modelos tradicionais de aprendizado de máquina (ML) também não estão imunes à produção de informação falsa. “Esses modelos funcionam como máquinas estatísticas que, basicamente, tentam prever algum tipo de resultado”, afirma ele. “Mesmo com toda a tecnologia, esses modelos ainda podem apresentar previsões erradas.”
No entanto, a boa notícia é que existem várias etapas que as empresas podem tomar para reduzir as chances de seus próprios sistemas de IA produzirem e espalharem informação falsa.
Se essas medidas não evitarem todos os casos de informação falsa gerada por IA, as empresas também podem adotar proteções para identificar essas informações antes que causem danos.
Receba insights selecionados sobre as notícias mais importantes (e intrigantes) sobre IA. Inscreva-se no nosso boletim informativo semanal Think. Consulte a Declaração de privacidade da IBM.
Antes de analisar como as empresas podem se proteger da informações falsas gerada por IA, vale a pena entender melhor o que são informações falsas e os conceitos relacionados. Esses conceitos surgiram muito antes da popularização da IA nos ecossistemas de informação, mas a influência da IA sobre esses fenômenos é considerável.
Informação falsa é, por definição, um conteúdo incorreto. Algumas definições também destacam que a informação falsa não é criada com a intenção de enganar, mas sim resultado de erros.
No caso de informação falsa gerada por IA, os exemplos incluem grandes modelos de linguagem (LLMs) gerando respostas imprecisas ou sem sentido, e imagens criadas por IA com representações irreais ou erradas (como “pessoas reais” com braços demais).
A alucinação de IA é a principal causa comum de informações falsas gerada pela IA. As alucinações de IA ocorrem quando os algoritmos de IA produzem resultados que não são baseados em dados de treinamento, são decodificados incorretamente pelo transformador ou não seguem nenhum padrão identificável.
"A forma como as alucinações acontecem é que o modelo de IA está tentando garantir que a linguagem seja fluente, mas também está tentando juntar diferentes fontes de informação", explica Kush Varshney, um Fellow da IBM no IBM® Research. “Até com os humanos, quando tentamos fazer várias coisas ao mesmo tempo, podemos cometer erros. Isso também está acontecendo com o modelo de IA, ele está perdendo o controle das informações enquanto tenta garantir a fluência da linguagem, e vice-versa."
A disinformation às vezes é considerada uma forma de informação falsa, mas se diferencia por ser um conteúdo falso criado para enganar o público. Exemplos incluem teorias da conspiração e, mais recentemente, conteúdos visuais e sonoros fabricados.
Casos proeminentes de desinformação viabilizados por bots e outras ferramentas de IA ocorreram na véspera da eleição presidencial americana de 2024. Isso incluiu uma chamada automática se passando pela voz do então presidente e candidato democrata Joe Biden, e a disseminação de imagens transmitindo falsos endossos de celebridades ao presidente republicano Donald Trump.2,3
As ferramentas para detectar deepfakes gerados por IA e outros conteúdos enganosos de desinformação têm apresentado resultados mistos, embora a última geração de detectores de texto com IA tenha se mostrado mais eficaz do que as versões anteriores.4,5 Enquanto isso, plataformas de mídia social como o TikTok e o Facebook começaram a rotular conteúdo gerado por IA.6
Diferente da informação falsa e da desinformação, a mal-informação se baseia em fatos reais, mas pode causar danos. A mal-informação causa danos porque é divulgada com a intenção de prejudicar pessoas ou empresas.
Por exemplo, o compartilhamento de informações confidenciais sem permissão se enquadra no guarda-chuva da mal-informação, uma prática que foi amplificada pela IA. Golpistas podem usar ferramentas de IA generativa para criar e-mails de phishing sofisticados e eficazes, que os ajudem a obter e espalhar informações confidenciais.
Embora possa ser impossível garantir que todas as produções geradas por IA sejam completamente livres de erros, existem medidas que as empresas podem adotar para reduzir significativamente a probabilidade de seus sistemas de IA produzirem informações imprecisas ou totalmente fabricadas.
Dados de alta qualidade são fundamentais para o desempenho de modelos de IA. Os modelos devem ser treinados com dados diversos, equilibrados e bem estruturados para minimizar as chances de viés e alucinações. As empresas de tecnologia e os desenvolvedores de IA podem melhorar a qualidade dos dados de treinamento utilizando ferramentas de preparação e filtragem de dados para remover dados de baixa qualidade e conteúdos de ódio, incluindo mal-informação.
Uma das ferramentas mais populares para reduzir a probabilidade de alucinações da IA é a geração aumentada de recuperação (RAG). RAG é uma arquitetura que conecta modelos de IA generativa a fontes de dados externas, como os dados organizacionais de uma empresa, periódicos acadêmicos e conjuntos de dados especializados. Ao acessar essas informações, os chatbots de IA e outras ferramentas podem gerar conteúdo mais preciso e específico para o domínio.
Embora as aplicações de LLM voltadas para o consumidor no ChatGPT da OpenAI tenham capturado a atenção do público, as empresas frequentemente encontram modelos de IA menores e mais especializados que atendem melhor às suas necessidades, sendo também menos vulneráveis a alucinações.
"Você tem esses grandes modelos de fronteira treinados com o máximo de dados que conseguem obter", diz Candy. "Mas, se você pensar nos principais casos de uso empresarial, não precisa de um modelo treinado com as obras completas de Shakespeare, Reddit e todos os outros dados públicos disponíveis."
Modelos menores têm janelas de contexto mais estreitas e usam menos parâmetros, diminuindo o risco de alucinação. "Existe uma menor possibilidade de as coisas se misturarem", adiciona Varshney.
Mitigar as alucinações da IA ajuda a combater a informação falsa, mas representa apenas um dos passos necessários para evitar danos. As empresas também precisam ter estratégias e ferramentas para identificar alucinações e respostas imprecisas que eventualmente escapem do controle.
As principais plataformas e modelos de base de governança de IA agora incluem recursos para detectar alucinações. IBM® watsonx.governance e a versão mais recente do IBM Granite Guardian (IBM® Granite Guardian 3.1, parte da família de modelos de linguagem Granite da IBM projetados para empresas), avalia o desempenho de modelos de IA generativa em métricas como relevância das respostas e "fidelidade".
"Eles chamam isso de 'fidelidade', que é o oposto de alucinação", explica Varshney. "Quando uma resposta é fiel aos seus documentos fonte, ela não está alucinando." O Granite Guardian 3.1 também apresenta recursos para detectar o uso e a produção de IA contraproducentes, como jailbreaking, palavrões e viés social.
Mesmo com ferramentas de governança de IA, os humanos ainda exercem papéis fundamentais para evitar a disseminação de informações falsas geradas por IA. Candy afirma que, ao implementar sistemas de IA, as empresas precisam identificar os pontos de controle que possibilitam a supervisão humana. “Precisamos criar, de forma intencional, momentos no processo em que haja interação humana, revisão humana e decisões tomadas por pessoas.”
Esse tipo de tomada de decisão humana é especialmente importante, ele observa, com o advento de poderosos agentes de IA que podem enfrentar tarefas cada vez mais sofisticadas.
Por exemplo, enquanto uma empresa de ciências da vida pode usar múltiplos agentes de IA para pesquisar e redigir relatórios de conformidade sobre o desenvolvimento de novos medicamentos, a empresa ainda designaria um funcionário humano para avaliar e verificar os fatos dos relatórios antes de enviá-los a uma agência governamental.
"Em última análise, você ainda terá um ser humano no processo, verificando e validando", diz Candy. "Eu não subestimaria a importância da parte humana."
Governe modelos de IA generativa de qualquer lugar e implemente na nuvem ou no local com o IBM® watsonx.governance.
Libere todo o potencial da sua IA e veja como a governança de IA ajuda a aumentar a confiança dos seus funcionários na IA, a acelerar a adoção e a inovação e a aumentar a confiança do cliente.
Prepare-se para a Lei de IA da UE e estabeleça uma abordagem de governança de IA responsável com a ajuda da IBM® Consulting.
1 “Google promised a better search experience — now it’s telling us to put glue on our pizza.” The Verge. 23 de maio de 2024.
2 “A New Orleans magician says a Democratic operative paid him to make the fake Biden robocall.” NBC News. 23 de fevereiro de 2024.
3 “Fake celebrity endorsements become latest weapon in misinformation wars, sowing confusion ahead of 2024 election.” CNN. 22 de agosto de 2024.
3 “Fake celebrity endorsements become latest weapon in misinformation wars, sowing confusion ahead of 2024 election.” " NPR. 5 de abril de 2024.
5 “Robustness of generative AI detection: adversarial attacks on black-box neural text detectors.” International Journal of Speech Technology. 16 de outubro de 2024.