O que são alucinações de IA?

Geralmente, quando um usuário faz uma solicitação a uma ferramenta de IA generativa, ele deseja uma saída que lide adequadamente com o prompt (isto é, uma resposta correta para a pergunta). No entanto, às vezes os algoritmos de IA produzem saídas que não são baseadas nos dados de treinamento, são decodificadas incorretamente pelo transformador ou não seguem nenhum padrão identificável. Em outras palavras, eles "alucinam" a resposta.

O termo pode parecer paradoxal, já que alucinações são normalmente associadas ao cérebro humano ou animal, não a máquinas. Mas, de um ponto de vista metafórico, a alucinação descreve com precisão essas saídas, particularmente no caso do reconhecimento de imagens e padrões (em que as saídas podem ter aparência verdadeiramente surreal).

As alucinações da IA são semelhantes à forma como os seres humanos às vezes veem figuras nas nuvens ou rostos na lua. No caso da IA, essas interpretações equivocadas ocorrem devido a vários fatores, incluindo overfitting, viés/inadequação nos dados de treinamento e alta complexidade do modelo.

Evitar problemas com tecnologias generativas de código aberto pode ser desafiador. Alguns exemplos notáveis de alucinação de IA incluem:

• O chatbot Bard do Google alegando incorretamente que o Telescópio Espacial James Webb capturou as primeiras imagens de um planeta fora de nosso sistema solar^1.
   

• A IA de chat da Microsoft, Sydney, admitindo estar "apaixonada" por usuários e espionando funcionários do Bing.²
  

• A Meta retirou a demonstração do LLM Galactica em 2022, após fornecer informações inexatas aos usuários, às vezes baseadas em preconceitos.³ 

Embora muitos desses problemas já tenham sido abordados e resolvidos, é fácil ver como, mesmo nas melhores circunstâncias, o uso de ferramentas de IA pode ter consequências inesperadas e indesejadas.

A alucinação da IA pode ter consequências significativas para aplicações no mundo real. Por exemplo, um modelo de IA de saúde pode identificar incorretamente uma lesão cutânea benigna como maligna, levando a intervenções médicas desnecessárias. Problemas de alucinação da IA também podem contribuir para a disseminação de desinformação. Se, por exemplo, chatbots alucinados responderem a consultas sobre uma emergência em curso com informações que não foram verificadas, isso pode rapidamente espalhar fake news que minam os esforços de mitigação. Uma fonte significativa de alucinação nos algoritmos de aprendizado de máquina é o viés de entrada. Se um modelo de IA for treinado em um conjunto de dados que inclui dados com viés ou não representativos, ele poderá alucinar padrões ou funcionalidades que reflitam esses vieses.

Os modelos de IA também podem ser vulneráveis a ataques de adversários, nos quais atores mal-intencionados manipulam a produção de um modelo de IA ao alterar sutilmente os dados de entrada. Em tarefas de reconhecimento de imagens, por exemplo, um ataque adversário pode envolver a adição de uma pequena quantidade de ruído especialmente criado a uma imagem, fazendo com que a IA a classifique incorretamente. Isso pode se tornar uma preocupação significativa de segurança, especialmente em áreas delicadas, como cibersegurança e tecnologias de veículos autônomos. Pesquisadores de IA estão constantemente desenvolvendo salvaguardas para proteger ferramentas de IA contra ataques adversários. Técnicas como treinamento adversário (em que o modelo é treinado em uma mistura de exemplos normais e adversários) estão reforçando problemas de segurança. Mas, enquanto isso, a vigilância nas fases de treinamento e verificação de fatos é fundamental.

A melhor maneira de mitigar o impacto das alucinações de IA é evitar que elas ocorram. Aqui estão algumas etapas que você pode seguir para manter seus modelos de IA funcionando de forma otimizada:

Os modelos de IA generativa dependem de dados de input para realizar tarefas, então a qualidade e relevância dos conjuntos de dados de treinamento determinarão o comportamento do modelo e a qualidade de seus outputs. Para prevenir alucinações, garanta que os modelos de IA sejam treinados em dados diversos, equilibrados e bem estruturados. Isso ajudará o modelo a minimizar os vieses, compreender melhor suas tarefas e produzir outputs mais eficazes.

Estabelecer claramente como o modelo de IA será utilizado, bem como qualquer limitação de uso, ajudará a reduzir alucinações. Sua equipe ou organização deve definir as responsabilidades e limitações do sistema de IA escolhido; isso ajudará o sistema a realizar tarefas de forma mais eficaz e minimizará resultados irrelevantes ou "alucinatórios".

Modelos de dados fornecem às equipes um formato predefinido, aumentando a probabilidade de que o modelo de IA gere outputs que estejam de acordo com as diretrizes estabelecidas. A confiança em modelos de dados garante consistência nos outputs e reduz a probabilidade de que o modelo produza resultados errados.

Modelos de IA muitas vezes alucinam porque carecem de restrições que limitem os possíveis resultados. Para prevenir esse problema e melhorar a consistência e precisão geral dos resultados, defina limites para os modelos de IA usando ferramentas de filtragem e/ou limiares probabilísticos claros.

Testar rigorosamente seu modelo de IA antes de usar é vital para evitar alucinações, assim como avaliar o modelo continuamente. Esses processos melhoram o desempenho geral do sistema e permitem que os usuários ajustem e/ou treinem novamente o modelo à medida que os dados envelhecem e evoluem.

Garantir que um ser humano valide e avalie as saídas da IA é uma medida final de segurança para prevenir alucinações. A supervisão humana assegura que, se a IA alucinar, haverá uma pessoa disponível para filtrar e corrigir o erro. Um revisor humano também pode oferecer conhecimento especializado no assunto, o que aumenta sua capacidade de avaliar o conteúdo da IA em termos de precisão e relevância para a tarefa.

Embora a alucinação de IA seja certamente um resultado indesejado na maioria dos casos, ela também apresenta uma série de casos de uso intrigantes que podem ajudar as organizações a aproveitar seu potencial criativo de maneira positiva. Confira alguns exemplos: