A alucinação da IA é um fenômeno onde, em um grande modelo de linguagem (LLM) frequentemente um chatbot de IA generativa ou uma ferramenta de visão computacional, percebe padrões ou objetos que são inexistentes ou imperceptíveis para observadores humanos, criando saídas que são sem sentido ou totalmente imprecisas.
Geralmente, quando um usuário faz uma solicitação a uma ferramenta de IA generativa, ele deseja uma saída que lide adequadamente com o prompt (isto é, uma resposta correta para a pergunta). No entanto, às vezes os algoritmos de IA produzem saídas que não são baseadas nos dados de treinamento, são decodificadas incorretamente pelo transformador ou não seguem nenhum padrão identificável. Em outras palavras, eles "alucinam" a resposta.
O termo pode parecer paradoxal, já que alucinações são normalmente associadas ao cérebro humano ou animal, não a máquinas. Mas, de um ponto de vista metafórico, a alucinação descreve com precisão essas saídas, particularmente no caso do reconhecimento de imagens e padrões (em que as saídas podem ter aparência verdadeiramente surreal).
As alucinações da IA são semelhantes à forma como os seres humanos às vezes veem figuras nas nuvens ou rostos na lua. No caso da IA, essas interpretações equivocadas ocorrem devido a vários fatores, incluindo overfitting, viés/inadequação nos dados de treinamento e alta complexidade do modelo.
Evitar problemas com tecnologias generativas de código aberto pode ser desafiador. Alguns exemplos notáveis de alucinação de IA incluem:
O chatbot Bard do Google alegando incorretamente que o Telescópio Espacial James Webb capturou as primeiras imagens de um planeta fora de nosso sistema solar1.
A IA de chat da Microsoft, Sydney, admitindo estar "apaixonada" por usuários e espionando funcionários do Bing.2
Embora muitos desses problemas já tenham sido abordados e resolvidos, é fácil ver como, mesmo nas melhores circunstâncias, o uso de ferramentas de IA pode ter consequências inesperadas e indesejadas.
Receba insights selecionados sobre as notícias mais importantes (e intrigantes) sobre IA. Inscreva-se no nosso boletim informativo semanal Think. Consulte a Declaração de privacidade da IBM.
A alucinação da IA pode ter consequências significativas para aplicações no mundo real. Por exemplo, um modelo de IA de saúde pode identificar incorretamente uma lesão cutânea benigna como maligna, levando a intervenções médicas desnecessárias. Problemas de alucinação da IA também podem contribuir para a disseminação de desinformação. Se, por exemplo, chatbots alucinados responderem a consultas sobre uma emergência em curso com informações que não foram verificadas, isso pode rapidamente espalhar fake news que minam os esforços de mitigação. Uma fonte significativa de alucinação nos algoritmos de aprendizado de máquina é o viés de entrada. Se um modelo de IA for treinado em um conjunto de dados que inclui dados com viés ou não representativos, ele poderá alucinar padrões ou funcionalidades que reflitam esses vieses.
Os modelos de IA também podem ser vulneráveis a ataques de adversários, nos quais atores mal-intencionados manipulam a produção de um modelo de IA ao alterar sutilmente os dados de input. Em tarefas de reconhecimento de imagem, por exemplo, um ataque de adversário pode envolver a adição de uma pequena quantidade de ruído especialmente criado a uma imagem, fazendo com que a IA a classifique incorretamente. Isso pode se tornar uma preocupação significativa de segurança, especialmente em áreas sensíveis, como cibersegurança e tecnologias de veículos autônomos. Os pesquisadores de IA estão constantemente desenvolvendo mecanismos de proteção para proteger as ferramentas de IA contra ataques de adversários. Técnicas como o treinamento adversarial, onde o modelo é treinado em uma mistura de exemplos normais e de adversários, estão ajudando a reforçar questões de segurança. No entanto, durante esse processo, a vigilância nas fases de treinamento e verificação de fatos é essencial.
A melhor maneira de mitigar o impacto das alucinações de IA é evitar que elas ocorram. Aqui estão algumas etapas que você pode seguir para manter seus modelos de IA funcionando de forma otimizada:
Os modelos de IA generativa dependem de dados de input para realizar tarefas, então a qualidade e relevância dos conjuntos de dados de treinamento determinarão o comportamento do modelo e a qualidade de seus outputs. Para prevenir alucinações, garanta que os modelos de IA sejam treinados em dados diversos, equilibrados e bem estruturados. Isso ajudará o modelo a minimizar os vieses, compreender melhor suas tarefas e produzir outputs mais eficazes.
Estabelecer claramente como o modelo de IA será utilizado, bem como qualquer limitação de uso, ajudará a reduzir alucinações. Sua equipe ou organização deve definir as responsabilidades e limitações do sistema de IA escolhido; isso ajudará o sistema a realizar tarefas de forma mais eficaz e minimizará resultados irrelevantes ou "alucinatórios".
Modelos de dados fornecem às equipes um formato predefinido, aumentando a probabilidade de que o modelo de IA gere outputs que estejam de acordo com as diretrizes estabelecidas. A confiança em modelos de dados garante consistência nos outputs e reduz a probabilidade de que o modelo produza resultados errados.
Modelos de IA muitas vezes alucinam porque carecem de restrições que limitem os possíveis resultados. Para prevenir esse problema e melhorar a consistência e precisão geral dos resultados, defina limites para os modelos de IA usando ferramentas de filtragem e/ou limiares probabilísticos claros.
Testar rigorosamente seu modelo de IA antes de usar é vital para evitar alucinações, assim como avaliar o modelo continuamente. Esses processos melhoram o desempenho geral do sistema e permitem que os usuários ajustem e/ou treinem novamente o modelo à medida que os dados envelhecem e evoluem.
Garantir que um ser humano valide e avalie as saídas da IA é uma medida final de segurança para prevenir alucinações. A supervisão humana assegura que, se a IA alucinar, haverá uma pessoa disponível para filtrar e corrigir o erro. Um revisor humano também pode oferecer conhecimento especializado no assunto, o que aumenta sua capacidade de avaliar o conteúdo da IA em termos de precisão e relevância para a tarefa.
Embora a alucinação de IA seja certamente um resultado indesejado na maioria dos casos, ela também apresenta uma série de casos de uso intrigantes que podem ajudar as organizações a aproveitar seu potencial criativo de maneira positiva. Confira alguns exemplos:
A alucinação da IA oferece uma nova abordagem para a criação artística, fornecendo aos artistas, designers e outras pessoas criativas uma ferramenta para gerar imagens visualmente impressionantes e imaginativas. Com os recursos alucinatórios da inteligência artificial, os artistas podem produzir imagens surreais e oníricas que podem gerar novas formas e estilos de arte.
A alucinação da IA pode agilizar a visualização de dados ao expor novas conexões e oferecer perspectivas alternativas sobre informações complexas. Isso pode ser especialmente valioso em áreas como finanças, onde a visualização de tendências de mercado intrincadas e dados financeiros facilita a tomada de decisões mais sutis e a análise de riscos.
A alucinação de IA também melhora as experiências imersivas em jogos e realidade virtual (VR). Utilizar modelos de IA para alucinar e gerar ambientes virtuais pode ajudar desenvolvedores de jogos e designers de VR a imaginar novos mundos que elevam a experiência do usuário a outro nível. A alucinação também pode adicionar elementos de surpresa, imprevisibilidade e novidade às experiências de jogos.
Governe modelos de IA generativa de qualquer lugar e implemente na nuvem ou no local com o IBM watsonx.governance.
Veja como a governança de IA pode ajudar a aumentar a confiança de seus funcionários na IA, acelerar a adoção e a inovação e melhorar a confiança dos clientes.
Prepare-se para a Lei de IA da UE e estabeleça uma abordagem de governança de IA responsável com a ajuda da IBM Consulting.
1 What Makes A.I. Chatbots Go Wrong?. The New York Times. 29 de março de 2023.
2 ChatGTP and the Generative AI Hallucinations. Medium. 15 de março de 2023.
3 Why Meta’s latest large language model survived only three days online. MIT Technology Review. 18 de novembro de 2022.