Les processus qui conduisent souvent à des résultats impressionnants sont également ceux qui provoquent des hallucinations dans les modèles génératifs : qui produisent alors des informations incorrectes ou trompeuses. Des hallucinations ou des confabulations se produisent lorsque les modèles perçoivent des schémas dans leurs jeux de données d’entraînement qui n’existent pas dans le monde réel.
Par exemple, le prompt proposé à ChatGPT-4o mini : « Dans quel épisode de Seinfeld Kramer se rend-il au Bangladesh ? », a renvoyé cette réponse :
Kramer se rend au Bangladesh dans l’épisode intitulé « Combats de coqs », le 145e épisode de Seinfeld. Il s’agit du 145e épisode [sic] de la série, initialement diffusé pendant la saison 8. Dans cet épisode, Kramer se retrouve dans une combine visant à importer un jouet du Bangladesh.
Si Combats de coqs est bien le 145e épisode de Seinfeld et qu’il a bien été diffusé pendant la saison 8, il s’agit en fait de l’épisode dans lequel Kramer achète et dresse un coq, Little Jerry. Le second prompt envoyé au chatbot avec la même question a provoqué une deuxième hallucination, différente de la première :
Kramer se rend au Bangladesh dans l’épisode intitulé « Les Maldives », le 18e épisode de la saison 9. Dans cet épisode, il souhaite commencer une nouvelle vie après son voyage, et l’intrigue se concentre sur son intention de devenir un pêcheur « bangladeshi ».
En réalité, l’épisode 18 de la saison 9 de Seinfeld s’intitule La grenouille, et dans cet épisode, Kramer se rend simplement au commissariat de police. Il n’y a pas d’épisode de Seinfeld intitulé Les Maldives, et à aucun moment pendant la série Kramer ne se rend au Bangladesh.
Les modèles autorégressifs comme GPT sont connus pour halluciner et inventer des faits, mais d’autres types de modèles peuvent également être sujets à des hallucinations. Les modèles de diffusion utilisés pour la génération d’images représentent parfois des objets du monde réel d’une manière qui ne correspond pas à la réalité.