Proses yang sama yang sering kali menghasilkan hasil yang mengesankan juga yang menyebabkan model generatif berhalusinasiyaitu ketika model tersebut menghasilkan informasi yang salah atau menyesatkan. Halusinasi atau konfabulasi terjadi ketika model melihat pola dalam kumpulan data pelatihan mereka yang tidak ada di dunia nyata.
Misalnya, saat meminta ChatGPT-4o mini dengan pertanyaan “Di episode Seinfeld yang mana Kramer pergi ke Bangladesh?” akan muncul jawaban berikut:
Kramer pergi ke Bangladesh dalam episode berjudul "The Little Jerry", yang merupakan episode ke-145 dari Seinfeld.. Ini adalah [sic] episode ke-145 dari acara ini, dan awalnya ditayangkan selama musim ke-8. Dalam episode ini, Kramer terlibat dalam rencana untuk mengimpor mainan dari Bangladesh.
Sementara The Little Jerry adalah episode ke-145 dari Seinfeld dan ditayangkan selama Musim 8, episode ini menampilkan Kramer yang membeli dan melatih seekor ayam jantan—Little Jerry yang memiliki nama asli. Mendorong chatbot dengan pertanyaan yang sama mengembalikan halusinasi kedua yang berbeda:
Kramer pergi ke Bangladesh dalam episode berjudul " The Maldives, " yang merupakan episode ke-18 Musim 9. Dalam episode ini, ia mencoba memulai kehidupan baru setelah perjalanannya, dan alur cerita berkisar pada gagasan untuk menjadi seorang "nelayan Bangladesh".
Pada kenyataannya, episode 18 dari musim ke-9 Seinfeld adalah The Frogger, dan di dalamnya, Kramer hanya pergi sejauh kantor polisi. Tidak ada episode Seinfeld yang berjudul The Maldives, dan tidak ada satu pun episode selama acara ini berlangsung yang menampilkan Kramer pergi ke Bangladesh.
Sama seperti model autoregresif seperti GPT yang dikenal berhalusinasi dengan fakta yang dibuat-buat, jenis model lain dapat berhalusinasi dengan caranya sendiri. Model difusi yang digunakan untuk pembuatan gambar terkadang menggambarkan objek dunia nyata dengan cara yang tidak sesuai dengan kenyataan.