Hallucination, büyük dil modellerinin eğitim verisinde olmayan veya yanlış olan bilgiyi, gerçekmiş gibi güvenle sunmasıdır. Model "bilmiyorum" demek yerine mantıklı görünen ama yanlış bir cevap üretebilir. Bu var olmayan makale atıfları, yanlış tarihler, sahte isimler veya uydurulmuş istatistikler şeklinde görünebilir. Modelin dili iyi kurması ve kendinden emin konuşması, cevabın doğru olduğu anlamına gelmez.
Bir avukat yapay zekayla dava hazırlıyor ve modelden içtihat istiyor. Model olmayan davaları, var olmayan mahkeme kararlarını cümle cümle detaylandırarak sunuyor. Avukat kontrol etmeden kullanıyor ve mahkemede sahte kaynak ortaya çıkıyor. Bu gerçekte yaşanmış bir olaydır. Hukuk, tıp, finans gibi yüksek riskli alanlarda yapay zeka çıktısı mutlaka doğrulanmalıdır.
