RAG, yani Retrieval Augmented Generation, büyük dil modelinin sadece hafızasına güvenmeyip dışarıdaki kaynaklardan bilgi çekerek cevap vermesidir. Normal bir LLM bazen emin olmadığı konuda uydurabilir. RAG yapısında önce kullanıcının sorusuyla ilgili doküman, kayıt veya veritabanı parçası bulunur; sonra model bu parçaları kullanarak cevap üretir. Şirket içi doküman botları, hukuk dosyası arama sistemleri ve müşteri destek asistanlarında çok kullanılır. Ama RAG kaliteli veri yoksa mucize yaratmaz.
Diyelim ki bir şirketin 500 sayfalık iç prosedür dokümanı var. Çalışan "yıllık izin devri nasıl yapılıyor?" diye soruyor. Model bu bilgiyi eğitiminde bilmiyor olabilir. RAG sistemi önce dokümanlarda izin devriyle ilgili bölümü bulur, sonra o parçayı modele verir. Model de cevabı o metne göre üretir. Cevap daha güncel, daha kaynaklı ve şirkete özel olur. Aynı mantık ürün kataloğu, sözleşme arşivi veya destek talepleri için de kullanılabilir.
RAG kurunca halüsinasyon tamamen biter sanmak yanlış. Yanlış doküman çekilirse model yanlış ama kendinden emin cevap verebilir. Veri parçalama, embedding kalitesi ve arama sıralaması düzgün değilse sistem güvenilir görünür ama hatalı çalışır. Özellikle hukuk, finans veya şirket politikası gibi alanlarda modelin cevabı mutlaka kaynak satırıyla bağlanmalıdır. RAG projelerinde başarı çoğu zaman modelden çok veri temizliği ve arama kalitesine bağlıdır.
