Büyük Dil Modellerinde Yanılgı Tespiti Doğrusal Yöntemle Mümkün

Araştırmacılar açık kaynak büyük dil modellerinin gizli katmanlarında yanılgı (hallucination) ile ilgili bir doğrusal sinyal taşıdığını keşfetti. Bu bulgu, modellerin yanlış bilgi üretmesini gerçek zamanlı olarak yakalamayı çok daha pratik hale getiriyor.

Çalışma Llama-3.1-8B, Mistral-7B ve Qwen2.5-7B üzerinde yapıldı. Araştırmacılar bu modelleri 4-bit NF4 nicelleştirme (quantization) ile yükleyip, TruthfulQA ve HaluEval-QA gibi kıyaslama setlerinde her katmanın gizli durumlarını incelediler. Sonuç: tek bir orta katmandaki doğrusal bir sonda (linear probe), tutarlı bir şekilde %90,4 ile %100 arasında AUROC (doğruluk metriği) elde etti.

Bu önemli çünkü yanılgı tespiti için kullanılan örnekleme tabanlı yöntemler aynı koşullarda %54'ü geçemeyen sonuçlar verdi. Doğrusal yaklaşım sadece daha doğru değil, aynı zamanda hesaplama açısından da hafif ve hızlı. MLP (çok katmanlı algılayıcı) gibi daha karmaşık ağlar bile doğrusal yöntemi %1'den fazla iyileştiremedi, bu da sinyalin temelde doğrusal olduğunu gösteriyor.

Peak sinyalin bulunduğu katmanlar model ailelerine göre tutarlı bir bölgede yer aldı, yani bu yaklaşım farklı mimariler arasında taşınabilir. Pratik anlamda bu, LLM uygulamalarında yanılgıları filtrelemek için basit ve etkili bir yol sunuyor.