LLM'ler argümanları kaynağa göre değerlendiriyor

Bir araştırmacı ilginç bir soruyu test etti: eğer argümanın kendisi aynı kalırsa, onu farklı birine atfetmek LLM'lerin değerlendirmesini değiştirir mi?

20 argüman, 10 farklı konuda dört kaynak senaryosu altında sınandı: ilgili uzman, ilgisiz uzman, usta olmayan kişi ve kaynak yok. GPT-4o, Claude Opus, Gemini ve DeepSeek Flash modelleri argümanları mantık, güvenilirlik, ikna ediciliği ve katılım açısından puanladı.

Bulguları ilginç: Güvenilirlik, kaynak atfından en çok etkilenen boyut oldu. Özellikle mantık veya katılım değerlendirmesine kıyasla güvenilirlik, kaynak değişikliğine çok daha tutarlı yanıt verdi.

Beceri bonusu basit değildi. Bazı modellerde daha güçlü bir örüntü ortaya çıktı: ilgisiz alanda uzman olarak sunulan biri, hiç kaynak verilmemişten daha az güvenilir bulundu. Yani "oto mekanikçinin tıbbi tavsiyesi" senaryosu, tamamen anonim argümandan daha zayıf değerlendirildi.

Katılım (agreement) ise kaynak atfından nispeten bağımsız kaldı. Model, argümanın mantığına veya sunuş şekline göre katılıp katılmadığını belirliyor gibi görünüyor, kaynaktan çok.

Bu bulguların anlamı şu: LLM'ler salt mantık değil, sosyal sinyalleri de işliyor. Ama bu sinyalleri her zaman "uzman daha iyidir" kuralıyla değerlendirmiyorlar. Hatalı alana yerleştirilmiş bir "uzman" kredibiliteyi düşürebiliyor. Sistem, bağlam farkındalığı gösteriyor ama tutarsız.