LLM'ler Akademik Makaleleri Nasıl Değerlendiriyor?

Bilimsel makalelerin hacmi artınca, yapay zeka hakem olabilir mi sorusu ciddi hale geldi. Araştırmacılar bunu test etmek için 232 ICLR 2025 başvurusunda beş farklı değerlendirme yöntemi, üç LLM ve üç girdi türünü karşılaştırdı. Bulguları pratik olarak önemli.

İlk sürpriz: doğrudan puanlama ile karşılaştırmalı sıralama (Elo sistemi gibi) insan puanlarıyla neredeyse aynı korelasyon gösteriyor. Ama doğrudan puanlama çoğu tahmini kabul eşiğinin üzerine sıkıştırıyor; reddedilmesi gereken yazıları neredeyse hiç işaretlemiyor. Araştırma, bunun model sorunu değil, kalibrasyonu ayarlamakla çözülebileceğini ortaya koydu. Recalibration sonrası doğrudan puanlama Elo'dan daha iyi uyum sağlarken API çağrılarının sadece %24'ünü kullanıyor.

İkinci bulgu: tam makale özetlemesi yerine sadece özet (abstract) kullanmak daha iyi sonuç veriyor. Bunu düşün, hakem hızlı, ucuz ve yeterince doğru oluyor. Üçüncü ve belki en pratik nokta: hangi LLM'i seçtiğin, hangi paradigmayı seçtiğin kadar etkiliyor. Model değişikliği paradigma değişikliği kadar performansı etkilemesi, sistem tasarımında sadece algoritmaya değil model tercihine de odaklanmanız gerektiğini gösteriyor.

Bu araştırma LLM tabanlı hakem sistemlerinin henüz ne kadar sınırlı olduğunu, ama doğru yapılandırıldığında insan gözünü tamamen değiştiremese bile işlevsel bir yardımcı olabileceğini gösteriyor. Geliştirici ya da konferans yöneticisiysen: tam makaleler yerine özet kullan, API maliyetini düşürür; ama kalibrasyon adımını atla, veya puanları insan hakemlerle karşılaştırarak ayarla.