ML Konferanslarında Hakem Yorumları: LLM Kopyası mı?

Makine öğrenmesi konferanslarında bir sorun ortaya çıkıyor: hakem yorumları sanki bir dil modeli tarafından üretilmiş gibi görünüyor.

Bir araştırmacı Reddit'te paylaştığı deneyiminde, aldığı yorumların ChatGPT'ye kendi makalelerini verdiğinde aldığı cevaplarla neredeyse aynı olduğunu söylüyor. "Deneyleri A, B, C ve D yap" şeklindeki genel tavsiyeler, makalenin ana fikrini hiç dikkate almıyor.

Sorun sadece bu değil. Konferansların katı 10 sayfalık sınırı var. Yazarlar bu ekstra deneyleri tamamlamak için uğraşsa da, hakemlerin tartışmaya girmediğini, sadece yeni deneyler istediğini görüyor., araştırmanın mantığı ve özü hiç konuşulmuyor.

Bu durum, hakem sürecinin makine gibi işlediğini gösteriyor. Hakemlerin, yazarları "deney makinesi" olarak gördüğü hissiyatı oluşuyor. Bazı araştırmacılar bu sorunu, akademik editörlere gizli mesajlarla bildirmeyi düşünüyor.

Aslında asıl soru şu: Hakem sistemi, yapay zeka tarafından yardımcı olunacak şekilde mi değişiyor? Yoksa hakemlerin kendileri LLM'leri kullanıyor mu? Her iki durumda da, bilimsel tartışmanın derinliği azalıyor. Konferanslar, kaliteli geri bildirimi değil, sadece sayı üzerinden değerlendirme yapıyor gibi görünüyor.