MMLU'daki Yanlış Cevap Anahtarları Ortaya Çıkıyor

Yapay zeka modellerini eğitmek ve değerlendirmek için kullanılan MMLU veri seti, aslında beklediğinden daha fazla hata içeriyor. MV2 tarafından yürütülen bir araştırma, bu popüler test setinin cevap anahtarlarında önemli sorunlar olduğunu ortaya koymak için 78 farklı AI modelinin tahminlerini analiz etti.

Araştırmacılar MMLU'nun 57 konusu arasından rastgele 100 soru seçerek uzmanlar tarafından yeniden kontrol ettiler. Sonuç: 106 yanlış cevap anahtarı bulundu. Geriye kalan 8.300 soru hiç uzman tarafından gözden geçirilmemiş durumda. Peki bunların içinde kaç tane daha hata gizlenmiş olabilir?

İlginç kısım, modellerin oylarının (hangi seçeneği doğru bulduklarının) hatalı soruları bulma konusunda şans eseri olmaktan çok daha iyi çalışması. Araştırmacılar bu yöntemi test etmek için beş tahmin yaptı; dördü tuttu. Modeller, sorular dört katmana bölünerek analiz edildi: hiçbir modelin seçmediği sorulardan başlayarak, çoğunun anlaşamadığı soruların hata içerme olasılığı daha yüksek çıktı.

Bu bulgu, MMLU gibi yaygın olarak kullanılan veri setlerinin ne kadar güvenilir olduğu sorusunu gündeme getiriyor. Model değerlendirmelerinde kullanılan bu test seti, aslında kendi cevap anahtarlarında da iyileştirmeye ihtiyaç duyuyor. Tüm detaylar açık kod ve önceden kaydedilmiş tahminlerle destekleniyor.