Yayınlanan ML Modelini Tekrar Çalıştırdığınızda Farklı Sonuç Alırsanız?

Makine öğrenmesi araştırması yapanlar için sık karşılaşılan bir sorun: bir yayınlı yöntemin kodunu ve hiperparametrelerini aynen alıp çalıştırdüğünüzde, yazarların raporladığı sayılar tutmuyor. Özellikle iki-üç benchmark'te fark birkaç puan kadar açık olabilir.

Bu durumda yapılması gerekenler neler? Araştırmacı, yazarın kodunu değiştirmeden, belirtilen ayarları takip ederek dört farklı zamanda tekrarlamış ve aynı sonucu almış. Diğer benchmark'lerde sonuçlar tuttuğu için kurulumun doğru olduğu anlaşılıyor. Ama reviewerler yayınlanan sayıya daha çok güvenme eğilimindedir.

İkna edici bir tekrar üretim sunmak için:

Yayınlanan rakamları ve kendi reproduksiyonunuzu açıkça etiketleyerek her ikisini de rapor edin. Yazarın değiştirilmemiş kodunu, hyperparameter'ları ve birden fazla seed (rasgelelik) kullandığınızı belirtin. Diğer benchmark'lerde uyumun sağlanması, sisteminizin doğru çalıştığını gösterir.

Yazarlarla iletişime geçmek iyi bir fikirdir, ancak bunu paper'da açıkça belirtmeniz gerekir. Örneğin: "Yazarlarla iletişime geçtik; [sonuç]" şeklinde. GitHub issue açmak da makul, fakat bunu paper revizyon sürecinden sonra yapmak daha uygun olabilir.

Kagıda şu cümleleri ekleyin: "Yayınlanan baseline sonuçlarını aynı kod ve ayarlarla tekrar üretemedik; Tablo X'te her iki sonucu da sunuyoruz." Bu şeffaflık, reviewerlere karşı güven inşa eder. Basılı sonuçların her zaman doğru olmadığı akademik ortamda bilinir; dürüst raporlama değerlidir.