Neden Tüm Sinir Ağı Optimizerleri Garip Adlar Taşıyor?

Yapay zeka alanında çalışanlar bilir: sinir ağı optimizerleri adlandırılırken sanki bir şaka yapılıyor gibi hissettiriyor. SOAP, Shampoo, FOAM, Muon, listelesi uzayıp gidiyor. Adam dışında çoğu adı Google'da arattığında ilgisiz sonuçlar yağmur gibi yağıyor.

Bu sorun nereden kaynaklanıyor? İlk olarak, araştırmacılar akronim seviyorlar. ADAM (Adaptive Moment Estimation) başarılı oldu, sonrasında herkes de kendi optimizerleri için çekici akronim bulmaya başladı. SOAP (Second Order Adaptive Preconditioner), Shampoo (adaptive learning rates), FOAM (First Order Adaptive Method), hepsi teknik anlamı olan, ama Google'da aradığında hiç alakasız sonuçlar veren isimler.

Muon örneği daha komik: fizikte bir parçacının adı olduğu için, makine öğrenmesi optimizeri araştırırken parçacık fiziği makaleleri çıkıyor. Araştırmacılar bu adlandırma sorununun farkındalar ama yeni bir optimizer yayımlandığında 'orijinal' bir isim bulmak zor. Zaten kullanılan terimleri tekrar etmek istemiyorlar, ama çok teknik ve tanımlayıcı isimler de makaleyi sıkıcı hale getiriyor.

Bunun arkasında bir de akademik kültür var: 'dikkat çeken' bir isim makalenin hatırlanırlığını artırıyor. Teknik bir ad (örneğin 'Second Order Optimization Method v3') kadar dikkat çekmez. Yayın sayısı arttıkça bu 'branding' eğilimi güçleniyor., yeni bir optimizer bulduğunda adını Google'da arayacaksan, başına 'optimizer' ya da 'machine learning' ekle. Ya da direkt akademik veri tabanlarını (arXiv, Papers with Code) kullan, en azından orada ilgili çalışmalar bulursun.