Hız Rekorları Gerçekten Anlamlı mı? LLM Topluluğunun Sorunu

Açık kaynak dil modelleri (LLM) topluluğunda son zamanlarda bir trend gözleniyor: neredeyse her gün birisi 300 token/saniye, 500 token/saniye gibi hız rekorları duyuruyor. Ancak bu haberler ne kadar güvenilir?

Sorun şurada başlıyor. Birçok hız iddiası, spesifik ve sınırlayıcı koşullar altında yapılıyor. Örneğin, modeli agresif şekilde quantize etmek (Q1_XXXS gibi), greedy decoding kullanmak, bellek sınırlaması nedeniyle uzman katmanları (mixture of experts) atlamak, bu durumda evet, hız çıkıyor. Ama bu, gerçek dünyada modelin ne kadar iyi çalıştığını göstermüyor.

Asıl mesele, bu rekorların çoğunun standart bir benchmark sonucu olmayışı. KLD (Kullback-Leibler divergence) gibi kalite metriklerinin rapor edilmemesi, farklı ayarlarla yapılan testlerin karşılaştırılamaması demek. Birisi 5GB RAM'de çalışan bir sistem için hız rapor ediyor, diğeri 24GB'de, hangisi daha hızlı? Bilemiyorsun, çünkü ölçütler tutarsız.

Bu durum, topluluğun dikkatini gereksiz yere dağıtıyor. Gerçekten değerli olan çalışmalar, model mimarisi geliştirmeleri, verimli inference yöntemleri, doğru benchmark sonuçları, bu gürültü içinde kaybolup gidiyor. Bir hız rekoru haberi, aslında anlamlı bir araştırmanın yanında hiçbir şey değil.

Eğer hız paylaşacaksan, ortamını, ayarlarını, karşılaştırma metriğini açıkça belirt. Aksi halde, sadece başlık avı oluyor.