Yerel LLM'lerde Kalitenin Ölçüsü: Tok/s Çılgınlığından Kurtulmanın Zamanı

Yerel dil modelleri (LLM) dünyasında bir çöküş yaşanıyor. Her gün yüzlerce mesaj, belirli bir modelin kaç token/saniye (tok/s) işlediğinden bahsediyor. Oysa bu sayılar, gerçekten önemli olan şeyi tamamen gözden kaçırıyor: modelin ne kadar iyi cevap verdiği.

Reddit'in r/LocalLLaMA topluluğunda birisi bu sorunu açıkça ortaya koydu. Hız ölçümü obsesyonu, kalite değerlendirmesini arka plana itmiş durumda. Özellikle kuantizasyon (modellerin daha küçük dosya boyutunda tutulması) gibi kritik konularda, farklı sürümlerin gerçek performansını karşılaştıran kimse yok. Herkes sadece sayılara bakıyor.

Çözüm basit ama etkili: kendi özel benchmark testlerini yap, sonuçları harita/grafik olarak paylaş. Hiçbir resmi standart gerekmiyor. Bir modelle çalış, çeşitli görevlerde test et, kuantizasyon seviyelerini kıyasla, bulduklarını görselle sunarak toplulukla paylaş. Başkaları da kendi testlerini yapıp sonuçları karşılaştırsın.

Bu yaklaşımın güzelliği, merkezi olmayan yapısında yatıyor. Hugging Face'teki açık ağırlıklı LLM'ler etrafında oluşan "benchmark maksimizasyonu" tuzağından kaçılır. Gerçek dünya kullanımında neyin işe yaradığını, gerçek insanlar ortaya koymaya başlar. Hız değil, kalite konuşulur.

Yerel model çalışanlar, bu tür bir devrime ihtiyaç duyuyor. Tok/s sayıları beynini çürütüyorsa, kendi standartlarını yarat ve başkalarına ilham ver.