Özel Inference Engine'ler Gerçekten Hızlı mı? Strata Testi Sonuçları

Yerel büyük dil modelleri çalıştıran birçok kişi alternatif inference engine'lerinin performans mucizelerine inanıyor. Strata da bu söylentilerin başında geliyor. Dual R9700 kartı üzerinde Qwen Next Flash ile test yaptığımda, iddiaların çoğunun abartı veya çok spesifik durumlar için geçerli olduğunu gördüm.

Hedefim Qwen 3.8 27B Q8 seviyesi kalite elde etmekti, ama daha geniş bağlam penceresi (idealde 1M token) istiyordum. llama.cpp'de Next Flash Q2'yi zaten kullanıyordum, sohbet için yeterli ama kod yazısı zayıftı. Q4 çalışırdı ama çok yavaştı. Strata'nın bu modelle iyi sonuçlar verdiğini okumuştum, ikisi de yeterince eski ve kararlı görünüyordu.

Praktik test hayal kırıcı oldu. İki kart artı expert modülleri RAM'e kaydırdığımda, ne ayar yaparsam yapayım uzun görevlerde takılıyor. Sadece tüm expertler VRAM'e sığdığında stabil çalışıyor, 64 GB'ta bu 3-bit nicemleştirme anlamına geliyor. Kağıt üzerinde hız etkileyici: ~60 token/s vs llama.cpp'nin hızı. Ama HumanEval+ testinde 3-bit Qwen Next Flash %93.9 skorladı; llama.cpp'deki Q8 Qwen 3.8-27B %95.1 yaptı. Ve aynı sonuca ulaşmak için neredeyse iki katı token harcadı.

Sonuç: Çoğu alternatif engine yazısı ya hype ya da çok dar durumlar için geçerli. Gerçek dünyada llama.cpp'nin kararlılığı ve kalitesi henüz rekabetçi değil. Hız artışı kalite kaybıyla geliyorsa, proje için çoğu zaman işe yaramıyor.