Spark-X2.6-4B için DSpark: 2x Hızlı Çıkarım

Spark-X2.6-4B için DSpark yayınlandı ve sonuçlar etkileyici: NVIDIA RTX 4090'da llama.cpp ile 2.14x, Apple M5 Pro'da MLX ile 2.50x hızlanma sağlıyor.

DSpark, 624M parametreli bir BF16 draft modelidir. Speculative decoding denen tekniği kullanarak çalışır: draft model her geçişte 7 tokene kadar önerir, hedef model (Spark-X2.6-4B) bunları paralel olarak doğrular. Böylece sıralı adım sayısı azalır, çıkarım hızlanır.

Benchmark sonuçlarına bakılırsa, BF16 formatında RTX 4090'da 95 tok/s'den 203 tok/s'ye çıkıyor. M5 Pro'da ise benzer oranla yükseliş görülüyor. Modeller Hugging Face ve ModelScope'ta indirilebilir halde; DSpark, GGUF formatında sunuluyor ve Spark-X2.6-4B-GGUF ile birlikte kullanılmak üzere tasarlanmış.

Dikkat et: DSpark tek başına bir sohbet modeli değil, sadece draft olarak görev yapıyor. Hedef modelle kombinasyon gerekli. Eğer llama.cpp veya MLX ile lokal çıkarım yapıyorsan ve hız önemliyse, bu draft modeli denemeye değer. Özellikle mobil cihazlarda (M5 Pro gibi) 2.5x iyileşme, gerçek zamanlı uygulamalar için ciddi bir fark yaratır.