RTX 3090 Ti ile yerel AI modelleri hızlı çalıştırmak: DeepSeek ve Qwen örneği

Yerel olarak çalıştırdığın AI modellerinin hızı, donanımdan çok optimizasyon ve kuantizasyon tekniğine bağlı. Geçen aylar içinde çıkan yeni modeller ve araçlar sayesinde, orta seviye GPU'lar bile çok daha iyi sonuçlar veriyor.

Bir Threadripper 3990X (64 çekirdek), 128GB RAM ve RTX 3090 Ti (24GB VRAM) kombinasyonu ile DeepSeek-V4.1-Flash-1017 modelini saniyede 35 token, Qwen3.8-Flash-Next'i ise 130 token hızında çalıştırmak mümkün. Bu hız, aylardır benzer donanımla daha yavaş sonuçlar alan kullanıcılar için önemli bir ilerleme.

Anahtarlar şunlar: Modelleri uygun biçimde kuantize etmek (XQ, GSQ V2, FP4 KV gibi), NVMe üzerinde hızlı tabloları tutmak, ve doğru çıkarım yazılımı (llama.cpp, vLLM benzeri) seçmek. DeepSeek-V4.1-Flash örneğinde 552B parametreli Mixture of Experts mimarisi, 40 katman ve 384 expert/katman yapısına rağmen, sadece ~39B expert aktif olduğu için daha az bellek ve işlem gücü gerektirir.

Eğer kendi makinende yerel model çalıştırıyorsan ve hız sorun yaşıyorsan, önce kuantizasyon yöntemini ve NVMe tablosu yerleşimini gözden geçir. Aynı donanımla iki kat hız farkı görmek nadir değil. Başlangıç için IndrasMirror gibi topluluk depolarından test etmeye değer modelleri indir ve farklı kuantizasyon seçeneklerini dene.