Qwen 3.8 Flash: Yerel AI'da Windows'u Geride Bırakmak

Qwen 3.8 Flash NVFP4, özellikle Linux tabanlı bir kurulumla çalıştırıldığında ciddi performans kazancı sunuyor. Bir kullanıcı 64GB RAM ve RTX 5090 kombinasyonuyla Windows 11'den Linux'a geçtikten sonra prefill hızını 9000 token/saniyeye kadar çıkartmayı başardı.

Sorun basit: Windows 11 yaklaşık 1.5GB VRAM ve 6GB sistem RAM'i sistem tarafından alıyor. Bu da kalan belleği sınırlandırıyor ve model çıkarımı sırasında CPU'ya taşması gerekiyor. decode ve prefill hızı yüzde 70 düşüyor. Linux, özellikle Cachy gibi hafif dağıtımlar kullanıldığında, bu sistem yükünü en aza indiriyor ve modelin tam bellek potansiyeline erişmesini sağlıyor.

Qwen 3.8 Flash'ın kalitesi de dikkat çekici. Qwen 27B'den daha iyi performans gösteriyor ve Ninfer ile Dense 27B modellerle karşılaştırıldığında 2-3x prefill hızı kazancı sağlıyor. Bonus olarak, vision adaptörü uygulanabiliyor; bu da kodlama görevlerinde ve görsel analiz gerektiren senaryolarda faydalı oluyor.

Qwen 4 model ailesine karşı artan heyecan, bu hızlı iterasyon döngüsünün bir sonucu. Yerel çalıştırma (local LLM) dünyasında Strata ve onun özelleştirilmiş versiyonları artık ciddi bir seçenek haline geldi. Eğer sen de yüksek-kapasiteli donanım sahibiysen ve Windows'un sistem yükünden şikâyetçiysen, Linux tabanlı bir kurulum deneye değer.