DeepSeek-V4.1-Flash 12GB'de Sansürsüz Çalışıyor

DeepSeek-V4.1-Flash modeli artık 12GB VRAM'li grafik kartlarda sansürsüz olarak çalıştırılabiliyor. Araştırmacılar ISTA-DASLab'ın GSQ-RCO kuantizasyonlarını temel alarak modelin reddedişlerini neredeyse tamamen kaldırdılar.

Yapılan değişiklik hedefli: 82 yoğun tensör (attention output, shared expert down projection ve Engram value projection) değiştirildi. Geri kalan 384 routed expert katmanı orijinal haliyle korundu, yani ISTA'nın kuantizasyon hassasiyeti bozulmadı. Dosya yapısı aynı kaldığından Engram dosyasını değiştirmeye gerek yok, sadece şardları takas edip kullanmaya başlayabilirsin.

Benchmark sonuçları etkileyici. JailbreakBench testinde stok model %85, 88 aralığında reddetme oranı gösterirken, yeni versiyon %0'a indi. Düşüncü modda da refusal sayısı 27'den 0, 2'ye geriledi (30 test üzerinden). MMLU-500'de performans %80, 82 aralığında kaldı, GPQA-Diamond ve AIME25'te de orijinal model kadar iyi sonuç verdi.

Üç kuantizasyon boyutu sunuluyor: IQ1_M (121 GB), IQ2_XXS (138 GB) ve IQ2_XS (155 GB). Tümü 64GB RAM ve SSD üzerinden Strata Engine ile çalışıyor. Yani orta düzey donanımda bile açık ağırlık modeli lokal olarak kullanabiliyorsun.

Bu, açık kaynak yapay zeka topluluğu için önemli bir adım. Sansürleme katmanlarının model performansını etkilemeden çıkarılabileceğini gösteriyor ve daha fazla araştırmacının büyük dil modellerini kendi kontrolleri altında çalıştırmasının yolunu açıyor.