Seyrek Dikkat: 10 Milyon Token'e Kadar Bağlam, Daha Az Kaynak

Büyük dil modelleri için bağlam penceresi arttıkça hesaplama maliyeti katlanarak yükseliyor. Dikkat mekanizması (attention) her token'in diğer tüm token'lerle ilişkisini hesapladığı için, 10 milyon token'e kadar uzun bağlamlar pratik olmaktan çıkıyor. Yeni bir açık kaynak araştırması bu soruna seyrek dikkat (sparse attention) ile yaklaşıyor.

Yöntem, Qwen 3.8 27B modelinde dikkat katmanlarını seyreltirken doğruluk kaybını gözlemlenmiyor. Yani modelin performansı korunuyor ama hesaplama hızlanıyor. Araştırma ekibi bunu hem yerel donanımda hem de H200/B300 gibi güçlü GPU'larda test etmiş.

İlginç bulgu: 10 milyon token'e çıktığında bazı görevlerde (örneğin matematiksel işlemler) doğruluk düşüyor, ancak NIAH (Needle in a Haystack, iğneyi samanlıkta bulma testi) gibi bağlam hatırlama görevleri hâlâ iyi çalışıyor. Bu da demek oluyor ki seyrek dikkat, bağlamda saklı bilgiyi bulma konusunda etkili kalıyor.

En önemli kısım: seyrek dikkat, yalnızca sonraki token tahmin kaybı (next-token prediction) ile doğrudan eğitilebiliyor. Özel teknikler olmadan, normal eğitim süreci seyrek modeli tam dikkat kadar iyi bir doğrulama kaybına ulaştırıyor, ama daha hızlı. Çekirdekler (kernels), SGLang entegrasyonu ve tüm detaylar açık kaynak olarak paylaşılmış.

Bunun pratik anlamı: açık ağırlıklı küçük modellerde (7B, 13B) uzun bağlam, yerel makinelerde maliyetli olmaktan çıkıyor. Belgeler, kod analizi, uzun sohbetler, seyrek dikkat ile hızlı hale geliyor.