RankLane: Büyük Dil Modellerinde Hızlı Uzman Yönlendirmesi

Mixture-of-Experts (MoE) mimarisi dil modellerinin kapasitesini artırıyor ama bir sorunu var: her token için hangi uzman(lar)ın çalışacağı önceden belli değil. Accelerator cihazlarda (GPU, TPU) bu belirsizlik, sabit kapasite tahsisinde boşa harcanan işlem ve taşma sorunlarına yol açıyor.

RankLane adlı yeni yaklaşım bu sorunu çözmek için her cihazın uzmanlarını o anki yüklerine göre sıralıyor ve bunları sabit kapasiteli "lane"lere atıyor. Böylece runtime'da token yönlendirmesi yapılırken cihaz yerleşimi ve tier yapısı değişmiyor. Sistem aynı zamanda aggregation graph kullanarak her token'ın lokal katkısını tek bir core'da topluyor.

Qwen3-30B ve Gemma 4 26B gibi büyük modellerde test edilen RankLane, 128 ile 2048 token arasındaki chunk boyutlarında Cloud AI 100 Ultra SoC'lerde çalışıyor. MXFP6 ağırlıklar kullanılan deneyler, prefill aşamasında önemli hız kazancı gösteriyor. Taşan token'lar tam kapasitede yeniden işleniyor, bu da hiçbir veri kaybı olmadan verimlilik sağlıyor.

Bu araştırma, özellikle çok büyük modellerin inference hızını artırmak isteyen kişilerin ve kuruluşların dikkatini çekebilir. MoE modellerinin pratik kullanımında karşılaşılan performans darboğazlarının çözülmesi, dil modelleri üzerinde çalışan geliştirici ve araştırmacılar için değerli bir adım.