Büyük Dil Modellerinde Uzman Ağları Nasıl Korunur?

Büyük dil modelleri (LLM) eğitilirken sık sık "uzman ağlar" (mixture of experts) kullanılıyor. Bu yapı, modelin farklı görevler için farklı sinir ağı bölümlerini aktive etmesini sağlıyor. Ama bu sistemler çok ağır ve maliyetli.

Amazon'un araştırma ekibi, bu uzman ağları daha hafif hale getirmek için yeni bir budama (pruning) tekniği geliştirdi. Klasik budama yöntemlerinin aksine, bu yaklaşım uzmanlar arasındaki bağlantıları koruyarak çalışıyor. Yani model hangi uzmanların birlikte çalıştığını hatırlamaya devam ediyor.

Sonuç? Model boyutu azalıyor, hız artıyor, ama performans neredeyse hiç düşmüyor. Özellikle orta ölçekli LLM'ler için bu çok önemli çünkü mobil cihazlarda veya sınırlı kaynakları olan ortamlarda çalışabilir hale geliyorlar.

Praktik anlamda bu, daha ucuz sunucularda daha güçlü modeller çalıştırabileceğimiz anlamına geliyor. Startup'lar ve küçük şirketler için büyük bir fırsat. Ayrıca enerji tüketimi de önemli ölçüde azalıyor.