Dil Modellerine Gömülü Araç Modülleri: Hızlı Hesaplama için Yeni Yaklaşım

Dil modelleri harici araçları çağırdığında, hesaplama kısa da olsa ek kod çözme adımları gerekir. Bir araştırma bu sorunu farklı bir yolla çözüyor: modeli içinde çalışan küçük bir sinir ağı modülü.

Yöntem şu şekilde işliyor. Bir "writer" ağı, modelin gizli durumlarını sembolik bir "tape" (kısa ayrık sembol dizisi) haline dönüştürüyor. Bu tape, yapılacak hesaplamayı kodluyor. Modül, ayrı eğitilip dondurulduktan sonra, tape'i sonuca indirgiyor. Bir "reader" ağı ise bu sonucu modele geri döndürüyor. Tüm işlem forward pass içinde gerçekleşiyor, hiç kod çözme gecikmesi yok.

Gemma 3.1B modelinde test ettiklerinde, etiketli tape'lerle eğitilen writer, BIG-Bench Hard'ın nesne izleme görevinin 750 sorusunun hepsini doğru cevapladı. Yedi kişi için GPU çekirdeği zamanında, metin aracı kullanan taban modele kıyasla yaklaşık 1/10'ü gerekti. Doğruluk %100'e karşı %99 idi.

İlginç bir bulgu da şu: writer, sadece cevaplardan, elle yazılmış bir kopyalama ipucunun rehberliğinde öğrenilebiliyor. Ancak bu yöntem daha az güvenilir; 1B modelinde 6 denemeden 5'i başarılı oluyor.

Bu yaklaşım, hesaplama maliyeti yüksek araçları kullanmak isteyen ancak hız gerektiren uygulamalar için pratik bir çözüm sunuyor.