Yapay Zeka Modellerini Birleştirmenin Yeni Yolu: LHM Tekniği

Araştırmacılar, uzun zincir-of-thought modellerinin güçlü akıl yürütme kabiliyetini kısa ve hızlı modellerin basitliğiyle birleştirmenin yeni bir yolunu geliştirdi. Sorun şu: mevcut yöntemler doğrusal enterpolasyon kullanarak iki modeli basitçe karıştırıyor, ama bu, zor problemlerde doğruluğu düşürüyor.

Yeni teknik Low-Rank Hierarchical Merging (LHM) adı taşıyor ve eğitim gerektirmiyor. Temel fikir, modellerin katmanlarının ne kadar "hassas" olduğunu ölçmek. Hessian matrisleri (matematiksel bir araç) kullanarak, hangi katmanların birleştirme sırasında dikkatli ele alınması gerektiğini belirliyor.

LHM üç adımda çalışıyor: Önce, her katmanda parametre değişikliklerine karşı duyarlılığı hesaplıyor. İkinci olarak, bu bilgiyi bir "hassasiyet indeksi" haline getiriyor. Son olarak, hangi modelin hangi kısımlarını kullanacağını akıllıca karar veriyor.

Praktik açıdan bu ne anlama geliyor? Daha hızlı cevap veren modeller, uzun ve düşünceli yanıtlar veren modellerle karşılaştırılabilir hale geliyor. Aynı zamanda görev için özel veri toplamanız gerekmiyor; rasgele girdilerle çalışıyor.

ArXiv'de yayımlanan bu çalışma, yapay zeka modellerini daha verimli hale getirmenin bir yolunu gösteriyor. Özellikle, sınırlı hesaplama kaynağıyla güçlü modeller çalıştırmak isteyen geliştirici ve araştırmacılar için ilginç olabilir.