Yapay Zeka Modellerini İç Temsillerine Göre Şekillendirmek

Araştırmacılar yapay zeka modellerinin nasıl karar aldığını anlamak ve kontrol etmek için yeni bir yöntem geliştirdi: Mechanistic Shaping. Bu teknik, modellerin eğitimi sırasında uygulanıyor ve modelin hangi kavramları kullandığını, hangi bilgilere dayanarak kararlar aldığını şekillendiriyor.

Yöntem iki seviyede çalışıyor. Birincisi, modelin çıktısını kontrol etmek, örneğin zararlı içerik üretmemesini sağlamak. İkincisi, modelin iç mantığını yönlendirmek, mesela bir özgeçmiş değerlendirirken adayın cinsiyetini kullanmamasını garantilemek. Böylece model doğru sonuç veriyor ama "doğru nedenlerden" doğru sonuca varıyor.

ArXiv'e yüklenen çalışmada, teknik görüntü işleme, tıbbi görüntüleme ve doğal dil işleme alanlarında test edildi. 32 milyar parametreye kadar ölçeklenen modellerde, Mechanistic Shaping hedeflenen davranışları önemli ölçüde azaltırken görev performansını korudu. Sınıflandırma, ince ayarlama (SFT), tercih optimizasyonu (DPO) ve grup ödül optimizasyonu (GRPO) gibi farklı eğitim yöntemleriyle çalışıyor.

Araştırmanın ilginç yanı, eğitim sırasında bir kavramı değiştirmenin, o kavramı izlemeyi de zorlaştırabileceğini keşfetmesi. Ekip bu sorunu çözmek için monitörlerin bir hiyerarşisini tanıttı. Bu, gelecekte modellerimizin neden ne yaptığını daha iyi anlamamıza ve kontrol etmemize yardımcı olabilir.