AutoDAgger: Öğrenci Modelleri İnsan Müdahalesi Olmadan Eğitmek

Büyük yapay zeka modellerini mobil cihazlara veya kenar cihazlarına taşımak uzun süredir bir zorluk. Davranış klonlaması (behavior cloning) işe yarıyor ama statik veriye bağlı kalıyor; çevreyle etkileşim sırasında öğrenci model sapıyor ve hiç kimse onu düzeltmiyor. AutoDAgger, bu sorunu çözmek için öğretmen modelini doğrudan öğrencinin eğitim döngüsüne yerleştiriyor.

Yöntem basit ama etkili: öğrenci modeli ortamda hareket ederken, öğretmen modeli arka planda izliyor. Öğrenci yanlış bir hamle yaptığında, öğretmen hemen düzeltici davranışı gösteriyor ve bu veriler anında eğitim setine ekleniyor. Böylece ayrı bir veri toplama aşaması ortadan kalkıyor. Eski yöntemler (HG-DAgger gibi) bir insanın ekranda oturup "şu an yanlış yapıyor, dur" demesini gerektiriyordu. AutoDAgger bunu otomatik bir ödül modeli ile yapıyor ve veri toplama hızını 2 kattan fazla artırıyor.

Pratik açıdan bakınca, bu demek oluyor ki daha az veriyle daha iyi sonuç alabiliyorsun. Bir öğretmen modelinin bilgisini küçük bir öğrenci modeline aktarırken, insan müdahalesinin maliyeti ve zahmetini ortadan kaldırıyorsun. Kenar cihazlarda çalışacak, hızlı ve doğru modeller eğitmek artık daha gerçekçi hale geliyor.