Gradient Descent'i Yavaşlatan Korelasyonlar Çözüldü

Derin öğrenme modellerini eğitirken kullandığımız gradient descent algoritmaları, veri içindeki korelasyonlardan dolayı verimini kaybediyor. Araştırmacılar bu sorunu çözmek için yeni bir yol buldu.

Doğal gradient descent ve türevi optimizatörler, gradyenti düzeltmek için veri ve gradyan sinyalindeki korelasyonları hesaba katıyor. Ancak bu işlem iki ayrı faktöre ayrılabiliyor: biri gradyan korelasyonlarını, diğeri veri korelasyonlarını ele alıyor.

Yeni yaklaşımda, veri korelasyonlarını düzeltmek için eğriliği değiştirmek yerine, temelde bir koordinat dönüşümü yapılıyor. Bu sayede optimizatörün içinden çıkarılıp doğrudan ağ mimarisine yerleştirilebiliyor.

Praktik olarak, ağırlıklar düzeltildikten sonra sağ taraflı doğal gradient descent üç eşdeğer şekilde uygulanabiliyor: bir gradyan ön işlemci olarak, ileri geçişte dekorelasyon yapan doğrusal bir dönüşüm olarak, ya da tekrarlayan dinamikler içeren bir yapı olarak.

Bu bulgu önemli çünkü eğitim sırasında korelasyonların neden olduğu yavaşlama doğrudan ağın tasarımında çözülebiliyor. Böylece optimizatör daha basit kalırken hesaplama maliyeti azalıyor ve yakınsama hızlanabiliyor.