Bilevel Optimisation: İçinde İçe Geçmiş Iki Optimizasyon Problemi

Çoğu optimizasyon problemi basittir: parametreleri seç, kaybı düşür, bitir. Ama bilevel optimisation (iki seviyeli optimizasyon) farklı çalışır. Dış problem bazı değişkenleri seçer, sonra iç problem geri kalanını o seçime bağlı olarak optimize eder. Dış amaç ancak iç problem çözüldükten sonra değerlendirilebilir.

Bu yapı sanıldığından çok daha sık karşımıza çıkıyor. Hiperparametre ayarlaması bilevel'dir: dış değişkenler hiperparametreler, iç değişkenler onlarla eğitilen model ağırlıklarıdır. Meta-learning de bilevel'dir: dış değişkenler paylaşılan bir başlangıç noktası veya öğrenme kuralı, iç problem ise yeni bir göreve hızlı uyarlamadır. Veri yeniden ağırlıklandırması, mimari arama ve gürültülü etiketleri temizleme yöntemlerinin bazıları da bilevel problemlerdir.

Her durumda iki seviyeyi bağımsız gibi davranmak sadece hantal değildir, yanlış gradyan verir. İç problemin çözümü dış değişkenlere bağlı olduğu için, dış gradyan basit backprop ile hesaplanamaz. Zincir kuralı iki seviyeyi birlikte ele almalıdır. Kaynakta bu formülasyon, gradyan hesaplamasının neden zorlaştığı ve pratik çözümlerin neler olduğu ayrıntılı anlatılıyor.

Bilevel optimizasyonu anlamak, meta-learning ve hiperparametre optimizasyonunda neden sezgisel yaklaşımlar başarısız olabileceğini açıklıyor. Eğer dış ve iç problemleri ayrı ayrı çözerseniz, bulduğunuz sonuç gerçek optimal noktaya yakın olmayabilir.