İki Katmanlı ReLU Ağları Ayrılmış Sınıfları Ayırabiliyor

Makine öğrenmesinde sınıflandırma problemleri genellikle verileri doğru şekilde ayırmaya dayanır. Destek vektör makineleri (SVM) doğrusal olarak ayrılabilir veriler için etkili olsa da, gerçek dünya verileri çoğu zaman karmaşık, doğrusal olmayan sınırlar gerektirir.

Yeni bir arXiv çalışması bu soruna ilginç bir bakış açısı getiriyor. Araştırıcılar, zorunlu olarak dışbükey olmayan veya doğrusal olarak ayrılamayan iki sınıfın, sonlu ReLU ağları kullanılarak pozitif marjinle ayrılabilme koşullarını inceliyor.

Temel bulgu şu: Pozitif marjinle ayrılma, her sınıfın sonlu kapalı dışbükey hücreler birleşimi olarak temsil edilebilmesiyle eşdeğer. Önemli kısım, bu ayırma işi için tam olarak iki gizli katman yeterli olması. Bu, derin ağların gereksiz yere karmaşık olmayabileceğini, basit mimarilerin bile güçlü olabileceğini gösteriyor.

Random ReLU özellikleri için ise, her sınıf kapalı dışbükey hücreler kümesi olarak temsil edildiğinde, rastgele ağlar da benzer ayrılma başarabilir. Bu, hesaplaması daha ucuz olan random feature yöntemlerinin teorik geçerliliğini ortaya koyuyor.

Praktik açıdan bakıldığında, bu sonuçlar sınıflandırma problemlerinde ağ mimarisi tasarımını basitleştirebilir. Araştırma, neden iki katmanlı ağların çoğu görevde yeterli olduğuna dair matematiksel bir açıklama sağlıyor.