Makine Öğrenmesinde Gizli Desenler: Modaliteler Arası Teknik Benzerliği

Makine öğrenmesi araştırması yaptıkça fark ettiğin şey aslında doğru: NLP'deki maskeleme (MLM), bilgisayarlu görüde maskeleme (MAE), ses işlemede maskeleme, hepsi aynı prensibi farklı veri tipine uyguluyor. Tokenizasyon da öyle: metin için kelime/karakterler, görüntü için patch'ler, ses için spektral bölümler. Bu sadece isim değişikliği değil; modalitenin ötesinde çalışan bir tasarım felsefesi.

Temel olarak üç büyük patern var. Birinci grup veriyi ayrık birimler haline dönüştürmek: tokenizasyon, patchification, quantization. İkinci grup bölümleri gizlemek ve tahmin etmeyi öğrenmek: maskeleme, inpainting, next-token/frame prediction, diffusion (çünkü difüzyon da geri kalan parçaları tahmin eden bir çerçevedir). Üçüncü grup temsili sıkıştırmak ve yeniden yapılandırmak: autoencoder mimarisi, contrastive learning, clustering.

Bu paternleri gruplamak için araştırma topluluğu henüz resmi bir taksonomiye ulaşmamış; çoğunlukla 'self-supervised learning', 'representation learning' gibi geniş kategorilere güveniyor. Ama yazında gittikçe daha fazla kişi modalitenin ötesinde düşünmeye başladı. Transformer'lar, diffusion modelleri, flow-based modeller, bunların hepsi farklı modalitelerde başarılı çünkü temel mekanizması sağlam.

Bu bakış açısı sahip olmak araştırma kağıtlarını okurken çok faydalı. Bir NLP makalesindeki fikri görüntü işlemesine uyarlamak, ya da ses modellerinden video modellere geçmek daha kolay hale geliyor. Aslında bu tür 'cross-modal transfer' gittikçe daha yaygın hale geldi, başarılı bir metod bir yerde denenir, diğer yerde de işe yaradığı bulunur.