PCA Neden Başarısız Olur: Dimensionalite İndirgeme Yanılgısı

Dimensionalite indirgeme, makine öğrenmesinde bir çözüm arayışı gibi sunuluyor. Veri bilimciler PCA'yı (Principal Component Analysis) sıklıkla ilk adım olarak görürler: boyutu azalt, hesaplama hızını artır, visualize et. Ama PCA çoğu zaman sorunu çözmekten ziyade maskelemiş olur.

PCA'nın temel sorunu, doğrusal dönüşüm yapması. Veri gerçek dünyada nadiren doğrusal bir yapıda dağılmıştır. Görüntü tanıma, metin analizi, zaman serisi verileri, bunların hepsi karmaşık, doğrusal olmayan ilişkiler içerir. PCA bu ilişkileri görmez. Bunun yerine sadece en yüksek varyansı olan yönleri seçer. Yüksek varyans = bilgi anlamına gelmez. Gürültü de yüksek varyans oluşturabilir.

Praktik bir örnek: Müşteri segmentasyonunda 50 özelliğin 2 bileşene indirgenmesi, harita üzerinde güzel görünür. Ama o 2 bileşen, orijinal verideki ayrımcı özellikleri kaybetmiş olabilir. Sonuç: model performansı düşer, ama kimse PCA'yı suçlamaz, "veri kalitesinin kötü olduğu" söylenir.

Daha da kötüsü, PCA'nın başarısızlığı sessiz. Hata vermiyor. Sadece daha az bilgiye sahip bir dataset sunuyor. Eğitim ve test setleri aynı şekilde etkilendiği için, model metrikleri yanıltıcı görünür.

Alternatifler var. t-SNE ve UMAP, doğrusal olmayan ilişkileri daha iyi yakalarlar. Otomatik kodlayıcılar (autoencoders), belirli görevler için öğrenebilir. Feature selection yöntemleri, varyans temelli veya model tabanlı, genellikle PCA'dan daha etkilidir. Hatta bazen en iyi seçenek, boyutu azaltmamaktır. Modern donanım ve dağıtılmış hesaplama, yüksek boyutlu verilerle çalışmayı uygun hale getirmiştir.

PCA'nın yeri vardır: EDA'da hızlı görselleştirme, çok yüksek boyutlu veri temizliği, spesifik istatistiksel testler. Ama varsayılan seçenek olmamalı. Veri kaybının gerçek maliyeti, hesaplama kazancından çok daha yüksek olabilir.