Veri Bilimciler Neden İstatistik Öğrenmiyor: Pratik Sonuçlar Yeterli mi

Bir veri bilimci XGBoost modelini tunelar, Kaggle'da altın madalya alır, sonra üretim ortamında model çöker. Neden? Çünkü istatistik bilmiyor.

Bu sadece dramatik bir senaryo değil. Sektörde yaşanan gerçek. Günümüzün veri bilimcileri çoğu zaman istatistiksel temel olmadan işe başlıyor. Sklearn, TensorFlow ve hızlı sonuçlar yeterli görünüyor, ta ki değil olana kadar.

Veri bilimi hızlı sonuç beklentisiyle gelişti. Bir hafta içinde model, iki haftada deploy. Bu baskı altında istatistik "lüks" haline geldi. Neden p-değerini öğreneyim ki, modelin doğruluk oranı %92 gösteriyor?

Ama burada kritik bir yanılgı var: doğruluk oranı, o veri setinde neyi başardığını gösterir. İstatistik, dışarıdaki dünyada ne olacağını söyler. Hiperparametre tuning ile %92'ye çıkan model, farklı bir dağılımda %45'e düşebilir. Bunu önceden bilebilmek için istatistik lazım.

Bir modelin eğitim setinde mükemmel performans göstermesi, aşırı uyum (overfitting) anlamına gelebilir. Ama overfitting'i istatistiksel kavramlar olmadan teşhis etmek zor. Cross-validation yaptığını düşünüyorsun ama fold sayısı yanlış, stratifikasyon eksik, istatistik bilmezsen bunu göremezsin.

Bayes teoremi, normal dağılım, güven aralıkları, bunlar sadece akademik kavramlar değil. Bunlar kararları düzeltme aletleri. Bir model %95 doğruluk gösteriyor ama güven aralığı %70-%98 arasında dalgalanıyorsa, bu model güvenilir değil. İstatistik olmadan bunu anlayamazsın.

Bankaların kredi modeli istatistik bilmeyen biri tarafından yazıldı diyelim. Eğitim setinde mükemmel çalışıyor. Ama test setinde belirli bir yaş grubuna karşı önyargılı davranıyor, bu, verinin kendisindeki bias'ı yansıtıyor. İstatistik bilseydi, bu bias'ı tespit edebilirdi. Şimdi banka dava yüzüyle karşı karşıya.

Veya bir e-ticaret sitesi, tavsiye modelinin "başarılı" olduğunu düşünüyor. Ama istatistiksel olarak, model sadece en popüler ürünleri tavsiye ediyor, yani hiç model değil. Pratik sonuç aldatıcı.

Veri bilimi, üretim ortamında hata pahasına olamayacak kadar önemli hale geldi. Doktor yardımcısı modeli, yanlış tanı koyarsa? Sürüş otonom sistemi, istatistiksel olarak anlamlı olmayan bir sinyal algılarsa?

İstatistik, modelin ne zaman güvenilir olmadığını söyler. Pratik sonuçlar sadece ne yaptığını söyler.

Veri bilimcilerin istatistik öğrenmemesi, kısa vadede rekabet avantajı gibi görünüyor. Uzun vadede ise sistemik bir zayıflık. Pratik sonuçlar yeterli değil, çünkü sonuç, modelin doğru olduğu anlamına gelmez, sadece o veri setinde çalıştığı anlamına gelir. İstatistik, farkı yapar.