A/B Test Sonuçlarını Yanlış Yorumlamanın İstatistiksel Nedenleri

A/B testler basit görünür ama sonuçları doğru yorumlamak çoğu veri bilimcinin düştüğü bir tuzaktır. Sorun genelde istatistik bilgisi eksikliğinde değil, kavramları hızlı uygulamaya geçirirken göz ardı etme alışkanlığında yatıyor.

En yaygın hata p-value'yu yanlış anlamaktır. Bir A/B testte p=0.05 çıkması "A ve B arasında %95 olasılıkla fark vardır" anlamına gelmez. Doğru yorumu şudur: "Eğer gerçekte fark yoksa, bu kadar uç bir sonuç görme olasılığı %5'tir." İki farklı şey. İlki Bayesian düşünüş (posterior olasılık), ikincisi Frequentist istatistiğin tanımı. Veri bilimciler sıkça ilkini söyler, ama test ikincisine göre tasarlanmıştır.

İkinci sorun örneklem büyüklüğünü göz ardı etmektir. Bir e-ticaret sitesinde 100 ziyaretçiyle test yapıp %3 dönüşüm farkı bulduğunuzda, bu fark istatistiksel olarak anlamlı olmayabilir. Güç analizi (power analysis) yapılmadan test başlatılırsa, yanlış sonuçlara ulaşmak kaçınılmazdır. Birçok veri bilimci testin ortasında sonuçları kontrol eder ve "yeterli" gördüğünde durdurur, bu ise p-value'yu şişirir ve yanlış pozitif oranını artırır.

Üçüncü hata, çoklu karşılaştırma sorunu (multiple comparisons problem) göz ardı etmektir. On farklı metrik üzerinde test yapıp birinde p<0.05 bulduğunuzda, şans eseri bu sonucu almış olabilirsiniz. Her ek karşılaştırma yanlış pozitif riskini artırır. Bonferroni düzeltmesi veya false discovery rate (FDR) kontrol etme adımı atlanırsa, kesinlikle hata yaparsınız.

Dördüncü sorun: güven aralığını (confidence interval) görmezden gelmek. p-value sadece bir sayı, ama güven aralığı etkinin büyüklüğü hakkında bilgi verir. Bir testte p=0.04 çıksa bile, güven aralığı [-0.1, 0.5] ise, yani negatif de olabilir, o fark uygulamada önemsiz olabilir.

Bu hatalardan kaçınmak için testten önce örneklem büyüklüğünü hesaplayın, beklenen etki büyüklüğünü belirleyin ve güç hedefini (genellikle %80) seçin. Sonuçları rapor ederken p-value yanında güven aralığını da gösterin. Çoklu testler yapıyorsanız düzeltme uygulayın. Test süresi boyunca ara kontroller yapmayın ya da yaparsanız Sequential Analysis kullanın.

Veri bilimi ekipleri acele eder, sonuçları hızlı sunmak ister. Ama A/B testin temel istatistiksel ilkelerine uymayan bir sonuç, hızlı ama yanlış bir kararı beraberinde getirir. Doğru yorum, doğru eylem demektir.