İnsan Kontrolü Kuyruğunu Doğru Tasarlamak

Makine öğrenmesi modeli eğittin, pilot test yaptın, sonuçlar güzel görünüyor. Ama gerçek dünyaya geçince ne oluyor? Düşük güvenlikli tahminler, şüpheli kararlar insan reviewerlarına gidiyor, ve eğer o kuyruk yavaş, karmaşık ya da bitmeyen bir çöplükse, insanlar güveni kaybeder, başını kaldırmadan onay vermeye başlar, ölçtüğün doğruluk sessizce ortadan kaybolur.

Slava Kotenev'in yazısında kuyruğu sağlam tutmanın yolu açık: önce nelerin gideceğini net tanımla, sonra iş yükünü hesapla.

Kuyruğa iki tür şey girmeli. Birincisi: modelin güven puanı belirlediğin eşiğin altında kalanlar. Örneğin bilet sınıflandırma demosunda yaklaşık %24'ü bu kategoriye düşüyor, bu şaşkınlık değil, tasarım girdisi. İkincisi: güven puanı ne olursa olsun mutlaka kontrol edilmesi gereken kurallar. Belirli tutarın üstü, başarısız checksum, hassas müşteri flagı gibi. İkisini kayıtta ayrı tutmak önemli; sonradan farklı çözümler gerekecek.

Asıl kritik nokta iş yükü hesabı. Kuyruk bir iş, o yüzden inşa etmeden önce aritmetik yap: (günlük_item × inceleme_oranı × dakika_per_item) / 60 = reviewer_saati_günde. Eğer bu sayı elinde olan insan sayısından büyükse, ya modeli iyileştirerek inceleme oranını düşür, ya reviewer ekle, ya da eşiği yükselt. Hesapı yanlış yapıp kuyruğu tasarlarsan, sistem hızlı çöker ve güven biter.

Review queue sadece teknik bir boru değil; insan faktörünü doğru tasarlamayan sistem, en iyi modeli bile kötü sonuca götürür.