Eski Balık Sayma Yöntemi Yapay Zeka Ajanlarının Başarısını Ölçüyor

Yapay zeka ajanlarının ne kadar başarılı olduğunu ölçmek zor bir iş. Özellikle sözleşme analizi gibi karmaşık görevlerde, ajanın kaçırdığı detayları bilmek neredeyse imkansız. tam burada 1890'lardan kalma bir balıkçılık istatistik yöntemi devreye giriyor.

Capture-recapture (yakalama-yeniden yakalama) yöntemi, balıkçıların bir gölde kaç balık olduğunu tahmin etmek için geliştirmiş bir teknik. Balıkları işaretleyip suya geri atıyorlardı, sonra tekrar ağ atıp kaç işaretli balık çıktığına bakıyorlardı. Bu oranla toplam balık sayısını tahmin ediyorlardı.

Bir araştırma, bu 130 yıllık yöntemi yapay zeka ajanlarına uyguladı. 294 CUAD sözleşmesinde test ettiler. Sonuç? Ajanın gerçek başarı oranından ortalama 2 puan fark ile tahmin yapabilmiş. Sadece yüzde 10 oranında manuel denetim yeterli olmuş.

Pratik olarak bu ne demek? Bir yapay zeka ajanı 1000 sözleşmeden 850'sinde doğru analiz yaptıysa, tüm sözleşmeleri manuel kontrol etmek yerine sadece 100'ünü kontrol edip bu eski yöntemi kullanarak gerçek başarı oranını hesaplayabiliyorsunuz. Maliyeti yüzde 90 düşürüyor.

Yakalama-yeniden yakalama yöntemi, ajanın ne kadar iyi çalıştığını hızlı ve ucuz bir şekilde ölçüyor. Özellikle büyük ölçekli denetim yapması gereken şirketler için bu çok değerli.