TandemBench: Çok Ajantalı İşbirliğinde Karar Modellerini Test Etmek

Yapay zeka araştırmacıları, çok ajantalı işbirliğinde karar verme yeteneklerini ölçmek için TandemBench adlı yeni bir benchmark yayımladı. Sistem, 1.200 sorudan oluşan test setinde robotik aşçı senaryolarında takımların nasıl koordine edileceğini değerlendiriyor.

Benchmark'ın temel fikri basit: bir takım üyeleri işi nasıl bölebilir, kaynakları nasıl paylaşabilir ve paralel olarak nasıl hareket edebilir? Model, tam küresel bilgi ve hazır takım planlarıyla çalışıyor; referans cevaplar gerçek yürütme ve kesin arama yoluyla doğrulanıyor.

Araştırma 40 özel karar modeli ile 10 genel amaçlı dil modelini kıyasladı. En iyi özel model %62,50 doğruluk oranına ulaştı, bu da alanın hâlâ ne kadar gelişmeye ihtiyacı olduğunu gösteriyor. Önemli bulgu şu: modeller, sunulan seçenekler dışında daha iyi çözümlerin var olup olmadığını belirlemekte başarısız kalıyor. Bazı sistemler, gerçekten daha iyi bir alternatif olmasa bile var olduğunu rapor ediyor.

Bu sonuçlar, çok ajantalı robotik, lojistik ve oyun yapay zekasında karar modellerinin güvenilirliğine soru işareti koyuyor. Sistem, yalnızca seçilen planı uygulamakta değil, aynı zamanda diğer olasılıkları kritik olarak değerlendirmede zorlanıyor.