CARTBench: LLM Alışveriş Asistanlarını Değerlendirmek İçin Yeni Bir Kıyaslama

Büyük dil modelleri (LLM) artık çok turlu konuşmalarda ürün tavsiyesi veriyor, ancak bu önerilerin kalitesini değerlendirmek hâlâ zor. Veri yetersizliği ve standart kriterlerin olmaması, güvenilir bir ölçüm sistemini engelliyordu.

ArXiv'de yayımlanan CARTBench, bu soruna çözüm getiriyor. Araştırmacılar 17 farklı perakende sektöründen gerçek ticari alışveriş ihtiyaçlarını topladı ve 1.603 ürün kaydıyla zaman damgalı diyaloglar oluşturdu. Böylece veri eksikliğini giderdiler.

Standartlaştırma konusunda ise "Ideal Yanıt İlkeleri" geliştirdiler. Başarıyla tamamlanan siparişlerden seçilen mükemmel cevaplar analiz edilerek bu ilkeler belirlenmiş. Sonra bu ilkeler, yapılandırılmış bir tahmin stratejisi olan "İlke Rehberli CART Tavsiyesi"ne entegre edildi.

Benchmark 1.328 uzman tarafından açıklanmış kriteri içeriyor; Temel, Mükemmellik ve Güvenlik kategorilerine ayrılmış. GPT-6.1-Sol dahil olmak üzere 7 ticari API modeli test edildi.

Bu çalışma, alışveriş asistanlarının karmaşık ve belirsiz talepleri (zaman çizelgeleriyle birlikte) nasıl ele aldığını objektif biçimde ölçmek için bir temel sağlıyor. Geliştirici ve araştırmacılar için, LLM ürün önerilerinin kalitesini tutarlı bir şekilde değerlendirmek artık mümkün hale geldi.