Ses Duygusunu Anlamada Metin-Ses Uyuşmazlığının Etkisi

Ses tabanlı büyük dil modelleri (LLM) hem söylenen sözcükleri hem de bunların söylenme biçimini işler. Ama bu iki kanal her zaman uyum içinde değildir. Birinin pozitif, diğerinin negatif sinyal vermesi mümkündür. Yeni bir araştırma, bu tür uyuşmazlıkların duygu tanıma başarısını ne kadar düşürdüğünü inceliyor.

Çalışma, metin ve ses verilerini ortak bir valans-uyarılma-baskınlık (valence-arousal-dominance) uzayına yerleştirerek, aralarındaki mesafeyi "incongruence" (uyuşmazlık) puanına dönüştürüyor. Gaussian karışım modeli kullanılarak bu skor, insan yargısıyla doğrulanıyor. Araştırmacılar üç farklı ses-uyumlu yapay zeka modelini oyuncu tarafından oynanan, konuşmacılar arası ve spontan konuşma veri setleri üzerinde test ediyor (eNTERFACE'05, MELD, CMU-MOSEI).

Bulgu ilginç: Aynı model her veri seti ve türü için tutarlı sonuç veriyor. Uyuşmazlık arttıkça, ses kanalı mevcut olduğunda hata olasılığı yükseliyor. Kontrol değişkenleri (gerçek duygu, öznitelik uzayındaki mesafe) hesaba alındıktan sonra bile bu eğilim devam ediyor. Oysa aynı öznitelikler üzerinde eğitilen denetimli sınıflandırıcılar ters davranıyor, yani uyuşmazlığa daha dirençli. Bu, sorunun ham verilerin birleştirilme şeklinde yattığını gösteriyor.

Sonuç: Ses ve metin arasındaki çelişki, büyük dil modellerinin duygu tahmini yapmasını zorlaştırıyor. Bu bulgular, ses etkileşimli yapay zeka sistemlerinin geliştirilmesinde çok kanal veri tutarsızlığını ele almanın ne kadar önemli olduğunu ortaya koyuyor.