Konuşma Tanıma Hatalarını Görsellerle Düzeltme Yöntemi

Konuşma tanıma sistemleri, özellikle birden fazla dilde çalışırken transkripsiyon hatalarına sebep olabiliyor. Benzer görünümlü kelimeler veya kullanıcı için tanımadığı sözcükler olduğunda hatanın farkına varmak zorlaşıyor.

arXiv'de yayımlanan yeni bir araştırma, bu soruna görsel bir çözüm getiriyor. Sistem, metin alternatiflerine ek olarak bağlamsal resimler (pictogram) sunarak dinleyicinin konuşmacının gerçek niyetini anlamasını kolaylaştırıyor. Başlangıçta Fransızca ve İspanyolca işlevsel komutlara odaklanıyor.

Araştırma ekibi, görsel geri bildirim sağlamanın yalnızca metin seçeneklerinden daha etkili olup olmadığını test edecek. Önemli bir nokta: yanlış bir görsel, hatalı yorumlamayı pekiştirebilir. Bu nedenle anlamsal uyumsuzluğu ve ek etkileşim süresini ölçmek kritik.

Sistem, kullanıcı deneyimini iyileştirirken yanlış görsellerin zararlı etkisini de göz önünde tutuyor. Bu yaklaşım, otomatik konuşma tanıma (ASR) teknolojisinin gerçek dünyada daha güvenilir hale gelmesine katkı sağlayabilir.