Dil Modelleri Çince Karakterlerin Sesletimini Ne Kadar İyi Biliyor?

Araştırmacılar, dil modellerinin Çince karakterlerin sesletimini (fonoloji) ne ölçüde anladığını incelemek için PinyinBench adlı bir test seti geliştirdi. Çalışmada 17 metin tabanlı ve çok modlu dil modeli değerlendirildi.

Sonuçlar ilginç bir tablo ortaya koydu. Modeller, karakterlerin başlangıç ve son seslerini (konsonant ve ünlüler) iyi tanıyor. En gelişmiş model olan DS-v4-flash, iki karakterin hiçbir sesletim özelliğini paylaşmadığı durumlarda homofonları (aynı seslenen kelimeler) yüzde 90'ın üzerinde doğru belirledi. Ancak aynı model, iki karakter yalnızca tonda farklılaştığında doğruluk yüzde 72'ye düşüyor.

Araştırmanın derinlemesine analizi gösterdi ki, ton bilgisi modellerin katmanlarında yüksek oranda kodlanmış durumda. Buna karşın, sesletimin segmental kısımları (başlangıç ve son sesler) modelin derinlerine gittikçe daha iyi temsil ediliyor. Bu, modellerin mimarisinin ve eğitim sürecinin bu iki bilgi türünü farklı şekilde işlediğini düşündürüyor.

Çalışma, dil modellerinin yalnızca metin işlemediğini, karakterlerin ses özelliklerini de bir şekilde içselleştirdiğini ortaya koyuyor. Ancak tonlar gibi ince ayrımlar hala zayıf nokta. Bu bulgular, çok dilli modellerin geliştirilmesinde ve Çince gibi ton taşıyan dillerde model performansının iyileştirilmesinde yol gösterici olabilir.