Ming-3.0-tts: Neden büyük GPU'lar çok az yardım ediyor?

Ant Group'un açık kaynak TTS modeli Ming-3.0-tts, konuşma sentezinde ilginç bir sorunu ortaya koyuyor: daha büyük GPU kiralamak pek işe yaramıyor.

Araştırmacılar RTX 2000 Ada kartında kodu çalıştırdığında GPU'nun zamanının üçte ikisinden fazlası boşta kaldığını gördü. RTX 4090 ile de durum pek değişmedi, GPU sadece beşte birinde tam kapasitede çalışıyor ve hız kazancı yalnızca %17 oldu. Yani daha pahalı donanım satın almak, bu modelle gerçek anlamda bir çözüm değil.

Model, metin-konuşma dönüştürme işini yapıyor. Ses örneğinden bir ses kopyalıyor, metinden yeni bir ses oluşturuyor ve [Kahkaha] veya [İç Çekme] gibi etiketleri ses efektine çeviriyor. Ant Group kodu ve ağırlıkları MIT lisansıyla yayımladı.

Düşük GPU kullanımı, burada asıl sorun. Model H800 ve H20 kartlarda test edilmiş ama 16 GB'lık ortamda çalışacak şekilde optimize edilmemiş görünüyor. 20.7 saniyelik bir İngilizce paragrafı işlemek RTX 2000 Ada'da 31-32 saniye aldı, yani gerçek zamandan yavaş.

Bu durum, büyük dil modellerinde sık görülen bir sorunu vurguluyor: donanımı artırmak her zaman yazılım darboğazını çözmez. Bellek bant genişliği, model mimarisi ve hesaplama verimliliği burada daha kritik rol oynuyor. Eğer GPU boşta kalıyorsa, sorun GPU gücü değil, ona iş gönderme hızıdır.