Sıfırdan Ses AI Pipeline Kurmak: ASR ve TTS Entegrasyonu

Ses AI'ı müşteri desteğinden erişilebilirlik araçlarına kadar her yerde görüyorsun. Mikrofon girdisinden kişiselleştirilmiş ses çıktısına geçmek aslında birkaç hizmetin akıllıca birleştirilmesiyle mümkün. Burada Python, JavaScript ve basit API çağrılarıyla çalışan pratik bir pipeline'ı adım adım yapacağız.

İlk adım ses kaydıdır. Web uygulaması yapıyorsan Web Audio API kullan; masaüstü veya sunucu tarafında Python ile çalışıyorsan pyaudio veya sounddevice kütüphaneleri işini görecek. Hedef temiz, mono, 16-bit PCM formatında 16 kHz veya 24 kHz örnekleme hızıyla bir dosya elde etmek.

1import sounddevice as sd
2import numpy as np
3import scipy.io.wavfile as wav
4
5def record(duration=5, fs=16000):
6print(f"Kaydediliyor... {duration} saniye")
7audio = sd.rec(int(duration * fs), samplerate=fs, channels=1, dtype='int16')
8sd.wait()
9wav.write('output.wav', fs, audio)
10return 'output.wav'
11
12record()

Ses dosyası hazırlandıktan sonra ASR (Otomatik Konuşma Tanıma) hizmetine gönder. Whisper gibi açık kaynak modeller ya da bulut API'leri (Google Cloud Speech-to-Text, Azure) kullanabilirsin. Whisper'ın avantajı yerel çalışması ve hiçbir API anahtarı gerektirmemesi.

Transkripsiyonu aldıktan sonra sıra TTS'ye (Metin-Konuşmaya) geliyor. Burada voice cloning özelliği olan hizmetler (ElevenLabs, Google Cloud TTS) devreye giriyor. Metin gönder, kişiselleştirilmiş ses al.

JavaScript tarafında Web Audio API ile kaydı başlatabilirsin:

1const startRecording = async () => {
2const stream = await navigator.mediaDevices.getUserMedia({ audio: true });
3const mediaRecorder = new MediaRecorder(stream);
4mediaRecorder.start();
5
6mediaRecorder.ondataavailable = (event) => {
7const blob = event.data;
8sendToASR(blob);
9};
10};

Pipeline'ın gücü modüler yapısında yatıyor. Bir adımda sorun yaşarsan sadece o kısmı değiştirebilirsin. Ses kalitesi düşükse kayıt parametrelerini ayarla, transkripsiyon hatalıysa ASR modelini değiştir, ses doğal değilse TTS hizmetini upgrade et.

Pratik tavsiye: Başlangıçta yerel testler yap, sonra bulut hizmetlerine geç. Böylece maliyeti kontrol ederken sistemin nasıl çalıştığını öğrenirsin. Tam rehberi Dev.to'da bulabilirsin.