Teknik karşılaştırma
Türkçe telefon sesinde ölçerek karşılaştırın.
Konuşma tanıma ve ses sentezini aynı Türkçe veri setleri ve aynı koşullar üzerinde karşılaştırıyoruz. Yöntem ve sonuçlar aşağıda.
Konuşma tanıma (ASR)
Telefondaki Türkçeyi kim daha doğru anlıyor?
Gerçek çağrı merkezi kayıtları, telefon kanalından geçmiş ses ve temiz ses üzerinde 1.066 örnek. İlçe ve kişi adları ayrıca ölçülür, çünkü sesli agent en çok bu bilgilerde hata yapar.
| Sağlayıcı | Kelime hata oranı (WER, %) | İlçe adı doğruluğu (%) | Kişi adı doğruluğu (%) |
|---|---|---|---|
| CBOT ASR 2.0 | 6,05 | 100,0 | 93,3 |
| OpenAI gpt-transcribe | 12,16 | 82,5 | 86,7 |
| Deepgram nova-3 | 15,45 | 88,3 | 70,0 |
| ElevenLabs scribe_v2 | 20,54 | 54,2 | 53,3 |
| Whisper large-v3-turbo | 24,31 | 50,0 | 53,3 |
| Qwen3-ASR | 24,89 | 44,2 | 46,7 |
Hata oranlarında düşük, doğruluk oranlarında yüksek değer daha iyidir.
Ses sentezi (TTS)
Hangi ses daha doğal ve doğru okuyor?
Türkçe cümleler telefon sesinde okutulur ve konuşma tanıma ile geri yazıya dökülür. Okuma doğruluğu, gecikme, konuşmacı benzerliği ve doğallık birlikte ölçülür.
| Sağlayıcı | Kelime hata oranı (WER, %) | Karakter hata oranı (CER, %) | Hatasız cümle | Gecikme p50 / p95 (sn) | Gerçek zaman oranı (RTF) | Konuşmacı benzerliği | Doğallık (UTMOS) |
|---|---|---|---|---|---|---|---|
| CBOT TTS 2.1ortak klon | 0,82 | 0,17 | %95,2 | 0,23 / 0,32 | 0,053 | 0,673 | 3,95 |
| VoxCPM2ortak klon | 1,07 | 0,18 | %93,5 | 1,15 / 1,54 | 0,267 | 0,704 | 3,76 |
| Fish S2 Proortak klon | 1,10 | 0,25 | %93,3 | 1,30 / 1,71 | 0,336 | 0,623 | 4,05 |
| ElevenLabs v4ortak klon | 1,43 | 0,26 | %91,1 | 1,28 / 1,81 | 0,353 | 0,639 | 3,75 |
| Fish Drama 3ortak klon | 1,69 | 0,35 | %88,9 | 0,70 / 0,98 | 0,180 | 0,644 | 3,84 |
| OmniVoiceortak klon | 1,84 | 0,62 | %88,3 | 0,40 / 0,43 | 0,095 | 0,739 | 3,81 |
| Chatterbox v3ortak klon | 2,09 | 0,49 | %87,9 | 1,00 / 1,33 | 0,264 | 0,648 | 3,63 |
| Pocket TTSortak klon | 2,25 | 0,65 | %86,7 | 2,96 / 3,88 | 0,672 | 0,447 | 3,69 |
| Piper (tr_TR-dfki-medium)kendi sesi | 3,34 | 0,73 | %79,8 | 0,04 / 0,05 | 0,011 | – | 3,71 |
| XTTS-v2ortak klon | 3,70 | 1,59 | %77,6 | 0,47 / 0,65 | 0,110 | 0,527 | 3,10 |
| Chatterbox v3kendi sesi | 3,91 | 0,94 | %79,0 | 0,88 / 1,11 | 0,257 | – | 3,94 |
| VoxCPM2kendi sesi | 4,01 | 1,44 | %79,4 | 0,84 / 1,23 | 0,263 | – | 2,62 |
| Fish S2 Prokendi sesi | 4,44 | 1,11 | %75,3 | 1,24 / 1,74 | 0,335 | – | 3,51 |
| Fish Drama 3kendi sesi | 4,49 | 1,38 | %76,4 | 0,57 / 0,92 | 0,175 | – | 3,32 |
| XTTS-v2kendi sesi | 5,03 | 2,07 | %69,5 | 0,42 / 0,59 | 0,109 | – | 3,57 |
| MMS-TTSkendi sesi | 6,51 | 1,60 | %65,7 | 0,02 / 0,03 | 0,005 | – | 3,79 |
Hata oranlarında ve gecikmede düşük, diğer ölçülerde yüksek değer daha iyidir. Ortak klon: bütün sistemler aynı referans kayıtla konuşur. Kendi sesi: sistemin hazır sesi kullanılır, konuşmacı benzerliği bu yüzden ölçülmez. API ile çalışan sistemlerin gecikmesine ağ süresi dahildir.
Yöntem
Nasıl ölçtük?
Konuşma tanıma
7 kümede 1.066 örnek: 3 gerçek çağrı merkezi kümesi (116 örnek), telefon kanalına bozulmuş sentetik ses, FLEURS, temiz haber sesi ve telefondan geçmiş haber sesi. Veri seti bilerek zor tutulur: hızlı konuşma, şiveli konuşma ve cızırtılı hat kayıtları da dahildir. Bütün sistemlere aynı referans metin ve aynı Türkçe normalizasyon uygulanır.
Ses sentezi
Konuşmacı benzerliği ECAPA (0-1), doğallık UTMOS22 (1-5) ile hesaplanır. Gecikme tek istek ve sıralı çalıştırmayla ölçülür.
Sonuçlar belirtilen tarihte ve koşullarda yapılan ölçümlere aittir. Sağlayıcılar modellerini zamanla güncelleyebilir.
Farkı kendi çağrılarınızda görün
Talebinizi paylaşın, ekibimiz bir iş günü içinde size ulaşsın.