Değerlendirme raporu · Kasım 2026
Demolarda değil, telefon sesinde ölçüldü.
Üç açık Türkçe test seti, seslendirilmiş 500 adres ve 1.273 sentez cümlesi; her sistem aynı yöntemle puanlandı. Kelime hata oranı ne kadar düşükse o kadar iyi.
3.42%
Sesli okumada WER
FLEURS Türkçe test seti, 743 kayıt. Karşılaştırmadaki en düşük değer.
Şekil 2
1.68%
Sesli adreslerde WER
500 adres, 8 kHz, yer ipuçlarıyla.
Tablo 3
19.5×
gerçek zamandan hızlı
Türkiye API'si üzerinden dosyalar, hızlı mod.
Tablo 3
3.38%
TTS kelime hata oranı
Açık mihuai/turkish-tts-eval setinin 1.273 cümlesi.
Şekil 3
FLEURS tr_tr test · 743 kayıt
mihu-umay-v1
openai/whisper-large-v3
turkmedstt/whisper-large-v3-turkish-general
balbal-v2-manas
openai/whisper-large-v3-turbo
mihuai/turkish-stt-66m-v2
balbal-v2
Qwen/Qwen3-ASR-1.7B
PatientDesk/Duyu-small
Şekil 2. Kelime hata oranı (%), düşük olan daha iyi; Türkçe, orta puanlama kuralı (sayı ve biçim varyantları kabul edilir). mihu-umay-v1, sesli okuma setinde 9 sistem arasında birinci sırada. Ekseni aşan çubuklar kesilip → ile işaretlenmiştir.
Metinden seste anlaşılırlık
mihuai/turkish-tts-evalŞekil 3. Her sistem, açık mihuai/turkish-tts-eval veri setindeki aynı 1.273 çağrı merkezi cümlesini okur; bağımsız bir tanıma modeli sesi yazıya döker. Kelime hata oranı (%) ne kadar düşükse konuşma o kadar kolay anlaşılır. Yedi Türkçe TTS sistemi; tüm grafikler ve tablolar benchmark sayfasında.
Tablo 2. Aynı metinden sese çıktılarının doğallığı. Tahmini kalite puanları, yüksek olan daha iyi; her sütundaki en iyi değer kalın.
| Sistem | UTMOSv2 | SCOREQ | DNSMOS Pro |
|---|---|---|---|
| mihu-ses-v1 | 3.31 | 4.10 | 3.64 |
| Antalia-2 Mini | 2.78 | 3.36 | 3.63 |
| Trendyol-TTS | 2.88 | 4.25 | 3.91 |
| EMA Lightning 1.1.2 | 2.68 | 3.54 | 3.25 |
| Anka TTS 0.1.6 | 2.66 | 3.55 | 3.93 |
| FreyaTTS-small | 2.45 | 2.57 | 3.18 |
mihu-ses-v1, hem genel olarak hem de setteki 13 cümle kategorisinin tamamında en yüksek UTMOSv2 puanına sahip. Üç tahmin modeli birbiriyle uyuşmuyor ve insanlarla yapılan bir dinleme testinin yerini tutmuyor.
İki Türkçe TTS test seti
çağrı merkezi ve günlük konuşma
Çağrı merkezi konuşmaları için referans setimiz; gerçek müşteri görüşmeleri örnek alınarak hazırlandı: tutarlar, hesap ve kimlik numaraları, adresler, e-posta ve web adresleri, harf harf söylenen adlar ve karışık biçimler. Bilerek zor tasarlandı.
Günlük konuşma seti: gündelik hayata dair 3 ila 13 kelimelik kısa cümleler, sorular ve ünlemler; az sayıda sayı veya kod içerir. Daha kolay olduğu için her sistemin hata oranı burada daha düşük.
freya-tr-eval üzerinde kelime hata oranı, %
Puanlama Şekil 3 ile aynı. Günlük konuşma setinde önde gelen sistemler arasındaki fark bir puanın altında; sistemler asıl çağrı merkezi setinde ayrışıyor.
Şekil 4. Çağrı merkezi seti, bir çağrı merkezinde doğru okunması gerekenleri ölçer; günlük set ise sade sohbet konuşmasını. Kelime hata oranı ne kadar düşükse o kadar iyi.
Tablo 3. Canlı servis ölçümleri, Türkiye bölgesi, 3 Kasım 2026.
| Ölçüm | Ayar | Sonuç |
|---|---|---|
| Dosya transkripsiyon hızı, 743 kayıt | hızlı mod | gerçek zamanın 19,5 katı |
| Dosya transkripsiyon hızı, 743 kayıt | normal mod | gerçek zamanın 8,5 katı |
| Başarısız, eksik veya boş sonuç | 743 kayıt | 0 |
| Adreslerde kelime hata oranı, 500 adres, 8 kHz | yer ipucu yok → var | %2,22 → %1,68 |
| Tamamen doğru adres cümleleri, 8 kHz | yer ipucu yok → var | %92,6 → %97,2 |
| Doğru anlaşılan mahalle adı, 8 kHz | yer ipucu yok → var | %95,6 → %98,2 |
Yöntem. Tüm ölçümlerde orta puanlama kuralı kullanıldı. Telefon: yalnızca test amacıyla kullanılan, herkese açık bir Türkçe telefon test seti. Yayın: yalnızca mihu eğitiminin dışında tutulan 502 MediaSpeech kaydı sayıldı. Hız, ağ dahil, herkese açık API üzerinden uçtan uca ölçüldü. Adres sesleri sentetiktir.
Sisteminiz de bu tablolarda yer alsın mı?
Bize API erişimi veya modeli gönderin; aynı test setlerinde aynı puanlamayla çalıştıralım, sonuçları önce size gösterelim ve ne çıkarsa çıksın burada yayınlayalım.