Değerlendirme raporu · Kasım 2026
Benchmark sonuçları
Canlı görüşmeler için konuşma tanıma ve ses sentezi teste tabi tutuldu: 7 dilde Umay ve SES; her sistem aynı yöntemle puanlandı.
Umay V1 · Ultra düşük gecikmeli, akışlı konuşma tanıma
Kelime hata oranı · Türkçe · sesli okuma
WER % · FLEURS tr_tr test seti, 743 kayıt · logaritmik ölçek · düşük olan daha iyi
SES V1 · Akışlı, etkileyici ses sentezi
Her Türkçe sesin dinleyici tarafından ne kadar iyi anlaşıldığı, ne kadar doğal duyulduğu ve sayıları, adresleri, kodları nasıl okuduğu.
Seslendirilen çıktının kelime hata oranı
Türkçe, WER % · her sistem turkish-tts-eval'ın 1.273 cümlesini okur, Whisper large-v3 bunları 8 kHz'de (telefon kalitesi) yazıya döker · logaritmik ölçek · düşük olan daha iyi
Test edilen ses: SES, canlı API'nin varsayılan Türkçe sesi Alp ile test edildi. Diğer sekmelerde de aynı ses kullanıldı. Test seti, çağrı merkezlerinde söylenenlerden oluşturuldu: adresler, tutarlar, tarihler, kodlar, kısaltmalar ve günlük konuşma; e-posta ve web adresleri ayrı puanlanır. Test cümleleri: turkish-tts-eval testleri.
SES · altı dil daha
SES; İngilizce, Almanca, İspanyolca, Fransızca, İtalyanca ve Rusçada, her dildeki en iyi sesiyle açık kaynak modellerin karşısında.
Kelime hata oranı · İngilizce
100 cümle · 8 kHz'de Whisper large-v3 · logaritmik ölçek · düşük olan daha iyi
Test edilen ses: SES, Oliver ile test edildi.
SES · hız
CPU üzerinde, kurum içi teslimatla aynı imajla ölçüldü.
İlk sese kadar geçen süre
CPU'da SES, akışlı · istekten ilk ses baytlarına kadar, medyan · düşük olan daha iyi
Cümle daha üretilirken ses akmaya başlar; böylece arayan yanıtı neredeyse anında duyar.
Yöntem
Sayıların nasıl ölçüldüğü.
| Konuşmadan metne puanlaması | Sayılar ve biçimler normalize edildikten sonra kelime hata oranı (hem “15” hem “on beş” doğru sayılır); kural ve kodu herkese açık. |
| Metinden sese puanlaması | Her sistem test cümlelerini okur; Whisper large-v3 sesi telefon hattı kalitesinde, 8 kHz'de yazıya döker; kaynak metne göre kelime hata oranı hesaplanır. |
| Doğallık | Her biri bir dinleyicinin ortalama görüş puanını (1–5) tahmin eden üç model: UTMOSv2, SCOREQ, DNSMOS Pro. |
| Konuşmadan metne, altı dil daha | FLEURS test setleri (dil başına 647–908 kayıt), aynı kayıtların simüle edilmiş bir telefon hattından geçirilmiş hâli ve Sierra gerçek telefon görüşmeleri (İngilizce 817, İspanyolca 792). Sayılar ve biçimler normalize edildikten sonra kelime hata oranı. |
| Test setleri | turkish-tts-eval (1.273 cümle), Freya-TR-Eval, FLEURS tr_tr, MediaSpeech TR, Türkçe telefon görüşmeleri; diğer diller için dil başına 100 cümle. |
| Tarih | Kasım 2026. |
Sisteminiz de bu grafiklerde yer alsın mı? API erişimini veya modeli [email protected] adresine gönderin, aynı setlerde çalıştıralım.
Sonuçları doğrulayın
Bir testi tekrarlamak için gereken her şey herkese açık, puanlama kuralımız da.
- 01Test cümlelerini alın
Türkçe metinden sese: turkish-tts-eval (1.273 cümle). Konuşmadan metne: herkese açık FLEURS ve MediaSpeech test setleri.
- 02Umay'ı veya SES'i çalıştırın
Bir API anahtarı alın ve dokümantasyonda anlatıldığı gibi aynı sesi veya metni gönderin. Diğer sistemleri de aynı girdiyle çalıştırın.
- 03Her sistemi aynı şekilde puanlayın
Konuşmadan metne: referansa göre kelime hata oranı. Metinden sese: sesi 8 kHz'de Whisper large-v3 ile yazıya dökün, ardından kaynak metne göre kelime hata oranını hesaplayın. Doğallık: UTMOSv2, SCOREQ, DNSMOS Pro.
- 04Bizimkilerle karşılaştırın
Sayıları ve biçimleri normalize etmek sonucu bir puan veya daha fazla değiştirir. Sonuçlarınızın bu sayfayla karşılaştırılabilir olması için puanlama kuralımızla puanlayın; sorularınız için [email protected].
En iyi test: kendi görüşmeleriniz. Benchmark'lar yalnızca bir başlangıç noktası; Umay'ı ve SES'i kendi hatlarınızdan gelen kayıtlarla deneyin.