Evaluationsbericht · November 2026
Gemessen an Telefon-Audio, nicht an Demos.
Drei öffentliche türkische Testsets, 500 gesprochene Adressen und 1.273 Synthesesätze, für jedes System gleich bewertet. Eine niedrigere Wortfehlerrate ist besser.
3.42%
WER bei vorgelesener Sprache
FLEURS-Testset Türkisch, 743 Clips. Der niedrigste Wert im Vergleich.
Abb. 2
1.68%
WER bei gesprochenen Adressen
500 Adressen, 8 kHz, mit Ortshinweisen.
Tab. 3
19.5×
schneller als Echtzeit
Dateien über die Türkei-API, schneller Modus.
Tab. 3
3.38%
TTS-Wortfehlerrate
1.273 Sätze des offenen Sets mihuai/turkish-tts-eval.
Abb. 3
FLEURS tr_tr Test · 743 Clips
mihu-umay-v1
openai/whisper-large-v3
turkmedstt/whisper-large-v3-turkish-general
balbal-v2-manas
openai/whisper-large-v3-turbo
mihuai/turkish-stt-66m-v2
balbal-v2
Qwen/Qwen3-ASR-1.7B
PatientDesk/Duyu-small
Abbildung 2. Wortfehlerrate in %, niedriger ist besser, Türkisch, mittlere Bewertungsregel (Zahlen- und Formatvarianten werden akzeptiert). mihu-umay-v1 belegt bei vorgelesener Sprache Platz 1 von 9. Balken jenseits der Achse sind abgeschnitten und mit → markiert.
Verständlichkeit der Sprachsynthese
mihuai/turkish-tts-evalAbbildung 3. Jedes System liest dieselben 1.273 Callcenter-Sätze des offenen Datensatzes mihuai/turkish-tts-eval; ein unabhängiger Erkenner transkribiert das Audio. Wortfehlerrate in %, niedriger bedeutet leichter verständliche Sprache. Sieben türkische TTS-Systeme; alle Diagramme und Tabellen finden Sie auf der Benchmark-Seite.
Tabelle 2. Natürlichkeit desselben Text-to-Speech-Audios. Vorhergesagte Qualitätswerte, höher ist besser; der beste Wert jeder Spalte ist fett.
| System | UTMOSv2 | SCOREQ | DNSMOS Pro |
|---|---|---|---|
| mihu-ses-v1 | 3.31 | 4.10 | 3.64 |
| Antalia-2 Mini | 2.78 | 3.36 | 3.63 |
| Trendyol-TTS | 2.88 | 4.25 | 3.91 |
| EMA Lightning 1.1.2 | 2.68 | 3.54 | 3.25 |
| Anka TTS 0.1.6 | 2.66 | 3.55 | 3.93 |
| FreyaTTS-small | 2.45 | 2.57 | 3.18 |
mihu-ses-v1 hat den höchsten UTMOSv2-Wert insgesamt und in allen 13 Satzkategorien des Sets. Die drei Prädiktoren stimmen untereinander nicht überein und ersetzen keinen Hörtest mit Menschen.
Zwei türkische TTS-Testsets
Callcenter vs. Alltagssprache
Unser Referenzset für Contact-Center-Sprache, nachempfunden echten Kundengesprächen: Beträge, Konto- und Ausweisnummern, Adressen, E-Mail- und Webadressen, buchstabierte Namen und gemischte Formate. Absichtlich schwer.
Ein Set mit Alltagsgesprächen: kurze Sätze von 3 bis 13 Wörtern über das tägliche Leben, Fragen und Ausrufe, mit wenigen Zahlen oder Codes. Leichter, daher erzielt hier jedes System niedrigere Werte.
Wortfehlerrate auf freya-tr-eval, %
Gleiche Bewertung wie in Abbildung 3. Beim Konversationsset liegen die führenden Systeme nur Bruchteile eines Prozentpunkts auseinander; erst das Callcenter-Set trennt die Systeme.
Abbildung 4. Das Callcenter-Set misst, was ein Contact-Center korrekt vorgelesen braucht; das Alltagsset misst einfache Gesprächssprache. Eine niedrigere Wortfehlerrate ist besser.
Tabelle 3. Kennzahlen des Live-Dienstes, Region Türkei, 3. November 2026.
| Messung | Einstellung | Ergebnis |
|---|---|---|
| Transkriptionsgeschwindigkeit für Dateien, 743 Clips | schneller Modus | 19,5× Echtzeit |
| Transkriptionsgeschwindigkeit für Dateien, 743 Clips | normaler Modus | 8,5× Echtzeit |
| Fehlgeschlagene, fehlende oder leere Ergebnisse | 743 Clips | 0 |
| Wortfehlerrate bei Adressen, 500 Adressen, 8 kHz | ohne → mit Ortshinweisen | 2,22 % → 1,68 % |
| Vollständig korrekte Adresssätze, 8 kHz | ohne → mit Ortshinweisen | 92,6 % → 97,2 % |
| Stadtteil richtig erkannt, 8 kHz | ohne → mit Ortshinweisen | 95,6 % → 98,2 % |
Methode. Durchgehend mittlere Bewertungsregel. Telefon: ein öffentliches türkisches Telefon-Testset, nur zum Testen verwendet. Medien: Es zählen nur die 502 MediaSpeech-Clips, die vom mihu-Training ausgeschlossen wurden. Die Geschwindigkeit ist Ende-zu-Ende über die öffentliche API gemessen, inklusive Netzwerk. Das Adress-Audio ist synthetisch.
Soll Ihr System in diesen Tabellen stehen?
Schicken Sie uns API-Zugang oder das Modell: Wir testen es auf denselben Testsets mit derselben Bewertung, zeigen Ihnen die Ergebnisse zuerst und veröffentlichen sie hier, wie auch immer sie ausfallen.