Evaluatierapport · november 2026
Gemeten op telefoonaudio, niet op demo’s.
Drie openbare Turkse testsets, 500 gesproken adressen en 1.273 synthesezinnen, voor elk systeem op dezelfde manier beoordeeld. Een lager woordfoutpercentage is beter.
3.42%
WER op voorgelezen spraak
FLEURS Turkse testset, 743 fragmenten. Laagste in de vergelijking.
Fig. 2
1.68%
WER op gesproken adressen
500 adressen, 8 kHz, met plaatshints.
Tabel 3
19.5×
sneller dan realtime
Bestanden via de Türkiye-API, snelle modus.
Tabel 3
3.38%
TTS-woordfoutpercentage
1.273 zinnen uit de open set mihuai/turkish-tts-eval.
Fig. 3
FLEURS tr_tr test · 743 fragmenten
mihu-umay-v1
openai/whisper-large-v3
turkmedstt/whisper-large-v3-turkish-general
balbal-v2-manas
openai/whisper-large-v3-turbo
mihuai/turkish-stt-66m-v2
balbal-v2
Qwen/Qwen3-ASR-1.7B
PatientDesk/Duyu-small
Figuur 2. Woordfoutpercentage in %, lager is beter, Turks, gemiddelde scoringsregel (varianten van getallen en notatie geaccepteerd). mihu-umay-v1 eindigt als eerste van de 9 op voorgelezen spraak. Balken voorbij de as zijn afgekapt en gemarkeerd met →.
Verstaanbaarheid van tekst-naar-spraak
mihuai/turkish-tts-evalFiguur 3. Elk systeem leest dezelfde 1.273 callcenterzinnen uit de open dataset mihuai/turkish-tts-eval; een onafhankelijke herkenner transcribeert de audio. Woordfoutpercentage in %, lager betekent dat de spraak beter te verstaan is. Zeven Turkse TTS-systemen; alle grafieken en tabellen staan op de benchmarkpagina.
Tabel 2. Natuurlijkheid van dezelfde tekst-naar-spraakaudio. Voorspelde kwaliteitsscores, hoger is beter; de beste per kolom vetgedrukt.
| Systeem | UTMOSv2 | SCOREQ | DNSMOS Pro |
|---|---|---|---|
| mihu-ses-v1 | 3.31 | 4.10 | 3.64 |
| Antalia-2 Mini | 2.78 | 3.36 | 3.63 |
| Trendyol-TTS | 2.88 | 4.25 | 3.91 |
| EMA Lightning 1.1.2 | 2.68 | 3.54 | 3.25 |
| Anka TTS 0.1.6 | 2.66 | 3.55 | 3.93 |
| FreyaTTS-small | 2.45 | 2.57 | 3.18 |
mihu-ses-v1 heeft de hoogste UTMOSv2-score, zowel in totaal als in alle 13 zinscategorieën van de set. De drie voorspellers zijn het onderling niet eens en vervangen geen luistertest met mensen.
Twee Turkse TTS-testsets
callcenter vs alledaagse spraak
Onze referentieset voor contactcenterspraak, gemodelleerd naar echte klantgesprekken: bedragen, rekening- en ID-nummers, adressen, e-mail- en webadressen, gespelde namen en gemengde notaties. Bewust moeilijk.
Een alledaagse gespreksset: korte zinnen van 3 tot 13 woorden over het dagelijks leven, vragen en uitroepen, met weinig getallen of codes. Makkelijker, dus elk systeem scoort hier lager.
Woordfoutpercentage op freya-tr-eval, %
Zelfde scoring als figuur 3. Op de gespreksset liggen de beste systemen binnen een fractie van een procent van elkaar; op de callcenterset lopen de systemen uiteen.
Figuur 4. De callcenterset meet wat een contactcenter correct voorgelezen moet krijgen; de alledaagse set meet gewone gespreksspraak. Een lager woordfoutpercentage is beter.
Tabel 3. Cijfers van de live dienst, regio Türkiye, 3 november 2026.
| Meting | Instelling | Resultaat |
|---|---|---|
| Transcriptiesnelheid bestanden, 743 fragmenten | snelle modus | 19,5× realtime |
| Transcriptiesnelheid bestanden, 743 fragmenten | normale modus | 8,5× realtime |
| Mislukte, ontbrekende of lege resultaten | 743 fragmenten | 0 |
| Woordfoutpercentage adressen, 500 adressen, 8 kHz | zonder → met plaatshints | 2,22% → 1,68% |
| Adreszinnen volledig correct, 8 kHz | zonder → met plaatshints | 92,6% → 97,2% |
| Wijk correct verstaan, 8 kHz | zonder → met plaatshints | 95,6% → 98,2% |
Methode. Overal de gemiddelde scoringsregel. Telefoon: een openbare Turkse telefoontestset, alleen gebruikt om te testen. Media: alleen de 502 MediaSpeech-fragmenten die buiten de mihu-training zijn gehouden tellen mee. Snelheid is end-to-end via de openbare API gemeten, netwerk inbegrepen. De adresaudio is synthetisch.
Wil je jouw systeem in deze tabellen?
Stuur ons API-toegang of het model en we draaien het op dezelfde testsets met dezelfde scoring, laten jou de resultaten eerst zien en publiceren ze hier, wat ze ook zijn.