Hodnoticí zpráva · listopad 2026
Měřeno na telefonním zvuku, ne na ukázkách.
Tři veřejné turecké testovací sady, 500 vyslovených adres a 1 273 vět pro syntézu, hodnoceno u každého systému stejně. Nižší chybovost slov je lepší.
3.42%
WER na čtené řeči
Turecká testovací sada FLEURS, 743 nahrávek. Nejnižší ve srovnání.
Obr. 2
1.68%
WER na vyslovených adresách
500 adres, 8 kHz, s nápovědou míst.
Tabulka 3
19.5×
rychleji než v reálném čase
Soubory přes API v Türkiye, rychlý režim.
Tabulka 3
3.38%
Chybovost slov TTS
1 273 vět z otevřené sady mihuai/turkish-tts-eval.
Obr. 3
FLEURS tr_tr test · 743 nahrávek
mihu-umay-v1
openai/whisper-large-v3
turkmedstt/whisper-large-v3-turkish-general
balbal-v2-manas
openai/whisper-large-v3-turbo
mihuai/turkish-stt-66m-v2
balbal-v2
Qwen/Qwen3-ASR-1.7B
PatientDesk/Duyu-small
Obrázek 2. Chybovost slov v %, nižší je lepší, turečtina, střední hodnoticí pravidlo (varianty čísel a formátů se uznávají). mihu-umay-v1 je první z 9 na čtené řeči. Sloupce přesahující osu jsou oříznuté a označené →.
Srozumitelnost syntézy řeči
mihuai/turkish-tts-evalObrázek 3. Každý systém čte stejných 1 273 vět z call centra z otevřené datové sady mihuai/turkish-tts-eval; nezávislý rozpoznávač zvuk přepíše. Chybovost slov v %, nižší znamená, že řeči je lépe rozumět. Sedm tureckých systémů TTS; všechny grafy a tabulky jsou na stránce benchmarků.
Tabulka 2. Přirozenost stejného zvuku ze syntézy řeči. Předpovězená skóre kvality, vyšší je lepší; nejlepší v každém sloupci tučně.
| Systém | UTMOSv2 | SCOREQ | DNSMOS Pro |
|---|---|---|---|
| mihu-ses-v1 | 3.31 | 4.10 | 3.64 |
| Antalia-2 Mini | 2.78 | 3.36 | 3.63 |
| Trendyol-TTS | 2.88 | 4.25 | 3.91 |
| EMA Lightning 1.1.2 | 2.68 | 3.54 | 3.25 |
| Anka TTS 0.1.6 | 2.66 | 3.55 | 3.93 |
| FreyaTTS-small | 2.45 | 2.57 | 3.18 |
mihu-ses-v1 má nejvyšší skóre UTMOSv2 celkově i ve všech 13 kategoriích vět v sadě. Tři prediktory se mezi sebou neshodují a nenahrazují poslechový test s lidmi.
Dvě turecké testovací sady TTS
call centrum vs. běžná řeč
Naše referenční sada pro řeč v kontaktních centrech, vytvořená podle skutečných rozhovorů se zákazníky: částky, čísla účtů a dokladů, adresy, e-mailové a webové adresy, hláskovaná jména a smíšené formáty. Záměrně obtížná.
Sada běžných rozhovorů: krátké věty o 3 až 13 slovech o každodenním životě, otázky a zvolání, s malým množstvím čísel nebo kódů. Snazší, takže každý systém tu má nižší skóre.
Chybovost slov na freya-tr-eval, %
Stejné hodnocení jako na obrázku 3. Na konverzační sadě dělí nejlepší systémy jen zlomek procenta; teprve sada z call centra systémy od sebe odliší.
Obrázek 4. Sada z call centra měří, co musí kontaktní centrum mít přečtené správně; běžná sada měří obyčejnou konverzační řeč. Nižší chybovost slov je lepší.
Tabulka 3. Údaje z živé služby, region Türkiye, 3. listopadu 2026.
| Měření | Nastavení | Výsledek |
|---|---|---|
| Rychlost přepisu souborů, 743 nahrávek | rychlý režim | 19,5× reálný čas |
| Rychlost přepisu souborů, 743 nahrávek | běžný režim | 8,5× reálný čas |
| Neúspěšné, chybějící nebo prázdné výsledky | 743 nahrávek | 0 |
| Chybovost slov u adres, 500 adres, 8 kHz | bez → s nápovědou míst | 2,22 % → 1,68 % |
| Zcela správné věty s adresou, 8 kHz | bez → s nápovědou míst | 92,6 % → 97,2 % |
| Správně rozpoznaná čtvrť, 8 kHz | bez → s nápovědou míst | 95,6 % → 98,2 % |
Metoda. Všude střední hodnoticí pravidlo. Telefon: veřejná turecká sada telefonních hovorů, použitá pouze k testování. Média: počítá se jen 502 nahrávek MediaSpeech vyčleněných z tréninku mihu. Rychlost je měřena end-to-end přes veřejné API, včetně sítě. Zvuk adres je syntetický.
Chcete mít svůj systém v těchto tabulkách?
Pošlete nám přístup k API nebo model a my ho spustíme na stejných testovacích sadách se stejným hodnocením, výsledky nejdřív ukážeme vám a zveřejníme je tady, ať jsou jakékoli.