Hodnoticí zpráva · listopad 2026
Benchmarky
Rozpoznávání a syntéza řeči pro živé hovory v praktickém testu: Umay a SES v 7 jazycích, každý systém hodnocený stejně.
Umay V1 · Ultra-low-latency Multilingual ASR, Yielding streams
Chybovost slov · turečtina · čtená řeč
WER % · Testovací sada FLEURS tr_tr, 743 nahrávek · logaritmická škála · nižší je lepší
SES V1 · Streaming Expressive Speech
Jak dobře posluchač rozumí jednotlivým tureckým hlasům, jak přirozeně zní a jak si poradí s čísly, adresami a kódy.
Chybovost slov v mluveném výstupu
Turečtina, WER % · každý systém čte 1 273 vět z turkish-tts-eval, Whisper large-v3 je přepisuje při 8 kHz (telefonní kvalita) · logaritmická škála · nižší je lepší
Testovaný hlas: SES byl testován s hlasem Alp, výchozím tureckým hlasem živého API. Ostatní záložky používají stejný hlas. Testovací sada je sestavena z toho, co se říká v call centrech: adresy, částky, data, kódy, zkratky a běžná řeč; e-mailové a webové adresy se hodnotí zvlášť. Testovací věty: testy turkish-tts-eval.
SES · šest dalších jazyků
SES ve srovnání s open-source modely v angličtině, němčině, španělštině, francouzštině, italštině a ruštině, s nejlepším hlasem v každém jazyce.
Chybovost slov · angličtina
100 vět · Whisper large-v3 při 8 kHz · logaritmická škála · nižší je lepší
Testovaný hlas: SES byl testován s hlasem Oliver.
SES · rychlost
Měřeno na CPU, na stejném image jako dodávka on-premises.
Čas do prvního zvuku
SES na CPU, streaming · od požadavku k prvním bajtům zvuku, medián · nižší je lepší
Zvuk se streamuje, zatímco se věta ještě generuje, takže volající slyší odpověď téměř okamžitě.
Metoda
Jak byla čísla změřena.
| Hodnocení řeči na text | Chybovost slov po normalizaci čísel a formátů („15“ i „on beş“ se počítají jako správně); pravidlo i jeho kód jsou veřejné. |
| Hodnocení textu na řeč | Každý systém čte testovací věty; Whisper large-v3 přepisuje zvuk při 8 kHz, v kvalitě telefonní linky; chybovost slov vůči zdrojovému textu. |
| Přirozenost | Tři modely, z nichž každý předpovídá průměrné hodnocení posluchačů (1–5): UTMOSv2, SCOREQ, DNSMOS Pro. |
| Řeč na text, šest dalších jazyků | Testovací sady FLEURS (647–908 nahrávek na jazyk), tytéž nahrávky přes simulovanou telefonní linku a skutečné telefonní hovory Sierra (angličtina 817, španělština 792). Chybovost slov po normalizaci čísel a formátů. |
| Testovací sady | turkish-tts-eval (1 273 vět), Freya-TR-Eval, FLEURS tr_tr, MediaSpeech TR, turecké telefonní hovory; pro ostatní jazyky 100 vět na jazyk. |
| Datum | Listopad 2026. |
Chcete mít svůj systém v těchto grafech? Pošlete přístup k API nebo model na [email protected] a my ho spustíme na stejných sadách.
Ověřte si čísla
Vše, co potřebujete k zopakování testu, je veřejné, včetně našeho hodnoticího pravidla.
- 01Vezměte testovací věty
Turecký převod textu na řeč: turkish-tts-eval (1 273 vět). Převod řeči na text: veřejné testovací sady FLEURS a MediaSpeech.
- 02Spusťte Umay nebo SES
Získejte API klíč a pošlete stejný zvuk nebo text, jak je popsáno v dokumentaci. Ostatní systémy spusťte na stejném vstupu.
- 03Hodnoťte každý systém stejně
Řeč na text: chybovost slov vůči referenci. Text na řeč: přepište zvuk pomocí Whisper large-v3 při 8 kHz a pak spočítejte chybovost slov vůči zdrojovému textu. Přirozenost: UTMOSv2, SCOREQ, DNSMOS Pro.
- 04Porovnejte s našimi
Normalizace čísel a formátů změní výsledek o bod i více. Hodnoťte podle našeho hodnoticího pravidla, aby byla vaše čísla srovnatelná s touto stránkou; dotazy na [email protected].
Nejlepší test: vaše vlastní hovory. Benchmarky jsou výchozí bod; vyzkoušejte Umay a SES na nahrávkách z vašich vlastních linek.