mihu voice

Hodnoticí zpráva · listopad 2026

Benchmarky

Rozpoznávání a syntéza řeči pro živé hovory v praktickém testu: Umay a SES v 7 jazycích, každý systém hodnocený stejně.

Umay V1 · Ultra-low-latency Multilingual ASR, Yielding streams

Chybovost slov · turečtina · čtená řeč

WER % · Testovací sada FLEURS tr_tr, 743 nahrávek · logaritmická škála · nižší je lepší

125102050100
1Umay3.42
2whisper-large-v33.52
3whisper-large-v3-turkish-general3.94
4balbal-v2-manas4.20
5whisper-large-v3-turbo4.30
6turkish-stt-66m-v25.28
7balbal-v25.41
8Qwen3-ASR-1.7B6.48
9Duyu-small6.72
UmayOpenAI · Whisperturkmedsttbalbalmihu · turkish-sttQwenPatientDesk

SES V1 · Streaming Expressive Speech

Jak dobře posluchač rozumí jednotlivým tureckým hlasům, jak přirozeně zní a jak si poradí s čísly, adresami a kódy.

Chybovost slov v mluveném výstupu

Turečtina, WER % · každý systém čte 1 273 vět z turkish-tts-eval, Whisper large-v3 je přepisuje při 8 kHz (telefonní kvalita) · logaritmická škála · nižší je lepší

25102050100
1SES3.38
2Antalia-2 Mini3.52
3EMA7.88
4Piper9.36
5Anka9.79
6Trendyol TTS11.07
7XTTS v214.65
8Antalia-118.17
9MMS-TTS29.09
10Chatterbox34.43
11FreyaTTS-small40.84
12Glow-TTS56.09
SESPatientDeskEMARhasspy · PiperAnkaTrendyolCoqui · XTTSMeta · MMSResemble · ChatterboxFreyaTTSGlow-TTS

Testovaný hlas: SES byl testován s hlasem Alp, výchozím tureckým hlasem živého API. Ostatní záložky používají stejný hlas. Testovací sada je sestavena z toho, co se říká v call centrech: adresy, částky, data, kódy, zkratky a běžná řeč; e-mailové a webové adresy se hodnotí zvlášť. Testovací věty: testy turkish-tts-eval.

SES · šest dalších jazyků

SES ve srovnání s open-source modely v angličtině, němčině, španělštině, francouzštině, italštině a ruštině, s nejlepším hlasem v každém jazyce.

Chybovost slov · angličtina

100 vět · Whisper large-v3 při 8 kHz · logaritmická škála · nižší je lepší

0.51251020
1SES1.29
2XTTS v22.19
3VoxCPM22.72
4Chatterbox4.15
5Qwen3-TTS12.82
SESCoqui · XTTSVoxCPM2Resemble · ChatterboxQwen

Testovaný hlas: SES byl testován s hlasem Oliver.

SES · rychlost

Měřeno na CPU, na stejném image jako dodávka on-premises.

Čas do prvního zvuku

SES na CPU, streaming · od požadavku k prvním bajtům zvuku, medián · nižší je lepší

turečtina0.10 s
angličtina0.11 s
němčina0.11 s
francouzština0.15 s
španělština0.12 s
italština0.13 s
ruština0.31 s

Zvuk se streamuje, zatímco se věta ještě generuje, takže volající slyší odpověď téměř okamžitě.

Metoda

Jak byla čísla změřena.

Hodnocení řeči na textChybovost slov po normalizaci čísel a formátů („15“ i „on beş“ se počítají jako správně); pravidlo i jeho kód jsou veřejné.
Hodnocení textu na řečKaždý systém čte testovací věty; Whisper large-v3 přepisuje zvuk při 8 kHz, v kvalitě telefonní linky; chybovost slov vůči zdrojovému textu.
PřirozenostTři modely, z nichž každý předpovídá průměrné hodnocení posluchačů (1–5): UTMOSv2, SCOREQ, DNSMOS Pro.
Řeč na text, šest dalších jazykůTestovací sady FLEURS (647–908 nahrávek na jazyk), tytéž nahrávky přes simulovanou telefonní linku a skutečné telefonní hovory Sierra (angličtina 817, španělština 792). Chybovost slov po normalizaci čísel a formátů.
Testovací sadyturkish-tts-eval (1 273 vět), Freya-TR-Eval, FLEURS tr_tr, MediaSpeech TR, turecké telefonní hovory; pro ostatní jazyky 100 vět na jazyk.
DatumListopad 2026.

Chcete mít svůj systém v těchto grafech? Pošlete přístup k API nebo model na [email protected] a my ho spustíme na stejných sadách.

Ověřte si čísla

Vše, co potřebujete k zopakování testu, je veřejné, včetně našeho hodnoticího pravidla.

  1. 01Vezměte testovací věty

    Turecký převod textu na řeč: turkish-tts-eval (1 273 vět). Převod řeči na text: veřejné testovací sady FLEURS a MediaSpeech.

  2. 02Spusťte Umay nebo SES

    Získejte API klíč a pošlete stejný zvuk nebo text, jak je popsáno v dokumentaci. Ostatní systémy spusťte na stejném vstupu.

  3. 03Hodnoťte každý systém stejně

    Řeč na text: chybovost slov vůči referenci. Text na řeč: přepište zvuk pomocí Whisper large-v3 při 8 kHz a pak spočítejte chybovost slov vůči zdrojovému textu. Přirozenost: UTMOSv2, SCOREQ, DNSMOS Pro.

  4. 04Porovnejte s našimi

    Normalizace čísel a formátů změní výsledek o bod i více. Hodnoťte podle našeho hodnoticího pravidla, aby byla vaše čísla srovnatelná s touto stránkou; dotazy na [email protected].

Nejlepší test: vaše vlastní hovory. Benchmarky jsou výchozí bod; vyzkoušejte Umay a SES na nahrávkách z vašich vlastních linek.

mihu voice1