mihu voice

Rapporto di valutazione · novembre 2026

Benchmark

Riconoscimento e sintesi vocale per le chiamate dal vivo, messi alla prova: Umay e SES in 7 lingue, ogni sistema valutato allo stesso modo.

Umay V1 · ASR multilingue a latenza ultra-bassa, in streaming

Tasso di errore sulle parole · Turco · parlato letto

WER % · Set di test FLEURS tr_tr, 743 clip · scala logaritmica · più basso è meglio

125102050100
1Umay3.42
2balbal-v2-manas4.20
3whisper-large-v3-turkish-general3.94
4whisper-large-v33.52
5whisper-large-v3-turbo4.30
6balbal-v25.41
7turkish-stt-66m-v25.28
8Qwen3-ASR-1.7B6.48
9Duyu-small6.72
UmaybalbalturkmedsttOpenAI · Whispermihu · turkish-sttQwenPatientDesk

SES V1 · Streaming Expressive Speech

Quanto bene un ascoltatore capisce ogni voce turca, quanto suona naturale e come gestisce numeri, indirizzi e codici.

Tasso di errore sulle parole dell'output parlato

Turco, WER % · ogni sistema legge le 1.273 frasi di turkish-tts-eval, Whisper large-v3 le trascrive a 8 kHz (qualità telefonica) · scala logaritmica · più basso è meglio

25102050100
1SES3.38
2Antalia-2 Mini3.52
3EMA7.88
4Piper9.36
5Anka9.79
6Trendyol TTS11.07
7XTTS v214.65
8Antalia-118.17
9MMS-TTS29.09
10Chatterbox34.43
11FreyaTTS-small40.84
12Glow-TTS56.09
SESPatientDeskEMARhasspy · PiperAnkaTrendyolCoqui · XTTSMeta · MMSResemble · ChatterboxFreyaTTSGlow-TTS

Voce testata: SES è stato testato con Alp, la voce turca predefinita dell'API live. Le altre schede usano la stessa voce. Il set di test è costruito su ciò che si dice nei call center: indirizzi, importi, date, codici, abbreviazioni e parlato quotidiano; e-mail e indirizzi web sono valutati a parte. Frasi di test: test di turkish-tts-eval.

SES · altre sei lingue

SES a confronto con modelli open source in inglese, tedesco, spagnolo, francese, italiano e russo, con la sua voce migliore in ogni lingua.

Tasso di errore sulle parole · Inglese

100 frasi · Whisper large-v3 a 8 kHz · scala logaritmica · più basso è meglio

0.51251020
1SES1.29
2XTTS v22.19
3VoxCPM22.72
4Chatterbox4.15
5Qwen3-TTS12.82
SESCoqui · XTTSVoxCPM2Resemble · ChatterboxQwen

Voce testata: SES è stato testato con Oliver.

SES · velocità

Misurata su CPU, con la stessa immagine della fornitura on-premise.

Tempo al primo suono

SES su CPU, in streaming · dalla richiesta ai primi byte audio, mediana · più basso è meglio

Turco0.10 s
Inglese0.11 s
Tedesco0.11 s
Francese0.15 s
Spagnolo0.12 s
Italiano0.13 s
Russo0.31 s

L'audio arriva in streaming mentre la frase è ancora in generazione, così chi chiama sente la risposta quasi subito.

Metodo

Come sono stati misurati i numeri.

Valutazione speech-to-textTasso di errore sulle parole dopo la normalizzazione di numeri e formati (sia «15» sia «on beş» contano come corretti); la regola e il suo codice sono pubblici.
Valutazione text-to-speechOgni sistema legge le frasi di test; Whisper large-v3 trascrive l'audio a 8 kHz, la qualità di una linea telefonica; tasso di errore sulle parole rispetto al testo sorgente.
NaturalezzaTre modelli che prevedono ciascuno il punteggio medio d'opinione di un ascoltatore (1–5): UTMOSv2, SCOREQ, DNSMOS Pro.
Speech-to-text, altre sei lingueSet di test FLEURS (647–908 clip per lingua), le stesse clip attraverso una linea telefonica simulata e vere chiamate telefoniche Sierra (inglese 817, spagnolo 792). Tasso di errore sulle parole dopo la normalizzazione di numeri e formati.
Set di testturkish-tts-eval (1.273 frasi), Freya-TR-Eval, FLEURS tr_tr, MediaSpeech TR, chiamate telefoniche in turco; 100 frasi per lingua per le altre lingue.
DataNovembre 2026.

Vuoi il tuo sistema in questi grafici? Invia l'accesso all'API o il modello a [email protected] e lo eseguiremo sugli stessi set.

Verifica i numeri

Tutto ciò che serve per ripetere un test è pubblico, anche la nostra regola di valutazione.

  1. 01Prendi le frasi di test

    Text-to-speech in turco: turkish-tts-eval (1.273 frasi). Speech-to-text: i set di test pubblici FLEURS e MediaSpeech.

  2. 02Esegui Umay o SES

    Ottieni una chiave API e invia lo stesso audio o testo, come descritto nella documentazione. Esegui gli altri sistemi sullo stesso input.

  3. 03Valuta ogni sistema allo stesso modo

    Speech-to-text: tasso di errore sulle parole rispetto al riferimento. Text-to-speech: trascrivi l'audio con Whisper large-v3 a 8 kHz, poi tasso di errore sulle parole rispetto al testo sorgente. Naturalezza: UTMOSv2, SCOREQ, DNSMOS Pro.

  4. 04Confronta con i nostri

    La normalizzazione di numeri e formati cambia il risultato di un punto o più. Valuta con la nostra regola di valutazione, così i tuoi numeri sono confrontabili con questa pagina; domande a [email protected].

Il test migliore: le tue chiamate. I benchmark sono un punto di partenza; prova Umay e SES sulle registrazioni delle tue linee.

mihu voice1