Rapporto di valutazione · novembre 2026
Benchmark
Riconoscimento e sintesi vocale per le chiamate dal vivo, messi alla prova: Umay e SES in 7 lingue, ogni sistema valutato allo stesso modo.
Umay V1 · ASR multilingue a latenza ultra-bassa, in streaming
Tasso di errore sulle parole · Turco · parlato letto
WER % · Set di test FLEURS tr_tr, 743 clip · scala logaritmica · più basso è meglio
SES V1 · Streaming Expressive Speech
Quanto bene un ascoltatore capisce ogni voce turca, quanto suona naturale e come gestisce numeri, indirizzi e codici.
Tasso di errore sulle parole dell'output parlato
Turco, WER % · ogni sistema legge le 1.273 frasi di turkish-tts-eval, Whisper large-v3 le trascrive a 8 kHz (qualità telefonica) · scala logaritmica · più basso è meglio
Voce testata: SES è stato testato con Alp, la voce turca predefinita dell'API live. Le altre schede usano la stessa voce. Il set di test è costruito su ciò che si dice nei call center: indirizzi, importi, date, codici, abbreviazioni e parlato quotidiano; e-mail e indirizzi web sono valutati a parte. Frasi di test: test di turkish-tts-eval.
SES · altre sei lingue
SES a confronto con modelli open source in inglese, tedesco, spagnolo, francese, italiano e russo, con la sua voce migliore in ogni lingua.
Tasso di errore sulle parole · Inglese
100 frasi · Whisper large-v3 a 8 kHz · scala logaritmica · più basso è meglio
Voce testata: SES è stato testato con Oliver.
SES · velocità
Misurata su CPU, con la stessa immagine della fornitura on-premise.
Tempo al primo suono
SES su CPU, in streaming · dalla richiesta ai primi byte audio, mediana · più basso è meglio
L'audio arriva in streaming mentre la frase è ancora in generazione, così chi chiama sente la risposta quasi subito.
Metodo
Come sono stati misurati i numeri.
| Valutazione speech-to-text | Tasso di errore sulle parole dopo la normalizzazione di numeri e formati (sia «15» sia «on beş» contano come corretti); la regola e il suo codice sono pubblici. |
| Valutazione text-to-speech | Ogni sistema legge le frasi di test; Whisper large-v3 trascrive l'audio a 8 kHz, la qualità di una linea telefonica; tasso di errore sulle parole rispetto al testo sorgente. |
| Naturalezza | Tre modelli che prevedono ciascuno il punteggio medio d'opinione di un ascoltatore (1–5): UTMOSv2, SCOREQ, DNSMOS Pro. |
| Speech-to-text, altre sei lingue | Set di test FLEURS (647–908 clip per lingua), le stesse clip attraverso una linea telefonica simulata e vere chiamate telefoniche Sierra (inglese 817, spagnolo 792). Tasso di errore sulle parole dopo la normalizzazione di numeri e formati. |
| Set di test | turkish-tts-eval (1.273 frasi), Freya-TR-Eval, FLEURS tr_tr, MediaSpeech TR, chiamate telefoniche in turco; 100 frasi per lingua per le altre lingue. |
| Data | Novembre 2026. |
Vuoi il tuo sistema in questi grafici? Invia l'accesso all'API o il modello a [email protected] e lo eseguiremo sugli stessi set.
Verifica i numeri
Tutto ciò che serve per ripetere un test è pubblico, anche la nostra regola di valutazione.
- 01Prendi le frasi di test
Text-to-speech in turco: turkish-tts-eval (1.273 frasi). Speech-to-text: i set di test pubblici FLEURS e MediaSpeech.
- 02Esegui Umay o SES
Ottieni una chiave API e invia lo stesso audio o testo, come descritto nella documentazione. Esegui gli altri sistemi sullo stesso input.
- 03Valuta ogni sistema allo stesso modo
Speech-to-text: tasso di errore sulle parole rispetto al riferimento. Text-to-speech: trascrivi l'audio con Whisper large-v3 a 8 kHz, poi tasso di errore sulle parole rispetto al testo sorgente. Naturalezza: UTMOSv2, SCOREQ, DNSMOS Pro.
- 04Confronta con i nostri
La normalizzazione di numeri e formati cambia il risultato di un punto o più. Valuta con la nostra regola di valutazione, così i tuoi numeri sono confrontabili con questa pagina; domande a [email protected].
Il test migliore: le tue chiamate. I benchmark sono un punto di partenza; prova Umay e SES sulle registrazioni delle tue linee.