Informe de evaluación · noviembre de 2026
Benchmarks
Reconocimiento y síntesis de voz para llamadas en directo, puestos a prueba: Umay y SES en 7 idiomas, todos los sistemas evaluados de la misma forma.
Umay V1 · ASR multilingüe de latencia ultrabaja, en streaming
Tasa de error por palabra · Turco · habla leída
WER % · Conjunto de prueba FLEURS tr_tr, 743 clips · escala logarítmica · cuanto menor, mejor
SES V1 · Streaming Expressive Speech
Lo bien que un oyente entiende cada voz turca, lo natural que suena y cómo maneja números, direcciones y códigos.
Tasa de error por palabra de la voz generada
Turco, WER % · cada sistema lee las 1.273 frases de turkish-tts-eval, Whisper large-v3 las transcribe a 8 kHz (calidad telefónica) · escala logarítmica · cuanto menor, mejor
Voz evaluada: SES se evaluó con Alp, la voz turca predeterminada de la API en producción. Las demás pestañas usan la misma voz. El conjunto de prueba se basa en lo que se dice en los centros de llamadas: direcciones, importes, fechas, códigos, abreviaturas y habla cotidiana; los correos electrónicos y las direcciones web se puntúan por separado. Frases de prueba: pruebas de turkish-tts-eval.
SES · seis idiomas más
SES frente a modelos de código abierto en inglés, alemán, español, francés, italiano y ruso, con su mejor voz en cada idioma.
Tasa de error por palabra · Inglés
100 frases · Whisper large-v3 a 8 kHz · escala logarítmica · cuanto menor, mejor
Voz evaluada: SES se evaluó con Oliver.
SES · velocidad
Medida en CPU, con la misma imagen que la entrega on-premise.
Tiempo hasta el primer sonido
SES en CPU, en streaming · de la solicitud a los primeros bytes de audio, mediana · cuanto menor, mejor
El audio llega en streaming mientras la frase aún se está generando, así que quien llama oye la respuesta casi al instante.
Método
Cómo se midieron las cifras.
| Puntuación de voz a texto | Tasa de error por palabra tras normalizar números y formatos (tanto «15» como «on beş» cuentan como correctos); la regla y su código son públicos. |
| Puntuación de texto a voz | Cada sistema lee las frases de prueba; Whisper large-v3 transcribe el audio a 8 kHz, la calidad de una línea telefónica; tasa de error por palabra frente al texto original. |
| Naturalidad | Tres modelos que predicen cada uno la puntuación media de opinión de un oyente (1–5): UTMOSv2, SCOREQ, DNSMOS Pro. |
| Voz a texto, seis idiomas más | Conjuntos de prueba FLEURS (647–908 clips por idioma), los mismos clips a través de una línea telefónica simulada y llamadas telefónicas reales de Sierra (inglés 817, español 792). Tasa de error por palabra tras normalizar números y formatos. |
| Conjuntos de prueba | turkish-tts-eval (1.273 frases), Freya-TR-Eval, FLEURS tr_tr, MediaSpeech TR, llamadas telefónicas en turco; 100 frases por idioma para los demás idiomas. |
| Fecha | Noviembre de 2026. |
¿Quieres tu sistema en estos gráficos? Envía acceso a la API o el modelo a [email protected] y lo ejecutaremos con los mismos conjuntos.
Comprueba las cifras
Todo lo necesario para repetir una prueba es público, también nuestra regla de puntuación.
- 01Toma las frases de prueba
Texto a voz en turco: turkish-tts-eval (1.273 frases). Voz a texto: los conjuntos de prueba públicos FLEURS y MediaSpeech.
- 02Ejecuta Umay o SES
Obtén una clave de API y envía el mismo audio o texto, como se describe en la documentación. Ejecuta los demás sistemas con la misma entrada.
- 03Puntúa todos los sistemas igual
Voz a texto: tasa de error por palabra frente a la referencia. Texto a voz: transcribe el audio con Whisper large-v3 a 8 kHz y calcula la tasa de error por palabra frente al texto original. Naturalidad: UTMOSv2, SCOREQ, DNSMOS Pro.
- 04Compara con los nuestros
Normalizar números y formatos cambia el resultado en un punto o más. Puntúa con nuestra regla de puntuación para que tus cifras sean comparables con esta página; preguntas a [email protected].
La mejor prueba: tus propias llamadas. Los benchmarks son un punto de partida; prueba Umay y SES con grabaciones de tus propias líneas.