mihu voice

Informe de evaluación · noviembre de 2026

Benchmarks

Reconocimiento y síntesis de voz para llamadas en directo, puestos a prueba: Umay y SES en 7 idiomas, todos los sistemas evaluados de la misma forma.

Umay V1 · ASR multilingüe de latencia ultrabaja, en streaming

Tasa de error por palabra · Turco · habla leída

WER % · Conjunto de prueba FLEURS tr_tr, 743 clips · escala logarítmica · cuanto menor, mejor

125102050100
1Umay3.42
2balbal-v2-manas4.20
3whisper-large-v3-turkish-general3.94
4whisper-large-v33.52
5whisper-large-v3-turbo4.30
6balbal-v25.41
7turkish-stt-66m-v25.28
8Qwen3-ASR-1.7B6.48
9Duyu-small6.72
UmaybalbalturkmedsttOpenAI · Whispermihu · turkish-sttQwenPatientDesk

SES V1 · Streaming Expressive Speech

Lo bien que un oyente entiende cada voz turca, lo natural que suena y cómo maneja números, direcciones y códigos.

Tasa de error por palabra de la voz generada

Turco, WER % · cada sistema lee las 1.273 frases de turkish-tts-eval, Whisper large-v3 las transcribe a 8 kHz (calidad telefónica) · escala logarítmica · cuanto menor, mejor

25102050100
1SES3.38
2Antalia-2 Mini3.52
3EMA7.88
4Piper9.36
5Anka9.79
6Trendyol TTS11.07
7XTTS v214.65
8Antalia-118.17
9MMS-TTS29.09
10Chatterbox34.43
11FreyaTTS-small40.84
12Glow-TTS56.09
SESPatientDeskEMARhasspy · PiperAnkaTrendyolCoqui · XTTSMeta · MMSResemble · ChatterboxFreyaTTSGlow-TTS

Voz evaluada: SES se evaluó con Alp, la voz turca predeterminada de la API en producción. Las demás pestañas usan la misma voz. El conjunto de prueba se basa en lo que se dice en los centros de llamadas: direcciones, importes, fechas, códigos, abreviaturas y habla cotidiana; los correos electrónicos y las direcciones web se puntúan por separado. Frases de prueba: pruebas de turkish-tts-eval.

SES · seis idiomas más

SES frente a modelos de código abierto en inglés, alemán, español, francés, italiano y ruso, con su mejor voz en cada idioma.

Tasa de error por palabra · Inglés

100 frases · Whisper large-v3 a 8 kHz · escala logarítmica · cuanto menor, mejor

0.51251020
1SES1.29
2XTTS v22.19
3VoxCPM22.72
4Chatterbox4.15
5Qwen3-TTS12.82
SESCoqui · XTTSVoxCPM2Resemble · ChatterboxQwen

Voz evaluada: SES se evaluó con Oliver.

SES · velocidad

Medida en CPU, con la misma imagen que la entrega on-premise.

Tiempo hasta el primer sonido

SES en CPU, en streaming · de la solicitud a los primeros bytes de audio, mediana · cuanto menor, mejor

Turco0.10 s
Inglés0.11 s
Alemán0.11 s
Francés0.15 s
Español0.12 s
Italiano0.13 s
Ruso0.31 s

El audio llega en streaming mientras la frase aún se está generando, así que quien llama oye la respuesta casi al instante.

Método

Cómo se midieron las cifras.

Puntuación de voz a textoTasa de error por palabra tras normalizar números y formatos (tanto «15» como «on beş» cuentan como correctos); la regla y su código son públicos.
Puntuación de texto a vozCada sistema lee las frases de prueba; Whisper large-v3 transcribe el audio a 8 kHz, la calidad de una línea telefónica; tasa de error por palabra frente al texto original.
NaturalidadTres modelos que predicen cada uno la puntuación media de opinión de un oyente (1–5): UTMOSv2, SCOREQ, DNSMOS Pro.
Voz a texto, seis idiomas másConjuntos de prueba FLEURS (647–908 clips por idioma), los mismos clips a través de una línea telefónica simulada y llamadas telefónicas reales de Sierra (inglés 817, español 792). Tasa de error por palabra tras normalizar números y formatos.
Conjuntos de pruebaturkish-tts-eval (1.273 frases), Freya-TR-Eval, FLEURS tr_tr, MediaSpeech TR, llamadas telefónicas en turco; 100 frases por idioma para los demás idiomas.
FechaNoviembre de 2026.

¿Quieres tu sistema en estos gráficos? Envía acceso a la API o el modelo a [email protected] y lo ejecutaremos con los mismos conjuntos.

Comprueba las cifras

Todo lo necesario para repetir una prueba es público, también nuestra regla de puntuación.

  1. 01Toma las frases de prueba

    Texto a voz en turco: turkish-tts-eval (1.273 frases). Voz a texto: los conjuntos de prueba públicos FLEURS y MediaSpeech.

  2. 02Ejecuta Umay o SES

    Obtén una clave de API y envía el mismo audio o texto, como se describe en la documentación. Ejecuta los demás sistemas con la misma entrada.

  3. 03Puntúa todos los sistemas igual

    Voz a texto: tasa de error por palabra frente a la referencia. Texto a voz: transcribe el audio con Whisper large-v3 a 8 kHz y calcula la tasa de error por palabra frente al texto original. Naturalidad: UTMOSv2, SCOREQ, DNSMOS Pro.

  4. 04Compara con los nuestros

    Normalizar números y formatos cambia el resultado en un punto o más. Puntúa con nuestra regla de puntuación para que tus cifras sean comparables con esta página; preguntas a [email protected].

La mejor prueba: tus propias llamadas. Los benchmarks son un punto de partida; prueba Umay y SES con grabaciones de tus propias líneas.

mihu voice1