Informe de evaluación · noviembre de 2026
Medido con audio telefónico, no con demos.
Tres conjuntos de prueba públicos en turco, 500 direcciones habladas y 1.273 frases de síntesis, evaluados igual para todos los sistemas. Cuanto menor la tasa de error por palabra, mejor.
3.42%
WER en habla leída
Conjunto de prueba FLEURS en turco, 743 clips. La más baja de la comparativa.
Fig. 2
1.68%
WER en direcciones habladas
500 direcciones, 8 kHz, con pistas de lugar.
Tabla 3
19.5×
más rápido que el tiempo real
Archivos a través de la API de Turquía, modo rápido.
Tabla 3
3.38%
Tasa de error por palabra del TTS
1.273 frases del conjunto abierto mihuai/turkish-tts-eval.
Fig. 3
FLEURS tr_tr test · 743 clips
mihu-umay-v1
openai/whisper-large-v3
turkmedstt/whisper-large-v3-turkish-general
balbal-v2-manas
openai/whisper-large-v3-turbo
mihuai/turkish-stt-66m-v2
balbal-v2
Qwen/Qwen3-ASR-1.7B
PatientDesk/Duyu-small
Figura 2. Tasa de error por palabra en %, cuanto menor mejor, turco, regla de puntuación media (se aceptan variantes de números y formatos). mihu-umay-v1 queda en primer lugar de 9 en habla leída. Las barras que superan el eje se cortan y se marcan con →.
Inteligibilidad del texto a voz
mihuai/turkish-tts-evalFigura 3. Cada sistema lee las mismas 1.273 frases de centro de llamadas del conjunto de datos abierto mihuai/turkish-tts-eval; un reconocedor independiente transcribe el audio. Tasa de error por palabra en %: cuanto menor, más fácil de entender es la voz. Siete sistemas TTS en turco; todos los gráficos y tablas están en la página de benchmarks.
Tabla 2. Naturalidad del mismo audio de texto a voz. Puntuaciones de calidad predichas, cuanto mayor mejor; la mejor de cada columna en negrita.
| Sistema | UTMOSv2 | SCOREQ | DNSMOS Pro |
|---|---|---|---|
| mihu-ses-v1 | 3.31 | 4.10 | 3.64 |
| Antalia-2 Mini | 2.78 | 3.36 | 3.63 |
| Trendyol-TTS | 2.88 | 4.25 | 3.91 |
| EMA Lightning 1.1.2 | 2.68 | 3.54 | 3.25 |
| Anka TTS 0.1.6 | 2.66 | 3.55 | 3.93 |
| FreyaTTS-small | 2.45 | 2.57 | 3.18 |
mihu-ses-v1 obtiene la puntuación UTMOSv2 más alta en total y en las 13 categorías de frases del conjunto. Los tres predictores no coinciden entre sí y no sustituyen una prueba de escucha con personas.
Dos conjuntos de prueba TTS en turco
centro de llamadas frente a habla cotidiana
Nuestro conjunto de referencia para el habla de contact center, basado en conversaciones reales con clientes: importes, números de cuenta y de documento, direcciones, correos electrónicos y direcciones web, nombres deletreados y formatos mixtos. Difícil a propósito.
Un conjunto de conversación cotidiana: frases cortas de 3 a 13 palabras sobre la vida diaria, preguntas y exclamaciones, con pocos números o códigos. Más fácil, por eso aquí todos los sistemas obtienen valores más bajos.
Tasa de error por palabra en freya-tr-eval, %
La misma puntuación que en la Figura 3. En el conjunto conversacional, los mejores sistemas están a una fracción de punto porcentual entre sí; es en el conjunto de centro de llamadas donde se separan.
Figura 4. El conjunto de centro de llamadas mide lo que un contact center necesita que se lea correctamente; el cotidiano mide el habla conversacional sencilla. Cuanto menor la tasa de error por palabra, mejor.
Tabla 3. Cifras del servicio en producción, región Turquía, 3 de noviembre de 2026.
| Medición | Configuración | Resultado |
|---|---|---|
| Velocidad de transcripción de archivos, 743 clips | modo rápido | 19,5× tiempo real |
| Velocidad de transcripción de archivos, 743 clips | modo normal | 8,5× tiempo real |
| Resultados fallidos, ausentes o vacíos | 743 clips | 0 |
| Tasa de error por palabra en direcciones, 500 direcciones, 8 kHz | sin → con pistas de lugar | 2,22 % → 1,68 % |
| Frases de dirección totalmente correctas, 8 kHz | sin → con pistas de lugar | 92,6 % → 97,2 % |
| Barrio reconocido correctamente, 8 kHz | sin → con pistas de lugar | 95,6 % → 98,2 % |
Método. Regla de puntuación media en todos los casos. Teléfono: un conjunto de prueba telefónico público en turco, usado solo para pruebas. Medios: solo cuentan los 502 clips de MediaSpeech excluidos del entrenamiento de mihu. La velocidad se mide de extremo a extremo a través de la API pública, red incluida. El audio de las direcciones es sintético.
¿Quieres tu sistema en estas tablas?
Envíanos acceso a la API o el modelo y lo ejecutaremos con los mismos conjuntos de prueba y la misma puntuación, te mostraremos primero los resultados y los publicaremos aquí, sean cuales sean.