mihu voice

Relatório de avaliação · novembro de 2026

Benchmarks

Reconhecimento e síntese de fala para chamadas ao vivo, postos à prova: Umay e SES em 7 idiomas, com todos os sistemas avaliados da mesma forma.

Umay V1 · ASR multilíngue de latência ultrabaixa, em streaming

Taxa de erro de palavras · Turco · fala lida

WER % · Conjunto de teste FLEURS tr_tr, 743 clipes · escala logarítmica · quanto menor, melhor

125102050100
1Umay3.42
2balbal-v2-manas4.20
3whisper-large-v3-turkish-general3.94
4whisper-large-v33.52
5whisper-large-v3-turbo4.30
6balbal-v25.41
7turkish-stt-66m-v25.28
8Qwen3-ASR-1.7B6.48
9Duyu-small6.72
UmaybalbalturkmedsttOpenAI · Whispermihu · turkish-sttQwenPatientDesk

SES V1 · Streaming Expressive Speech

O quanto um ouvinte entende cada voz em turco, o quão natural ela soa e como lida com números, endereços e códigos.

Taxa de erro de palavras da fala gerada

Turco, WER % · cada sistema lê as 1.273 frases do turkish-tts-eval, o Whisper large-v3 as transcreve a 8 kHz (qualidade telefônica) · escala logarítmica · quanto menor, melhor

25102050100
1SES3.38
2Antalia-2 Mini3.52
3EMA7.88
4Piper9.36
5Anka9.79
6Trendyol TTS11.07
7XTTS v214.65
8Antalia-118.17
9MMS-TTS29.09
10Chatterbox34.43
11FreyaTTS-small40.84
12Glow-TTS56.09
SESPatientDeskEMARhasspy · PiperAnkaTrendyolCoqui · XTTSMeta · MMSResemble · ChatterboxFreyaTTSGlow-TTS

Voz testada: o SES foi testado com Alp, a voz turca padrão da API em produção. As outras abas usam a mesma voz. O conjunto de teste é construído a partir do que se fala em call centers: endereços, valores, datas, códigos, abreviações e fala do dia a dia; e-mails e endereços web são pontuados separadamente. Frases de teste: testes do turkish-tts-eval.

SES · mais seis idiomas

O SES comparado com modelos de código aberto em inglês, alemão, espanhol, francês, italiano e russo, com a sua melhor voz em cada idioma.

Taxa de erro de palavras · Inglês

100 frases · Whisper large-v3 a 8 kHz · escala logarítmica · quanto menor, melhor

0.51251020
1SES1.29
2XTTS v22.19
3VoxCPM22.72
4Chatterbox4.15
5Qwen3-TTS12.82
SESCoqui · XTTSVoxCPM2Resemble · ChatterboxQwen

Voz testada: o SES foi testado com Oliver.

SES · velocidade

Medida em CPU, com a mesma imagem da entrega on-premise.

Tempo até o primeiro som

SES em CPU, em streaming · da requisição aos primeiros bytes de áudio, mediana · quanto menor, melhor

Turco0.10 s
Inglês0.11 s
Alemão0.11 s
Francês0.15 s
Espanhol0.12 s
Italiano0.13 s
Russo0.31 s

O áudio chega em streaming enquanto a frase ainda está sendo gerada, então quem liga ouve a resposta quase na hora.

Método

Como os números foram medidos.

Pontuação de fala para textoTaxa de erro de palavras após normalizar números e formatos (tanto «15» quanto «on beş» contam como certos); a regra e o seu código são públicos.
Pontuação de texto para falaCada sistema lê as frases de teste; o Whisper large-v3 transcreve o áudio a 8 kHz, a qualidade de uma linha telefônica; taxa de erro de palavras em relação ao texto original.
NaturalidadeTrês modelos que preveem, cada um, a nota média de opinião de um ouvinte (1–5): UTMOSv2, SCOREQ, DNSMOS Pro.
Fala para texto, mais seis idiomasConjuntos de teste FLEURS (647–908 clipes por idioma), os mesmos clipes por uma linha telefônica simulada e chamadas telefônicas reais da Sierra (inglês 817, espanhol 792). Taxa de erro de palavras após normalizar números e formatos.
Conjuntos de testeturkish-tts-eval (1.273 frases), Freya-TR-Eval, FLEURS tr_tr, MediaSpeech TR, chamadas telefônicas em turco; 100 frases por idioma para os demais idiomas.
DataNovembro de 2026.

Quer o seu sistema nestes gráficos? Envie acesso à API ou o modelo para [email protected] e vamos rodá-lo nos mesmos conjuntos.

Confira os números

Tudo o que você precisa para repetir um teste é público, inclusive a nossa regra de pontuação.

  1. 01Pegue as frases de teste

    Texto para fala em turco: turkish-tts-eval (1.273 frases). Fala para texto: os conjuntos de teste públicos FLEURS e MediaSpeech.

  2. 02Rode o Umay ou o SES

    Obtenha uma chave de API e envie o mesmo áudio ou texto, como descrito na documentação. Rode os outros sistemas com a mesma entrada.

  3. 03Avalie todos os sistemas da mesma forma

    Fala para texto: taxa de erro de palavras em relação à referência. Texto para fala: transcreva o áudio com o Whisper large-v3 a 8 kHz e calcule a taxa de erro de palavras em relação ao texto original. Naturalidade: UTMOSv2, SCOREQ, DNSMOS Pro.

  4. 04Compare com os nossos

    Normalizar números e formatos muda o resultado em um ponto ou mais. Pontue com a nossa regra de pontuação para que os seus números sejam comparáveis com esta página; dúvidas para [email protected].

O melhor teste: as suas próprias chamadas. Benchmarks são um ponto de partida; experimente o Umay e o SES com gravações das suas próprias linhas.

mihu voice1