Relatório de avaliação · novembro de 2026
Medido em áudio telefônico, não em demos.
Três conjuntos de teste públicos em turco, 500 endereços falados e 1.273 frases de síntese, avaliados da mesma forma para todos os sistemas. Quanto menor a taxa de erro de palavras, melhor.
3.42%
WER em fala lida
Conjunto de teste FLEURS em turco, 743 clipes. A menor da comparação.
Fig. 2
1.68%
WER em endereços falados
500 endereços, 8 kHz, com dicas de lugar.
Tabela 3
19.5×
mais rápido que o tempo real
Arquivos pela API da Turquia, modo rápido.
Tabela 3
3.38%
Taxa de erro de palavras do TTS
1.273 frases do conjunto aberto mihuai/turkish-tts-eval.
Fig. 3
FLEURS tr_tr test · 743 clipes
mihu-umay-v1
openai/whisper-large-v3
turkmedstt/whisper-large-v3-turkish-general
balbal-v2-manas
openai/whisper-large-v3-turbo
mihuai/turkish-stt-66m-v2
balbal-v2
Qwen/Qwen3-ASR-1.7B
PatientDesk/Duyu-small
Figura 2. Taxa de erro de palavras em %, quanto menor melhor, turco, regra de pontuação média (variantes de números e formatos aceitas). O mihu-umay-v1 fica em primeiro lugar entre 9 em fala lida. Barras além do eixo são cortadas e marcadas com →.
Inteligibilidade do texto para fala
mihuai/turkish-tts-evalFigura 3. Cada sistema lê as mesmas 1.273 frases de call center do conjunto de dados aberto mihuai/turkish-tts-eval; um reconhecedor independente transcreve o áudio. Taxa de erro de palavras em %: quanto menor, mais fácil de entender é a fala. Sete sistemas de TTS em turco; todos os gráficos e tabelas estão na página de benchmarks.
Tabela 2. Naturalidade do mesmo áudio de texto para fala. Pontuações de qualidade previstas, quanto maior melhor; a melhor de cada coluna em negrito.
| Sistema | UTMOSv2 | SCOREQ | DNSMOS Pro |
|---|---|---|---|
| mihu-ses-v1 | 3.31 | 4.10 | 3.64 |
| Antalia-2 Mini | 2.78 | 3.36 | 3.63 |
| Trendyol-TTS | 2.88 | 4.25 | 3.91 |
| EMA Lightning 1.1.2 | 2.68 | 3.54 | 3.25 |
| Anka TTS 0.1.6 | 2.66 | 3.55 | 3.93 |
| FreyaTTS-small | 2.45 | 2.57 | 3.18 |
O mihu-ses-v1 tem a maior pontuação UTMOSv2 no geral e em todas as 13 categorias de frases do conjunto. Os três preditores não concordam entre si e não substituem um teste de escuta com pessoas.
Dois conjuntos de teste de TTS em turco
call center vs. fala do dia a dia
Nosso conjunto de referência para a fala de central de atendimento, baseado em conversas reais com clientes: valores, números de conta e de documento, endereços, e-mails e endereços web, nomes soletrados e formatos mistos. Difícil de propósito.
Um conjunto de conversa do dia a dia: frases curtas de 3 a 13 palavras sobre a vida cotidiana, perguntas e exclamações, com poucos números ou códigos. Mais fácil, por isso todos os sistemas pontuam mais baixo aqui.
Taxa de erro de palavras no freya-tr-eval, %
Mesma pontuação da Figura 3. No conjunto conversacional, os melhores sistemas ficam a uma fração de ponto percentual uns dos outros; é no conjunto de call center que os sistemas se separam.
Figura 4. O conjunto de call center mede o que uma central de atendimento precisa que seja lido corretamente; o conjunto do dia a dia mede a fala conversacional simples. Quanto menor a taxa de erro de palavras, melhor.
Tabela 3. Números do serviço em produção, região Turquia, 3 de novembro de 2026.
| Medição | Configuração | Resultado |
|---|---|---|
| Velocidade de transcrição de arquivos, 743 clipes | modo rápido | 19,5× o tempo real |
| Velocidade de transcrição de arquivos, 743 clipes | modo normal | 8,5× o tempo real |
| Resultados com falha, ausentes ou vazios | 743 clipes | 0 |
| Taxa de erro de palavras em endereços, 500 endereços, 8 kHz | sem → com dicas de lugar | 2,22 % → 1,68 % |
| Frases de endereço totalmente corretas, 8 kHz | sem → com dicas de lugar | 92,6 % → 97,2 % |
| Bairro reconhecido corretamente, 8 kHz | sem → com dicas de lugar | 95,6 % → 98,2 % |
Método. Regra de pontuação média em todos os casos. Telefone: um conjunto de teste telefônico público em turco, usado apenas para testes. Mídia: contam apenas os 502 clipes do MediaSpeech excluídos do treinamento do mihu. A velocidade é medida de ponta a ponta pela API pública, com rede incluída. O áudio dos endereços é sintético.
Quer o seu sistema nestas tabelas?
Envie-nos acesso à API ou o modelo e vamos rodá-lo nos mesmos conjuntos de teste com a mesma pontuação, mostrar os resultados primeiro a você e publicá-los aqui, sejam quais forem.