Relatório de avaliação · novembro de 2026
Benchmarks
Reconhecimento e síntese de fala para chamadas ao vivo, postos à prova: Umay e SES em 7 idiomas, com todos os sistemas avaliados da mesma forma.
Umay V1 · ASR multilíngue de latência ultrabaixa, em streaming
Taxa de erro de palavras · Turco · fala lida
WER % · Conjunto de teste FLEURS tr_tr, 743 clipes · escala logarítmica · quanto menor, melhor
SES V1 · Streaming Expressive Speech
O quanto um ouvinte entende cada voz em turco, o quão natural ela soa e como lida com números, endereços e códigos.
Taxa de erro de palavras da fala gerada
Turco, WER % · cada sistema lê as 1.273 frases do turkish-tts-eval, o Whisper large-v3 as transcreve a 8 kHz (qualidade telefônica) · escala logarítmica · quanto menor, melhor
Voz testada: o SES foi testado com Alp, a voz turca padrão da API em produção. As outras abas usam a mesma voz. O conjunto de teste é construído a partir do que se fala em call centers: endereços, valores, datas, códigos, abreviações e fala do dia a dia; e-mails e endereços web são pontuados separadamente. Frases de teste: testes do turkish-tts-eval.
SES · mais seis idiomas
O SES comparado com modelos de código aberto em inglês, alemão, espanhol, francês, italiano e russo, com a sua melhor voz em cada idioma.
Taxa de erro de palavras · Inglês
100 frases · Whisper large-v3 a 8 kHz · escala logarítmica · quanto menor, melhor
Voz testada: o SES foi testado com Oliver.
SES · velocidade
Medida em CPU, com a mesma imagem da entrega on-premise.
Tempo até o primeiro som
SES em CPU, em streaming · da requisição aos primeiros bytes de áudio, mediana · quanto menor, melhor
O áudio chega em streaming enquanto a frase ainda está sendo gerada, então quem liga ouve a resposta quase na hora.
Método
Como os números foram medidos.
| Pontuação de fala para texto | Taxa de erro de palavras após normalizar números e formatos (tanto «15» quanto «on beş» contam como certos); a regra e o seu código são públicos. |
| Pontuação de texto para fala | Cada sistema lê as frases de teste; o Whisper large-v3 transcreve o áudio a 8 kHz, a qualidade de uma linha telefônica; taxa de erro de palavras em relação ao texto original. |
| Naturalidade | Três modelos que preveem, cada um, a nota média de opinião de um ouvinte (1–5): UTMOSv2, SCOREQ, DNSMOS Pro. |
| Fala para texto, mais seis idiomas | Conjuntos de teste FLEURS (647–908 clipes por idioma), os mesmos clipes por uma linha telefônica simulada e chamadas telefônicas reais da Sierra (inglês 817, espanhol 792). Taxa de erro de palavras após normalizar números e formatos. |
| Conjuntos de teste | turkish-tts-eval (1.273 frases), Freya-TR-Eval, FLEURS tr_tr, MediaSpeech TR, chamadas telefônicas em turco; 100 frases por idioma para os demais idiomas. |
| Data | Novembro de 2026. |
Quer o seu sistema nestes gráficos? Envie acesso à API ou o modelo para [email protected] e vamos rodá-lo nos mesmos conjuntos.
Confira os números
Tudo o que você precisa para repetir um teste é público, inclusive a nossa regra de pontuação.
- 01Pegue as frases de teste
Texto para fala em turco: turkish-tts-eval (1.273 frases). Fala para texto: os conjuntos de teste públicos FLEURS e MediaSpeech.
- 02Rode o Umay ou o SES
Obtenha uma chave de API e envie o mesmo áudio ou texto, como descrito na documentação. Rode os outros sistemas com a mesma entrada.
- 03Avalie todos os sistemas da mesma forma
Fala para texto: taxa de erro de palavras em relação à referência. Texto para fala: transcreva o áudio com o Whisper large-v3 a 8 kHz e calcule a taxa de erro de palavras em relação ao texto original. Naturalidade: UTMOSv2, SCOREQ, DNSMOS Pro.
- 04Compare com os nossos
Normalizar números e formatos muda o resultado em um ponto ou mais. Pontue com a nossa regra de pontuação para que os seus números sejam comparáveis com esta página; dúvidas para [email protected].
O melhor teste: as suas próprias chamadas. Benchmarks são um ponto de partida; experimente o Umay e o SES com gravações das suas próprias linhas.