mihu voice

Rapport d’évaluation · novembre 2026

Benchmarks

La reconnaissance et la synthèse vocales pour les appels en direct, mises à l’épreuve : Umay et SES dans 7 langues, chaque système évalué de la même façon.

Umay V1 · Reconnaissance vocale multilingue en flux, à ultra-faible latence

Taux d’erreur sur les mots · Turc · parole lue

WER % · Jeu de test FLEURS tr_tr, 743 extraits · échelle logarithmique · plus bas c’est mieux

125102050100
1Umay3.42
2balbal-v2-manas4.20
3whisper-large-v3-turkish-general3.94
4whisper-large-v33.52
5whisper-large-v3-turbo4.30
6balbal-v25.41
7turkish-stt-66m-v25.28
8Qwen3-ASR-1.7B6.48
9Duyu-small6.72
UmaybalbalturkmedsttOpenAI · Whispermihu · turkish-sttQwenPatientDesk

SES V1 · Synthèse Expressive en Streaming

Dans quelle mesure un auditeur comprend chaque voix turque, à quel point elle sonne naturelle et comment elle gère les nombres, les adresses et les codes.

Taux d’erreur sur les mots de la sortie parlée

Turc, WER % · chaque système lit les 1 273 phrases de turkish-tts-eval, Whisper large-v3 les transcrit à 8 kHz (qualité téléphonique) · échelle logarithmique · plus bas c’est mieux

25102050100
1SES3.38
2Antalia-2 Mini3.52
3EMA7.88
4Piper9.36
5Anka9.79
6Trendyol TTS11.07
7XTTS v214.65
8Antalia-118.17
9MMS-TTS29.09
10Chatterbox34.43
11FreyaTTS-small40.84
12Glow-TTS56.09
SESPatientDeskEMARhasspy · PiperAnkaTrendyolCoqui · XTTSMeta · MMSResemble · ChatterboxFreyaTTSGlow-TTS

Voix testée : SES a été testé avec Alp, la voix turque par défaut de l’API en production. Les autres onglets utilisent la même voix. Le jeu de test reprend ce qui se dit dans les centres d’appels : adresses, montants, dates, codes, abréviations et parole courante ; les adresses e-mail et web sont notées à part. Phrases de test : tests turkish-tts-eval.

SES · six autres langues

SES face à des modèles open source en anglais, allemand, espagnol, français, italien et russe, avec sa meilleure voix dans chaque langue.

Taux d’erreur sur les mots · Anglais

100 phrases · Whisper large-v3 à 8 kHz · échelle logarithmique · plus bas c’est mieux

0.51251020
1SES1.29
2XTTS v22.19
3VoxCPM22.72
4Chatterbox4.15
5Qwen3-TTS12.82
SESCoqui · XTTSVoxCPM2Resemble · ChatterboxQwen

Voix testée : SES a été testé avec Oliver.

SES · vitesse

Mesuré sur CPU, avec la même image que la livraison sur site.

Délai jusqu’au premier son

SES sur CPU, en streaming · de la requête aux premiers octets audio, médiane · plus bas c’est mieux

Turc0.10 s
Anglais0.11 s
Allemand0.11 s
Français0.15 s
Espagnol0.12 s
Italien0.13 s
Russe0.31 s

L’audio est diffusé pendant que la phrase est encore en cours de génération : l’appelant entend la réponse presque immédiatement.

Méthode

Comment les chiffres ont été mesurés.

Notation de la reconnaissance vocaleTaux d’erreur sur les mots après normalisation des nombres et des formats (« 15 » comme « on beş » sont comptés justes) ; la règle et son code sont publics.
Notation de la synthèse vocaleChaque système lit les phrases de test ; Whisper large-v3 transcrit l’audio à 8 kHz, la qualité d’une ligne téléphonique ; taux d’erreur sur les mots par rapport au texte source.
NaturelTrois modèles qui prédisent chacun le score moyen d’opinion d’un auditeur (1–5) : UTMOSv2, SCOREQ, DNSMOS Pro.
Reconnaissance vocale, six autres languesJeux de test FLEURS (647 à 908 extraits par langue), les mêmes extraits via une ligne téléphonique simulée, et de vrais appels téléphoniques Sierra (anglais 817, espagnol 792). Taux d’erreur sur les mots après normalisation des nombres et des formats.
Jeux de testturkish-tts-eval (1 273 phrases), Freya-TR-Eval, FLEURS tr_tr, MediaSpeech TR, appels téléphoniques en turc ; 100 phrases par langue pour les autres langues.
DateNovembre 2026.

Vous voulez voir votre système dans ces graphiques ? Envoyez un accès API ou le modèle à [email protected] et nous le testerons sur les mêmes jeux.

Vérifier les chiffres

Tout ce qu’il faut pour reproduire un test est public, notre règle de notation aussi.

  1. 01Récupérez les phrases de test

    Synthèse vocale en turc : turkish-tts-eval (1 273 phrases). Reconnaissance vocale : les jeux de test publics FLEURS et MediaSpeech.

  2. 02Lancez Umay ou SES

    Obtenez une clé API et envoyez le même audio ou le même texte, comme décrit dans la documentation. Lancez les autres systèmes sur la même entrée.

  3. 03Notez chaque système de la même façon

    Reconnaissance vocale : taux d’erreur sur les mots par rapport à la référence. Synthèse vocale : transcrivez l’audio avec Whisper large-v3 à 8 kHz, puis calculez le taux d’erreur sur les mots par rapport au texte source. Naturel : UTMOSv2, SCOREQ, DNSMOS Pro.

  4. 04Comparez avec nos résultats

    La normalisation des nombres et des formats modifie le résultat d’un point ou plus. Notez avec notre règle de notation pour que vos chiffres soient comparables à ceux de cette page ; questions à [email protected].

Le meilleur test : vos propres appels. Les benchmarks sont un point de départ ; essayez Umay et SES sur des enregistrements de vos propres lignes.

mihu voice1