Rapport d’évaluation · novembre 2026
Mesuré sur de l’audio téléphonique, pas sur des démos.
Trois jeux de test turcs publics, 500 adresses prononcées et 1 273 phrases de synthèse, évalués de la même façon pour chaque système. Plus le taux d’erreur sur les mots est bas, mieux c’est.
3.42%
WER sur la parole lue
Jeu de test FLEURS turc, 743 extraits. Le plus bas de la comparaison.
Fig. 2
1.68%
WER sur les adresses prononcées
500 adresses, 8 kHz, avec indications de lieux.
Tableau 3
19.5×
plus rapide que le temps réel
Fichiers via l’API Turquie, mode rapide.
Tableau 3
3.38%
Taux d’erreur sur les mots en TTS
1 273 phrases du jeu ouvert mihuai/turkish-tts-eval.
Fig. 3
FLEURS tr_tr test · 743 extraits
mihu-umay-v1
openai/whisper-large-v3
turkmedstt/whisper-large-v3-turkish-general
balbal-v2-manas
openai/whisper-large-v3-turbo
mihuai/turkish-stt-66m-v2
balbal-v2
Qwen/Qwen3-ASR-1.7B
PatientDesk/Duyu-small
Figure 2. Taux d’erreur sur les mots en %, plus bas c’est mieux, turc, règle de notation intermédiaire (variantes de nombres et de format acceptées). mihu-umay-v1 se classe premier sur 9 pour la parole lue. Les barres qui dépassent l’axe sont coupées et marquées →.
Intelligibilité de la synthèse vocale
mihuai/turkish-tts-evalFigure 3. Chaque système lit les mêmes 1 273 phrases de centre d’appels du jeu de données ouvert mihuai/turkish-tts-eval ; un système de reconnaissance indépendant transcrit l’audio. Taux d’erreur sur les mots en % : plus il est bas, plus la parole est facile à comprendre. Sept systèmes TTS turcs ; tous les graphiques et tableaux figurent sur la page des benchmarks.
Tableau 2. Naturel du même audio de synthèse vocale. Scores de qualité prédits, plus haut c’est mieux ; le meilleur de chaque colonne en gras.
| Système | UTMOSv2 | SCOREQ | DNSMOS Pro |
|---|---|---|---|
| mihu-ses-v1 | 3.31 | 4.10 | 3.64 |
| Antalia-2 Mini | 2.78 | 3.36 | 3.63 |
| Trendyol-TTS | 2.88 | 4.25 | 3.91 |
| EMA Lightning 1.1.2 | 2.68 | 3.54 | 3.25 |
| Anka TTS 0.1.6 | 2.66 | 3.55 | 3.93 |
| FreyaTTS-small | 2.45 | 2.57 | 3.18 |
mihu-ses-v1 obtient le meilleur score UTMOSv2 au global et dans les 13 catégories de phrases du jeu. Les trois prédicteurs ne concordent pas entre eux et ne remplacent pas un test d’écoute humain.
Deux jeux de test TTS turcs
centre d’appels ou parole quotidienne
Notre jeu de référence pour la parole en centre de contact, modelé sur de vraies conversations clients : montants, numéros de compte et d’identité, adresses, adresses e-mail et web, noms épelés et formats mixtes. Difficile à dessein.
Un jeu de conversation courante : des phrases courtes de 3 à 13 mots sur la vie quotidienne, des questions et des exclamations, avec peu de nombres ou de codes. Plus facile, donc chaque système y obtient des scores plus bas.
Taux d’erreur sur les mots sur freya-tr-eval, %
Même notation que pour la figure 3. Sur le jeu conversationnel, les systèmes en tête se tiennent à une fraction de point près ; c’est sur le jeu centre d’appels que les systèmes se départagent.
Figure 4. Le jeu centre d’appels mesure ce qu’un centre de contact a besoin d’entendre lu correctement ; le jeu quotidien mesure la simple parole conversationnelle. Plus le taux d’erreur sur les mots est bas, mieux c’est.
Tableau 3. Chiffres du service en production, région Turquie, 3 novembre 2026.
| Mesure | Réglage | Résultat |
|---|---|---|
| Vitesse de transcription de fichiers, 743 extraits | mode rapide | 19,5× le temps réel |
| Vitesse de transcription de fichiers, 743 extraits | mode normal | 8,5× le temps réel |
| Résultats en échec, manquants ou vides | 743 extraits | 0 |
| Taux d’erreur sur les mots des adresses, 500 adresses, 8 kHz | sans → avec indications de lieux | 2,22 % → 1,68 % |
| Phrases d’adresse entièrement correctes, 8 kHz | sans → avec indications de lieux | 92,6 % → 97,2 % |
| Quartier correctement reconnu, 8 kHz | sans → avec indications de lieux | 95,6 % → 98,2 % |
Méthode. Règle de notation intermédiaire partout. Téléphone : un jeu de test téléphonique turc public, utilisé uniquement pour les tests. Médias : seuls comptent les 502 extraits MediaSpeech exclus de l’entraînement de mihu. La vitesse est mesurée de bout en bout via l’API publique, réseau compris. L’audio des adresses est synthétique.
Vous voulez voir votre système dans ces tableaux ?
Envoyez-nous un accès API ou le modèle : nous le testerons sur les mêmes jeux avec la même notation, vous montrerons les résultats en premier, puis les publierons ici, quels qu’ils soient.