Rapport d’évaluation · novembre 2026
Benchmarks
La reconnaissance et la synthèse vocales pour les appels en direct, mises à l’épreuve : Umay et SES dans 7 langues, chaque système évalué de la même façon.
Umay V1 · Reconnaissance vocale multilingue en flux, à ultra-faible latence
Taux d’erreur sur les mots · Turc · parole lue
WER % · Jeu de test FLEURS tr_tr, 743 extraits · échelle logarithmique · plus bas c’est mieux
SES V1 · Synthèse Expressive en Streaming
Dans quelle mesure un auditeur comprend chaque voix turque, à quel point elle sonne naturelle et comment elle gère les nombres, les adresses et les codes.
Taux d’erreur sur les mots de la sortie parlée
Turc, WER % · chaque système lit les 1 273 phrases de turkish-tts-eval, Whisper large-v3 les transcrit à 8 kHz (qualité téléphonique) · échelle logarithmique · plus bas c’est mieux
Voix testée : SES a été testé avec Alp, la voix turque par défaut de l’API en production. Les autres onglets utilisent la même voix. Le jeu de test reprend ce qui se dit dans les centres d’appels : adresses, montants, dates, codes, abréviations et parole courante ; les adresses e-mail et web sont notées à part. Phrases de test : tests turkish-tts-eval.
SES · six autres langues
SES face à des modèles open source en anglais, allemand, espagnol, français, italien et russe, avec sa meilleure voix dans chaque langue.
Taux d’erreur sur les mots · Anglais
100 phrases · Whisper large-v3 à 8 kHz · échelle logarithmique · plus bas c’est mieux
Voix testée : SES a été testé avec Oliver.
SES · vitesse
Mesuré sur CPU, avec la même image que la livraison sur site.
Délai jusqu’au premier son
SES sur CPU, en streaming · de la requête aux premiers octets audio, médiane · plus bas c’est mieux
L’audio est diffusé pendant que la phrase est encore en cours de génération : l’appelant entend la réponse presque immédiatement.
Méthode
Comment les chiffres ont été mesurés.
| Notation de la reconnaissance vocale | Taux d’erreur sur les mots après normalisation des nombres et des formats (« 15 » comme « on beş » sont comptés justes) ; la règle et son code sont publics. |
| Notation de la synthèse vocale | Chaque système lit les phrases de test ; Whisper large-v3 transcrit l’audio à 8 kHz, la qualité d’une ligne téléphonique ; taux d’erreur sur les mots par rapport au texte source. |
| Naturel | Trois modèles qui prédisent chacun le score moyen d’opinion d’un auditeur (1–5) : UTMOSv2, SCOREQ, DNSMOS Pro. |
| Reconnaissance vocale, six autres langues | Jeux de test FLEURS (647 à 908 extraits par langue), les mêmes extraits via une ligne téléphonique simulée, et de vrais appels téléphoniques Sierra (anglais 817, espagnol 792). Taux d’erreur sur les mots après normalisation des nombres et des formats. |
| Jeux de test | turkish-tts-eval (1 273 phrases), Freya-TR-Eval, FLEURS tr_tr, MediaSpeech TR, appels téléphoniques en turc ; 100 phrases par langue pour les autres langues. |
| Date | Novembre 2026. |
Vous voulez voir votre système dans ces graphiques ? Envoyez un accès API ou le modèle à [email protected] et nous le testerons sur les mêmes jeux.
Vérifier les chiffres
Tout ce qu’il faut pour reproduire un test est public, notre règle de notation aussi.
- 01Récupérez les phrases de test
Synthèse vocale en turc : turkish-tts-eval (1 273 phrases). Reconnaissance vocale : les jeux de test publics FLEURS et MediaSpeech.
- 02Lancez Umay ou SES
Obtenez une clé API et envoyez le même audio ou le même texte, comme décrit dans la documentation. Lancez les autres systèmes sur la même entrée.
- 03Notez chaque système de la même façon
Reconnaissance vocale : taux d’erreur sur les mots par rapport à la référence. Synthèse vocale : transcrivez l’audio avec Whisper large-v3 à 8 kHz, puis calculez le taux d’erreur sur les mots par rapport au texte source. Naturel : UTMOSv2, SCOREQ, DNSMOS Pro.
- 04Comparez avec nos résultats
La normalisation des nombres et des formats modifie le résultat d’un point ou plus. Notez avec notre règle de notation pour que vos chiffres soient comparables à ceux de cette page ; questions à [email protected].
Le meilleur test : vos propres appels. Les benchmarks sont un point de départ ; essayez Umay et SES sur des enregistrements de vos propres lignes.