Evaluationsbericht · November 2026
Benchmarks
Spracherkennung und Sprachsynthese für Live-Anrufe auf dem Prüfstand: Umay und SES in 7 Sprachen, jedes System gleich bewertet.
Umay V1 · Mehrsprachige Spracherkennung mit ultraniedriger Latenz für Live-Streams
Wortfehlerrate · Türkisch · vorgelesene Sprache
WER % · FLEURS-Testset tr_tr, 743 Clips · logarithmische Skala · niedriger ist besser
SES V1 · Ausdrucksstarke Sprachsynthese im Streaming
Wie gut ein Hörer jede türkische Stimme versteht, wie natürlich sie klingt und wie sie mit Zahlen, Adressen und Codes umgeht.
Wortfehlerrate der gesprochenen Ausgabe
Türkisch, WER % · jedes System liest die 1.273 Sätze von turkish-tts-eval, Whisper large-v3 transkribiert sie bei 8 kHz (Telefonqualität) · logarithmische Skala · niedriger ist besser
Getestete Stimme: SES wurde mit Alp getestet, der türkischen Standardstimme der Live-API. Die anderen Tabs verwenden dieselbe Stimme. Das Testset basiert auf dem, was in Callcentern gesagt wird: Adressen, Beträge, Daten, Codes, Abkürzungen und Alltagssprache; E-Mail- und Webadressen werden separat bewertet. Testsätze: turkish-tts-eval-Tests.
SES · sechs weitere Sprachen
SES im Vergleich mit Open-Source-Modellen auf Englisch, Deutsch, Spanisch, Französisch, Italienisch und Russisch, jeweils mit der besten Stimme pro Sprache.
Wortfehlerrate · Englisch
100 Sätze · Whisper large-v3 bei 8 kHz · logarithmische Skala · niedriger ist besser
Getestete Stimme: SES wurde mit Oliver getestet.
SES · Geschwindigkeit
Gemessen auf CPU, mit demselben Image wie bei der On-Premises-Auslieferung.
Zeit bis zum ersten Ton
SES auf CPU, Streaming · von der Anfrage bis zu den ersten Audio-Bytes, Median · niedriger ist besser
Das Audio wird gestreamt, während der Satz noch erzeugt wird, sodass der Anrufer die Antwort fast sofort hört.
Methode
Wie die Zahlen gemessen wurden.
| Bewertung Speech-to-Text | Wortfehlerrate nach Normalisierung von Zahlen und Formaten (sowohl „15“ als auch „on beş“ gelten als richtig); die Regel und ihr Code sind öffentlich. |
| Bewertung Text-to-Speech | Jedes System liest die Testsätze; Whisper large-v3 transkribiert das Audio bei 8 kHz, der Qualität einer Telefonleitung; Wortfehlerrate gegenüber dem Ausgangstext. |
| Natürlichkeit | Drei Modelle, die jeweils den Mean Opinion Score eines Hörers (1–5) vorhersagen: UTMOSv2, SCOREQ, DNSMOS Pro. |
| Speech-to-Text, sechs weitere Sprachen | FLEURS-Testsets (647–908 Clips pro Sprache), dieselben Clips über eine simulierte Telefonleitung und echte Telefonate aus Sierra (Englisch 817, Spanisch 792). Wortfehlerrate nach Normalisierung von Zahlen und Formaten. |
| Testsets | turkish-tts-eval (1.273 Sätze), Freya-TR-Eval, FLEURS tr_tr, MediaSpeech TR, türkische Telefonate; 100 Sätze pro Sprache für die übrigen Sprachen. |
| Datum | November 2026. |
Soll Ihr System in diesen Diagrammen stehen? Senden Sie API-Zugang oder das Modell an [email protected], und wir testen es auf denselben Sets.
Zahlen überprüfen
Alles, was Sie zum Wiederholen eines Tests brauchen, ist öffentlich, auch unsere Bewertungsregel.
- 01Testsätze holen
Türkisches Text-to-Speech: turkish-tts-eval (1.273 Sätze). Speech-to-Text: die öffentlichen Testsets FLEURS und MediaSpeech.
- 02Umay oder SES ausführen
Holen Sie sich einen API-Schlüssel und senden Sie dasselbe Audio oder denselben Text, wie in der Doku beschrieben. Führen Sie die anderen Systeme mit derselben Eingabe aus.
- 03Jedes System gleich bewerten
Speech-to-Text: Wortfehlerrate gegenüber der Referenz. Text-to-Speech: Audio mit Whisper large-v3 bei 8 kHz transkribieren, dann Wortfehlerrate gegenüber dem Ausgangstext. Natürlichkeit: UTMOSv2, SCOREQ, DNSMOS Pro.
- 04Mit unseren Zahlen vergleichen
Die Normalisierung von Zahlen und Formaten verändert das Ergebnis um einen Punkt oder mehr. Bewerten Sie mit unserer Bewertungsregel, damit Ihre Zahlen mit dieser Seite vergleichbar sind; Fragen an [email protected].
Der beste Test: Ihre eigenen Anrufe. Benchmarks sind ein Ausgangspunkt; testen Sie Umay und SES mit Aufnahmen aus Ihren eigenen Leitungen.