mihu voice

Evaluationsbericht · November 2026

Benchmarks

Spracherkennung und Sprachsynthese für Live-Anrufe auf dem Prüfstand: Umay und SES in 7 Sprachen, jedes System gleich bewertet.

Umay V1 · Mehrsprachige Spracherkennung mit ultraniedriger Latenz für Live-Streams

Wortfehlerrate · Türkisch · vorgelesene Sprache

WER % · FLEURS-Testset tr_tr, 743 Clips · logarithmische Skala · niedriger ist besser

125102050100
1Umay3.42
2balbal-v2-manas4.20
3whisper-large-v3-turkish-general3.94
4whisper-large-v33.52
5whisper-large-v3-turbo4.30
6balbal-v25.41
7turkish-stt-66m-v25.28
8Qwen3-ASR-1.7B6.48
9Duyu-small6.72
UmaybalbalturkmedsttOpenAI · Whispermihu · turkish-sttQwenPatientDesk

SES V1 · Ausdrucksstarke Sprachsynthese im Streaming

Wie gut ein Hörer jede türkische Stimme versteht, wie natürlich sie klingt und wie sie mit Zahlen, Adressen und Codes umgeht.

Wortfehlerrate der gesprochenen Ausgabe

Türkisch, WER % · jedes System liest die 1.273 Sätze von turkish-tts-eval, Whisper large-v3 transkribiert sie bei 8 kHz (Telefonqualität) · logarithmische Skala · niedriger ist besser

25102050100
1SES3.38
2Antalia-2 Mini3.52
3EMA7.88
4Piper9.36
5Anka9.79
6Trendyol TTS11.07
7XTTS v214.65
8Antalia-118.17
9MMS-TTS29.09
10Chatterbox34.43
11FreyaTTS-small40.84
12Glow-TTS56.09
SESPatientDeskEMARhasspy · PiperAnkaTrendyolCoqui · XTTSMeta · MMSResemble · ChatterboxFreyaTTSGlow-TTS

Getestete Stimme: SES wurde mit Alp getestet, der türkischen Standardstimme der Live-API. Die anderen Tabs verwenden dieselbe Stimme. Das Testset basiert auf dem, was in Callcentern gesagt wird: Adressen, Beträge, Daten, Codes, Abkürzungen und Alltagssprache; E-Mail- und Webadressen werden separat bewertet. Testsätze: turkish-tts-eval-Tests.

SES · sechs weitere Sprachen

SES im Vergleich mit Open-Source-Modellen auf Englisch, Deutsch, Spanisch, Französisch, Italienisch und Russisch, jeweils mit der besten Stimme pro Sprache.

Wortfehlerrate · Englisch

100 Sätze · Whisper large-v3 bei 8 kHz · logarithmische Skala · niedriger ist besser

0.51251020
1SES1.29
2XTTS v22.19
3VoxCPM22.72
4Chatterbox4.15
5Qwen3-TTS12.82
SESCoqui · XTTSVoxCPM2Resemble · ChatterboxQwen

Getestete Stimme: SES wurde mit Oliver getestet.

SES · Geschwindigkeit

Gemessen auf CPU, mit demselben Image wie bei der On-Premises-Auslieferung.

Zeit bis zum ersten Ton

SES auf CPU, Streaming · von der Anfrage bis zu den ersten Audio-Bytes, Median · niedriger ist besser

Türkisch0.10 s
Englisch0.11 s
Deutsch0.11 s
Französisch0.15 s
Spanisch0.12 s
Italienisch0.13 s
Russisch0.31 s

Das Audio wird gestreamt, während der Satz noch erzeugt wird, sodass der Anrufer die Antwort fast sofort hört.

Methode

Wie die Zahlen gemessen wurden.

Bewertung Speech-to-TextWortfehlerrate nach Normalisierung von Zahlen und Formaten (sowohl „15“ als auch „on beş“ gelten als richtig); die Regel und ihr Code sind öffentlich.
Bewertung Text-to-SpeechJedes System liest die Testsätze; Whisper large-v3 transkribiert das Audio bei 8 kHz, der Qualität einer Telefonleitung; Wortfehlerrate gegenüber dem Ausgangstext.
NatürlichkeitDrei Modelle, die jeweils den Mean Opinion Score eines Hörers (1–5) vorhersagen: UTMOSv2, SCOREQ, DNSMOS Pro.
Speech-to-Text, sechs weitere SprachenFLEURS-Testsets (647–908 Clips pro Sprache), dieselben Clips über eine simulierte Telefonleitung und echte Telefonate aus Sierra (Englisch 817, Spanisch 792). Wortfehlerrate nach Normalisierung von Zahlen und Formaten.
Testsetsturkish-tts-eval (1.273 Sätze), Freya-TR-Eval, FLEURS tr_tr, MediaSpeech TR, türkische Telefonate; 100 Sätze pro Sprache für die übrigen Sprachen.
DatumNovember 2026.

Soll Ihr System in diesen Diagrammen stehen? Senden Sie API-Zugang oder das Modell an [email protected], und wir testen es auf denselben Sets.

Zahlen überprüfen

Alles, was Sie zum Wiederholen eines Tests brauchen, ist öffentlich, auch unsere Bewertungsregel.

  1. 01Testsätze holen

    Türkisches Text-to-Speech: turkish-tts-eval (1.273 Sätze). Speech-to-Text: die öffentlichen Testsets FLEURS und MediaSpeech.

  2. 02Umay oder SES ausführen

    Holen Sie sich einen API-Schlüssel und senden Sie dasselbe Audio oder denselben Text, wie in der Doku beschrieben. Führen Sie die anderen Systeme mit derselben Eingabe aus.

  3. 03Jedes System gleich bewerten

    Speech-to-Text: Wortfehlerrate gegenüber der Referenz. Text-to-Speech: Audio mit Whisper large-v3 bei 8 kHz transkribieren, dann Wortfehlerrate gegenüber dem Ausgangstext. Natürlichkeit: UTMOSv2, SCOREQ, DNSMOS Pro.

  4. 04Mit unseren Zahlen vergleichen

    Die Normalisierung von Zahlen und Formaten verändert das Ergebnis um einen Punkt oder mehr. Bewerten Sie mit unserer Bewertungsregel, damit Ihre Zahlen mit dieser Seite vergleichbar sind; Fragen an [email protected].

Der beste Test: Ihre eigenen Anrufe. Benchmarks sind ein Ausgangspunkt; testen Sie Umay und SES mit Aufnahmen aus Ihren eigenen Leitungen.

mihu voice1