mihu voice

Raport de evaluare · noiembrie 2026

Benchmarkuri

Recunoaștere și sinteză vocală pentru apeluri live, puse la încercare: Umay și SES în 7 limbi, fiecare sistem evaluat la fel.

Umay V1 · ASR multilingv cu latență ultra-scăzută, cu rezultate în flux

Rata de eroare la nivel de cuvânt · Turcă · vorbire citită

WER % · Setul de test FLEURS tr_tr, 743 de clipuri · scară logaritmică · mai mic este mai bine

125102050100
1Umay3.42
2whisper-large-v33.52
3whisper-large-v3-turkish-general3.94
4balbal-v2-manas4.20
5whisper-large-v3-turbo4.30
6turkish-stt-66m-v25.28
7balbal-v25.41
8Qwen3-ASR-1.7B6.48
9Duyu-small6.72
UmayOpenAI · Whisperturkmedsttbalbalmihu · turkish-sttQwenPatientDesk

SES V1 · Streaming Expressive Speech

Cât de bine înțelege un ascultător fiecare voce în turcă, cât de natural sună și cum se descurcă cu numere, adrese și coduri.

Rata de eroare la nivel de cuvânt a vorbirii generate

Turcă, WER % · fiecare sistem citește cele 1.273 de propoziții din turkish-tts-eval, Whisper large-v3 le transcrie la 8 kHz (calitate telefonică) · scară logaritmică · mai mic este mai bine

25102050100
1SES3.38
2Antalia-2 Mini3.52
3EMA7.88
4Piper9.36
5Anka9.79
6Trendyol TTS11.07
7XTTS v214.65
8Antalia-118.17
9MMS-TTS29.09
10Chatterbox34.43
11FreyaTTS-small40.84
12Glow-TTS56.09
SESPatientDeskEMARhasspy · PiperAnkaTrendyolCoqui · XTTSMeta · MMSResemble · ChatterboxFreyaTTSGlow-TTS

Voce testată: SES a fost testat cu Alp, vocea turcă implicită a API-ului live. Celelalte file folosesc aceeași voce. Setul de test este construit din ce se spune în call centere: adrese, sume, date, coduri, abrevieri și vorbire de zi cu zi; adresele de e-mail și web sunt evaluate separat. Propoziții de test: testele turkish-tts-eval.

SES · încă șase limbi

SES comparat cu modele open-source în engleză, germană, spaniolă, franceză, italiană și rusă, cu cea mai bună voce a sa în fiecare limbă.

Rata de eroare · Engleză

100 de propoziții · Whisper large-v3 la 8 kHz · scară logaritmică · mai mic este mai bine

0.51251020
1SES1.29
2XTTS v22.19
3VoxCPM22.72
4Chatterbox4.15
5Qwen3-TTS12.82
SESCoqui · XTTSVoxCPM2Resemble · ChatterboxQwen

Voce testată: SES a fost testat cu Oliver.

SES · viteză

Măsurat pe CPU, cu aceeași imagine ca la livrarea on-premises.

Timpul până la primul sunet

SES pe CPU, streaming · de la cerere la primii octeți audio, mediană · mai mic este mai bine

Turcă0.10 s
Engleză0.11 s
Germană0.11 s
Franceză0.15 s
Spaniolă0.12 s
Italiană0.13 s
Rusă0.31 s

Sunetul este transmis în timp ce propoziția încă se generează, așa că apelantul aude răspunsul aproape imediat.

Metodă

Cum au fost măsurate cifrele.

Evaluare Speech To TextRata de eroare la nivel de cuvânt după normalizarea numerelor și formatelor (atât „15”, cât și „on beş” sunt considerate corecte); regula și codul ei sunt publice.
Evaluare Text To SpeechFiecare sistem citește propozițiile de test; Whisper large-v3 transcrie sunetul la 8 kHz, calitatea unei linii telefonice; rata de eroare se calculează față de textul sursă.
NaturalețeTrei modele care prezic fiecare scorul mediu de opinie al unui ascultător (1–5): UTMOSv2, SCOREQ, DNSMOS Pro.
Speech To Text, încă șase limbiSeturile de test FLEURS (647–908 clipuri per limbă), aceleași clipuri printr-o linie telefonică simulată și apeluri telefonice reale Sierra (engleză 817, spaniolă 792). Rata de eroare după normalizarea numerelor și formatelor.
Seturi de testturkish-tts-eval (1.273 de propoziții), Freya-TR-Eval, FLEURS tr_tr, MediaSpeech TR, apeluri telefonice în turcă; 100 de propoziții per limbă pentru celelalte limbi.
DataNoiembrie 2026.

Vrei ca sistemul tău să apară în aceste grafice? Trimite acces API sau modelul la [email protected] și îl rulăm pe aceleași seturi.

Verifică cifrele

Tot ce îți trebuie pentru a repeta un test este public, inclusiv regula noastră de evaluare.

  1. 01Ia propozițiile de test

    Text to speech în turcă: turkish-tts-eval (1.273 de propoziții). Speech to text: seturile de test publice FLEURS și MediaSpeech.

  2. 02Rulează Umay sau SES

    Obține o cheie API și trimite același audio sau text, așa cum e descris în documentație. Rulează celelalte sisteme pe aceeași intrare.

  3. 03Evaluează fiecare sistem la fel

    Speech to text: rata de eroare față de referință. Text to speech: transcrie sunetul cu Whisper large-v3 la 8 kHz, apoi rata de eroare față de textul sursă. Naturalețe: UTMOSv2, SCOREQ, DNSMOS Pro.

  4. 04Compară cu rezultatele noastre

    Normalizarea numerelor și formatelor schimbă rezultatul cu un punct sau mai mult. Evaluează cu regula noastră de evaluare, ca cifrele tale să fie comparabile cu această pagină; întrebări la [email protected].

Cel mai bun test: propriile apeluri. Benchmarkurile sunt un punct de plecare; încearcă Umay și SES pe înregistrări de pe propriile linii.

mihu voice1