Raport de evaluare · noiembrie 2026
Măsurat pe audio telefonic, nu pe demo-uri.
Trei seturi de test publice în turcă, 500 de adrese rostite și 1.273 de propoziții de sinteză, evaluate la fel pentru fiecare sistem. O rată de eroare la nivel de cuvânt mai mică este mai bună.
3.42%
WER pe vorbire citită
Setul de test FLEURS în turcă, 743 de clipuri. Cel mai mic din comparație.
Fig. 2
1.68%
WER pe adrese rostite
500 de adrese, 8 kHz, cu indicii de locuri.
Tabelul 3
19.5×
mai rapid decât timpul real
Fișiere prin API-ul din Turcia, modul rapid.
Tabelul 3
3.38%
Rata de eroare TTS
1.273 de propoziții din setul deschis mihuai/turkish-tts-eval.
Fig. 3
FLEURS tr_tr test · 743 de clipuri
mihu-umay-v1
openai/whisper-large-v3
turkmedstt/whisper-large-v3-turkish-general
balbal-v2-manas
openai/whisper-large-v3-turbo
mihuai/turkish-stt-66m-v2
balbal-v2
Qwen/Qwen3-ASR-1.7B
PatientDesk/Duyu-small
Figura 2. Rata de eroare la nivel de cuvânt în %, mai mică este mai bine, turcă, regulă de evaluare medie (variantele de numere și format sunt acceptate). mihu-umay-v1 se clasează pe locul întâi din 9 pe vorbire citită. Barele care depășesc axa sunt tăiate și marcate cu →.
Inteligibilitatea text-to-speech
mihuai/turkish-tts-evalFigura 3. Fiecare sistem citește aceleași 1.273 de propoziții de call center din setul de date deschis mihuai/turkish-tts-eval; un sistem de recunoaștere independent transcrie sunetul. Rata de eroare la nivel de cuvânt în %; mai mică înseamnă că vorbirea se înțelege mai ușor. Șapte sisteme TTS pentru turcă; toate graficele și tabelele sunt pe pagina de benchmarkuri.
Tabelul 2. Naturalețea aceluiași audio text-to-speech. Scoruri de calitate prezise, mai mare este mai bine; cel mai bun din fiecare coloană e îngroșat.
| Sistem | UTMOSv2 | SCOREQ | DNSMOS Pro |
|---|---|---|---|
| mihu-ses-v1 | 3.31 | 4.10 | 3.64 |
| Antalia-2 Mini | 2.78 | 3.36 | 3.63 |
| Trendyol-TTS | 2.88 | 4.25 | 3.91 |
| EMA Lightning 1.1.2 | 2.68 | 3.54 | 3.25 |
| Anka TTS 0.1.6 | 2.66 | 3.55 | 3.93 |
| FreyaTTS-small | 2.45 | 2.57 | 3.18 |
mihu-ses-v1 are cel mai mare scor UTMOSv2 în total și în toate cele 13 categorii de propoziții ale setului. Cei trei predictori nu sunt de acord între ei și nu înlocuiesc un test de ascultare cu oameni.
Două seturi de test TTS în turcă
call center vs vorbire de zi cu zi
Setul nostru de referință pentru vorbirea din contact center, modelat după conversații reale cu clienții: sume, numere de cont și de identificare, adrese, adrese de e-mail și web, nume silabisite și formate mixte. Dificil prin design.
Un set conversațional de zi cu zi: propoziții scurte de 3 până la 13 cuvinte despre viața de zi cu zi, întrebări și exclamații, cu puține numere sau coduri. Mai ușor, așa că fiecare sistem obține aici valori mai mici.
Rata de eroare pe freya-tr-eval, %
Aceeași evaluare ca în Figura 3. Pe setul conversațional, sistemele din frunte sunt la o fracțiune de procent unele de altele; setul de call center este cel în care sistemele se diferențiază.
Figura 4. Setul de call center măsoară ce trebuie citit corect într-un contact center; setul de zi cu zi măsoară vorbirea conversațională simplă. O rată de eroare mai mică este mai bună.
Tabelul 3. Cifre ale serviciului live, regiunea Turcia, 3 noiembrie 2026.
| Măsurătoare | Setare | Rezultat |
|---|---|---|
| Viteza de transcriere a fișierelor, 743 de clipuri | modul rapid | 19,5× timp real |
| Viteza de transcriere a fișierelor, 743 de clipuri | modul normal | 8,5× timp real |
| Rezultate eșuate, lipsă sau goale | 743 de clipuri | 0 |
| Rata de eroare pe adrese, 500 de adrese, 8 kHz | fără → cu indicii de locuri | 2,22 % → 1,68 % |
| Propoziții de adresă complet corecte, 8 kHz | fără → cu indicii de locuri | 92,6 % → 97,2 % |
| Cartier recunoscut corect, 8 kHz | fără → cu indicii de locuri | 95,6 % → 98,2 % |
Metodă. Regulă de evaluare medie peste tot. Telefon: un set public de test telefonic în turcă, folosit doar pentru testare. Media: contează doar cele 502 clipuri MediaSpeech excluse din antrenarea mihu. Viteza este măsurată cap-coadă prin API-ul public, inclusiv rețeaua. Sunetul adreselor este sintetic.
Vrei ca sistemul tău să apară în aceste tabele?
Trimite-ne acces API sau modelul și îl rulăm pe aceleași seturi de test, cu aceeași evaluare, îți arătăm mai întâi rezultatele și le publicăm aici, oricare ar fi ele.