Rapporto di valutazione · novembre 2026
Misurato su audio telefonico, non su demo.
Tre set di test pubblici in turco, 500 indirizzi pronunciati e 1.273 frasi di sintesi, valutati allo stesso modo per ogni sistema. Un tasso di errore sulle parole più basso è migliore.
3.42%
WER sul parlato letto
Set di test FLEURS in turco, 743 clip. Il più basso del confronto.
Fig. 2
1.68%
WER sugli indirizzi pronunciati
500 indirizzi, 8 kHz, con suggerimenti sui luoghi.
Tabella 3
19.5×
più veloce del tempo reale
File tramite l'API Turchia, modalità veloce.
Tabella 3
3.38%
Tasso di errore sulle parole del TTS
1.273 frasi del set aperto mihuai/turkish-tts-eval.
Fig. 3
FLEURS tr_tr test · 743 clip
mihu-umay-v1
openai/whisper-large-v3
turkmedstt/whisper-large-v3-turkish-general
balbal-v2-manas
openai/whisper-large-v3-turbo
mihuai/turkish-stt-66m-v2
balbal-v2
Qwen/Qwen3-ASR-1.7B
PatientDesk/Duyu-small
Figura 2. Tasso di errore sulle parole in %, più basso è meglio, turco, regola di valutazione media (varianti di numeri e formati accettate). mihu-umay-v1 si classifica primo su 9 nel set di test parlato letto. Le barre oltre l'asse sono tagliate e segnate con →.
Intelligibilità del text-to-speech
mihuai/turkish-tts-evalFigura 3. Ogni sistema legge le stesse 1.273 frasi da call center del dataset aperto mihuai/turkish-tts-eval; un riconoscitore indipendente trascrive l'audio. Tasso di errore sulle parole in %: più è basso, più il parlato è facile da capire. Sette sistemi TTS in turco; tutti i grafici e le tabelle sono nella pagina dei benchmark.
Tabella 2. Naturalezza dello stesso audio text-to-speech. Punteggi di qualità previsti, più alto è meglio; il migliore di ogni colonna in grassetto.
| Sistema | UTMOSv2 | SCOREQ | DNSMOS Pro |
|---|---|---|---|
| mihu-ses-v1 | 3.31 | 4.10 | 3.64 |
| Antalia-2 Mini | 2.78 | 3.36 | 3.63 |
| Trendyol-TTS | 2.88 | 4.25 | 3.91 |
| EMA Lightning 1.1.2 | 2.68 | 3.54 | 3.25 |
| Anka TTS 0.1.6 | 2.66 | 3.55 | 3.93 |
| FreyaTTS-small | 2.45 | 2.57 | 3.18 |
mihu-ses-v1 ha il punteggio UTMOSv2 più alto sia in totale sia in tutte le 13 categorie di frasi del set. I tre predittori non concordano tra loro e non sostituiscono un test di ascolto con persone reali.
Due set di test TTS in turco
call center e parlato quotidiano
Il nostro set di riferimento per il parlato da contact center, modellato su conversazioni reali con i clienti: importi, numeri di conto e di documento, indirizzi, e-mail e indirizzi web, nomi compitati e formati misti. Difficile per scelta.
Un set di conversazione quotidiana: frasi brevi da 3 a 13 parole sulla vita di tutti i giorni, domande ed esclamazioni, con pochi numeri o codici. Più facile, quindi qui ogni sistema ottiene valori più bassi.
Tasso di errore sulle parole su freya-tr-eval, %
Stessa valutazione della Figura 3. Sul set conversazionale i sistemi migliori sono a una frazione di punto percentuale l'uno dall'altro; è sul set da call center che i sistemi si distinguono.
Figura 4. Il set da call center misura ciò che un contact center ha bisogno di sentir leggere correttamente; il set quotidiano misura il semplice parlato conversazionale. Un tasso di errore sulle parole più basso è migliore.
Tabella 3. Dati del servizio live, regione Turchia, 3 novembre 2026.
| Misura | Impostazione | Risultato |
|---|---|---|
| Velocità di trascrizione dei file, 743 clip | modalità veloce | 19,5× il tempo reale |
| Velocità di trascrizione dei file, 743 clip | modalità normale | 8,5× il tempo reale |
| Risultati non riusciti, mancanti o vuoti | 743 clip | 0 |
| Tasso di errore sulle parole negli indirizzi, 500 indirizzi, 8 kHz | senza → con suggerimenti sui luoghi | 2,22 % → 1,68 % |
| Frasi di indirizzo del tutto corrette, 8 kHz | senza → con suggerimenti sui luoghi | 92,6 % → 97,2 % |
| Quartiere riconosciuto correttamente, 8 kHz | senza → con suggerimenti sui luoghi | 95,6 % → 98,2 % |
Metodo. Regola di valutazione media in tutti i casi. Telefono: un set di test telefonico pubblico in turco, usato solo per i test. Media: contano solo le 502 clip di MediaSpeech escluse dall'addestramento di mihu. La velocità è misurata end-to-end tramite l'API pubblica, rete inclusa. L'audio degli indirizzi è sintetico.
Vuoi il tuo sistema in queste tabelle?
Inviaci l'accesso all'API o il modello: lo eseguiremo sugli stessi set di test con la stessa valutazione, ti mostreremo prima i risultati e li pubblicheremo qui, quali che siano.