Raport z ewaluacji · listopad 2026
Mierzone na nagraniach telefonicznych, nie na demach.
Trzy publiczne tureckie zbiory testowe, 500 wypowiedzianych adresów i 1273 zdania do syntezy, oceniane tak samo dla każdego systemu. Niższy współczynnik błędów słów jest lepszy.
3.42%
WER na mowie czytanej
Turecki zbiór testowy FLEURS, 743 nagrania. Najniższy w zestawieniu.
Rys. 2
1.68%
WER na wypowiedzianych adresach
500 adresów, 8 kHz, z podpowiedziami miejsc.
Tabela 3
19.5×
szybciej niż w czasie rzeczywistym
Pliki przez API w Türkiye, tryb szybki.
Tabela 3
3.38%
Współczynnik błędów słów TTS
1273 zdania z otwartego zbioru mihuai/turkish-tts-eval.
Rys. 3
FLEURS tr_tr test · 743 nagrania
mihu-umay-v1
openai/whisper-large-v3
turkmedstt/whisper-large-v3-turkish-general
balbal-v2-manas
openai/whisper-large-v3-turbo
mihuai/turkish-stt-66m-v2
balbal-v2
Qwen/Qwen3-ASR-1.7B
PatientDesk/Duyu-small
Rysunek 2. Współczynnik błędów słów w %, niższy jest lepszy, turecki, średnia reguła oceny (warianty liczb i formatów akceptowane). mihu-umay-v1 zajmuje pierwsze miejsce na 9 na mowie czytanej. Słupki wychodzące poza oś są ucięte i oznaczone →.
Zrozumiałość syntezy mowy
mihuai/turkish-tts-evalRysunek 3. Każdy system czyta te same 1273 zdania z call center z otwartego zbioru mihuai/turkish-tts-eval; niezależny system rozpoznawania mowy transkrybuje nagrania. Współczynnik błędów słów w %, niższy oznacza, że mowa jest łatwiejsza do zrozumienia. Siedem tureckich systemów TTS; wszystkie wykresy i tabele są na stronie benchmarków.
Tabela 2. Naturalność tych samych nagrań syntezy mowy. Przewidywane oceny jakości, wyższa jest lepsza; najlepszy wynik w każdej kolumnie pogrubiony.
| System | UTMOSv2 | SCOREQ | DNSMOS Pro |
|---|---|---|---|
| mihu-ses-v1 | 3.31 | 4.10 | 3.64 |
| Antalia-2 Mini | 2.78 | 3.36 | 3.63 |
| Trendyol-TTS | 2.88 | 4.25 | 3.91 |
| EMA Lightning 1.1.2 | 2.68 | 3.54 | 3.25 |
| Anka TTS 0.1.6 | 2.66 | 3.55 | 3.93 |
| FreyaTTS-small | 2.45 | 2.57 | 3.18 |
mihu-ses-v1 ma najwyższy wynik UTMOSv2 ogółem i we wszystkich 13 kategoriach zdań w zbiorze. Trzy predyktory nie są ze sobą zgodne i nie zastępują testu odsłuchowego z udziałem ludzi.
Dwa tureckie zbiory testowe TTS
call center a mowa codzienna
Nasz zbiór referencyjny dla mowy w contact center, wzorowany na prawdziwych rozmowach z klientami: kwoty, numery kont i dokumentów, adresy, adresy e-mail i www, nazwiska literowane i formaty mieszane. Celowo trudny.
Zbiór codziennych rozmów: krótkie zdania od 3 do 13 słów o życiu codziennym, pytania i wykrzyknienia, z niewielką liczbą liczb czy kodów. Łatwiejszy, więc każdy system wypada tu niżej.
Współczynnik błędów słów na freya-tr-eval, %
Ocena taka sama jak na rysunku 3. Na zbiorze rozmów czołowe systemy dzieli ułamek procenta; to zbiór z call center rozdziela systemy.
Rysunek 4. Zbiór z call center mierzy to, co contact center musi mieć przeczytane poprawnie; zbiór codzienny mierzy zwykłą mowę potoczną. Niższy współczynnik błędów słów jest lepszy.
Tabela 3. Wyniki działającej usługi, region Türkiye, 3 listopada 2026.
| Pomiar | Ustawienie | Wynik |
|---|---|---|
| Szybkość transkrypcji plików, 743 nagrania | tryb szybki | 19,5× czasu rzeczywistego |
| Szybkość transkrypcji plików, 743 nagrania | tryb normalny | 8,5× czasu rzeczywistego |
| Nieudane, brakujące lub puste wyniki | 743 nagrania | 0 |
| Współczynnik błędów słów w adresach, 500 adresów, 8 kHz | bez → z podpowiedziami miejsc | 2,22% → 1,68% |
| Zdania z adresem w pełni poprawne, 8 kHz | bez → z podpowiedziami miejsc | 92,6% → 97,2% |
| Dzielnica rozpoznana poprawnie, 8 kHz | bez → z podpowiedziami miejsc | 95,6% → 98,2% |
Metoda. Wszędzie średnia reguła oceny. Telefon: publiczny turecki zbiór testowy rozmów telefonicznych, używany wyłącznie do testów. Media: liczą się tylko 502 nagrania MediaSpeech wyłączone z treningu mihu. Szybkość mierzona od końca do końca przez publiczne API, łącznie z siecią. Nagrania adresów są syntetyczne.
Chcesz zobaczyć swój system w tych tabelach?
Prześlij nam dostęp do API albo model, a uruchomimy go na tych samych zbiorach testowych z tą samą oceną, najpierw pokażemy wyniki Tobie i opublikujemy je tutaj, jakiekolwiek będą.