Звіт про оцінювання · листопад 2026
Виміряно на телефонному аудіо, а не на демо.
Три публічні турецькі тестові набори, 500 продиктованих адрес і 1 273 речення для синтезу, з однаковим оцінюванням для всіх систем. Що нижчий рівень помилок у словах, то краще.
3.42%
WER на читаному мовленні
Турецький тестовий набір FLEURS, 743 записи. Найнижчий результат у порівнянні.
Рис. 2
1.68%
WER на продиктованих адресах
500 адрес, 8 кГц, з підказками назв місць.
Табл. 3
19.5×
швидше за реальний час
Файли через API регіону Туреччина, швидкий режим.
Табл. 3
3.38%
WER синтезу мовлення
1 273 речення відкритого набору mihuai/turkish-tts-eval.
Рис. 3
FLEURS tr_tr test · 743 записи
mihu-umay-v1
openai/whisper-large-v3
turkmedstt/whisper-large-v3-turkish-general
balbal-v2-manas
openai/whisper-large-v3-turbo
mihuai/turkish-stt-66m-v2
balbal-v2
Qwen/Qwen3-ASR-1.7B
PatientDesk/Duyu-small
Рисунок 2. Рівень помилок у словах у %, що нижче, то краще; турецька мова, середнє правило оцінювання (варіанти чисел і форматів зараховуються). mihu-umay-v1 посідає перше місце з 9 на читаному мовленні. Стовпці, що виходять за вісь, обрізано й позначено →.
Розбірливість синтезованого мовлення
mihuai/turkish-tts-evalРисунок 3. Кожна система читає ті самі 1 273 речення кол-центру з відкритого набору даних mihuai/turkish-tts-eval; незалежний розпізнавач транскрибує аудіо. Рівень помилок у словах у %: що нижче, то легше зрозуміти мовлення. Сім турецьких систем синтезу мовлення; усі графіки й таблиці — на сторінці бенчмарків.
Таблиця 2. Природність того самого синтезованого аудіо. Прогнозовані оцінки якості, що вище, то краще; найкращий результат у кожному стовпці виділено жирним.
| Система | UTMOSv2 | SCOREQ | DNSMOS Pro |
|---|---|---|---|
| mihu-ses-v1 | 3.31 | 4.10 | 3.64 |
| Antalia-2 Mini | 2.78 | 3.36 | 3.63 |
| Trendyol-TTS | 2.88 | 4.25 | 3.91 |
| EMA Lightning 1.1.2 | 2.68 | 3.54 | 3.25 |
| Anka TTS 0.1.6 | 2.66 | 3.55 | 3.93 |
| FreyaTTS-small | 2.45 | 2.57 | 3.18 |
mihu-ses-v1 має найвищу оцінку UTMOSv2 загалом і в усіх 13 категоріях речень набору. Три предиктори не узгоджуються між собою і не замінюють прослуховування людьми.
Два турецькі тестові набори для синтезу мовлення
кол-центр проти повсякденного мовлення
Наш еталонний набір для мовлення контакт-центрів, змодельований на реальних розмовах із клієнтами: суми, номери рахунків і документів, адреси, e-mail і вебадреси, імена по літерах і змішані формати. Складний навмисно.
Повсякденний розмовний набір: короткі речення з 3–13 слів про щоденне життя, запитання та вигуки, майже без чисел і кодів. Простіший, тому всі системи мають тут нижчі показники помилок.
Рівень помилок у словах на freya-tr-eval, %
Оцінювання — як на рисунку 3. На розмовному наборі провідні системи відрізняються лише на частки відсотка; різниця між системами проявляється на наборі кол-центру.
Рисунок 4. Набір кол-центру вимірює те, що контакт-центр має прочитати правильно; повсякденний набір — звичайне розмовне мовлення. Що нижчий рівень помилок у словах, то краще.
Таблиця 3. Показники живого сервісу, регіон Туреччина, 3 листопада 2026 р.
| Вимірювання | Налаштування | Результат |
|---|---|---|
| Швидкість транскрибування файлів, 743 записи | швидкий режим | 19,5× реального часу |
| Швидкість транскрибування файлів, 743 записи | звичайний режим | 8,5× реального часу |
| Збої, відсутні або порожні результати | 743 записи | 0 |
| Рівень помилок у словах для адрес, 500 адрес, 8 кГц | без → з підказками назв місць | 2,22 % → 1,68 % |
| Повністю правильні речення з адресами, 8 кГц | без → з підказками назв місць | 92,6 % → 97,2 % |
| Правильно розпізнаний мікрорайон, 8 кГц | без → з підказками назв місць | 95,6 % → 98,2 % |
Метод. Скрізь середнє правило оцінювання. Телефон: публічний турецький телефонний тестовий набір, використаний лише для тестування. ЗМІ: враховано тільки 502 записи MediaSpeech, відкладені від навчання mihu. Швидкість виміряно наскрізно через публічний API, з урахуванням мережі. Аудіо адрес синтетичне.
Хочете бачити свою систему в цих таблицях?
Надайте нам доступ до API або модель, і ми проженемо її на тих самих тестових наборах з тим самим оцінюванням, спершу покажемо результати вам і опублікуємо їх тут, якими б вони не були.