Звіт про оцінювання · листопад 2026
Бенчмарки
Розпізнавання й синтез мовлення для живих дзвінків під час перевірки: Umay і SES 7 мовами, усі системи оцінено однаково.
Umay V1 · багатомовне потокове розпізнавання мовлення з наднизькою затримкою
Рівень помилок у словах · Турецька · читане мовлення
WER % · Тестовий набір FLEURS tr_tr, 743 записи · логарифмічна шкала · що нижче, то краще
SES V1 · потокове виразне мовлення
Наскільки добре слухач розуміє кожен турецький голос, наскільки природно він звучить і як справляється з числами, адресами й кодами.
Рівень помилок у словах синтезованого мовлення
Турецька, WER % · кожна система читає 1 273 речення turkish-tts-eval, Whisper large-v3 транскрибує їх на 8 кГц (телефонна якість) · логарифмічна шкала · що нижче, то краще
Тестований голос: SES тестували з голосом Alp, стандартним турецьким голосом живого API. Інші вкладки використовують той самий голос. Тестовий набір складено з того, що говорять у кол-центрах: адреси, суми, дати, коди, скорочення та повсякденне мовлення; e-mail і вебадреси оцінюються окремо. Тестові речення: тести turkish-tts-eval.
SES · ще шість мов
SES порівняно з open-source моделями англійською, німецькою, іспанською, французькою, італійською та російською, з найкращим голосом для кожної мови.
Рівень помилок у словах · Англійська
100 речень · Whisper large-v3 на 8 кГц · логарифмічна шкала · що нижче, то краще
Тестований голос: SES тестували з голосом Oliver.
SES · швидкість
Виміряно на CPU, на тому самому образі, що й для локального постачання.
Час до першого звуку
SES на CPU, потоково · від запиту до перших байтів аудіо, медіана · що нижче, то краще
Аудіо передається потоком, поки речення ще генерується, тож абонент чує відповідь майже одразу.
Метод
Як вимірювали цифри.
| Оцінювання розпізнавання мовлення | Рівень помилок у словах після нормалізації чисел і форматів (і “15”, і “on beş” зараховуються як правильні); правило та його код публічні. |
| Оцінювання синтезу мовлення | Кожна система читає тестові речення; Whisper large-v3 транскрибує аудіо на 8 кГц, з якістю телефонної лінії; рівень помилок у словах відносно вихідного тексту. |
| Природність | Три моделі, кожна з яких прогнозує середню суб’єктивну оцінку слухача (1–5): UTMOSv2, SCOREQ, DNSMOS Pro. |
| Розпізнавання мовлення, ще шість мов | Тестові набори FLEURS (647–908 записів на мову), ті самі записи через змодельовану телефонну лінію та реальні телефонні дзвінки Sierra (англійська — 817, іспанська — 792). Рівень помилок у словах після нормалізації чисел і форматів. |
| Тестові набори | turkish-tts-eval (1 273 речення), Freya-TR-Eval, FLEURS tr_tr, MediaSpeech TR, турецькі телефонні дзвінки; по 100 речень для кожної з інших мов. |
| Дата | Листопад 2026. |
Хочете бачити свою систему на цих графіках? Надішліть доступ до API або модель на [email protected], і ми проженемо її на тих самих наборах.
Перевірте цифри
Усе, що потрібно для повторення тесту, є у відкритому доступі, зокрема наше правило оцінювання.
- 01Візьміть тестові речення
Турецький синтез мовлення: turkish-tts-eval (1 273 речення). Розпізнавання мовлення: публічні тестові набори FLEURS і MediaSpeech.
- 02Запустіть Umay або SES
Отримайте API-ключ і надішліть те саме аудіо чи текст, як описано в документації. Запустіть інші системи на тих самих вхідних даних.
- 03Оцініть усі системи однаково
Розпізнавання мовлення: рівень помилок у словах відносно еталона. Синтез мовлення: транскрибуйте аудіо за допомогою Whisper large-v3 на 8 кГц, потім рівень помилок у словах відносно вихідного тексту. Природність: UTMOSv2, SCOREQ, DNSMOS Pro.
- 04Порівняйте з нашими
Нормалізація чисел і форматів змінює результат на пункт і більше. Оцінюйте за нашим правилом оцінювання, щоб ваші цифри були порівнянні з цією сторінкою; питання — на [email protected].
Найкращий тест — ваші власні дзвінки. Бенчмарки — лише відправна точка; спробуйте Umay і SES на записах із ваших власних ліній.