mihu voice

Звіт про оцінювання · листопад 2026

Бенчмарки

Розпізнавання й синтез мовлення для живих дзвінків під час перевірки: Umay і SES 7 мовами, усі системи оцінено однаково.

Umay V1 · багатомовне потокове розпізнавання мовлення з наднизькою затримкою

Рівень помилок у словах · Турецька · читане мовлення

WER % · Тестовий набір FLEURS tr_tr, 743 записи · логарифмічна шкала · що нижче, то краще

125102050100
1Umay3.42
2whisper-large-v33.52
3whisper-large-v3-turkish-general3.94
4balbal-v2-manas4.20
5whisper-large-v3-turbo4.30
6turkish-stt-66m-v25.28
7balbal-v25.41
8Qwen3-ASR-1.7B6.48
9Duyu-small6.72
UmayOpenAI · Whisperturkmedsttbalbalmihu · turkish-sttQwenPatientDesk

SES V1 · потокове виразне мовлення

Наскільки добре слухач розуміє кожен турецький голос, наскільки природно він звучить і як справляється з числами, адресами й кодами.

Рівень помилок у словах синтезованого мовлення

Турецька, WER % · кожна система читає 1 273 речення turkish-tts-eval, Whisper large-v3 транскрибує їх на 8 кГц (телефонна якість) · логарифмічна шкала · що нижче, то краще

25102050100
1SES3.38
2Antalia-2 Mini3.52
3EMA7.88
4Piper9.36
5Anka9.79
6Trendyol TTS11.07
7XTTS v214.65
8Antalia-118.17
9MMS-TTS29.09
10Chatterbox34.43
11FreyaTTS-small40.84
12Glow-TTS56.09
SESPatientDeskEMARhasspy · PiperAnkaTrendyolCoqui · XTTSMeta · MMSResemble · ChatterboxFreyaTTSGlow-TTS

Тестований голос: SES тестували з голосом Alp, стандартним турецьким голосом живого API. Інші вкладки використовують той самий голос. Тестовий набір складено з того, що говорять у кол-центрах: адреси, суми, дати, коди, скорочення та повсякденне мовлення; e-mail і вебадреси оцінюються окремо. Тестові речення: тести turkish-tts-eval.

SES · ще шість мов

SES порівняно з open-source моделями англійською, німецькою, іспанською, французькою, італійською та російською, з найкращим голосом для кожної мови.

Рівень помилок у словах · Англійська

100 речень · Whisper large-v3 на 8 кГц · логарифмічна шкала · що нижче, то краще

0.51251020
1SES1.29
2XTTS v22.19
3VoxCPM22.72
4Chatterbox4.15
5Qwen3-TTS12.82
SESCoqui · XTTSVoxCPM2Resemble · ChatterboxQwen

Тестований голос: SES тестували з голосом Oliver.

SES · швидкість

Виміряно на CPU, на тому самому образі, що й для локального постачання.

Час до першого звуку

SES на CPU, потоково · від запиту до перших байтів аудіо, медіана · що нижче, то краще

Турецька0.10 с
Англійська0.11 с
Німецька0.11 с
Французька0.15 с
Іспанська0.12 с
Італійська0.13 с
Російська0.31 с

Аудіо передається потоком, поки речення ще генерується, тож абонент чує відповідь майже одразу.

Метод

Як вимірювали цифри.

Оцінювання розпізнавання мовленняРівень помилок у словах після нормалізації чисел і форматів (і “15”, і “on beş” зараховуються як правильні); правило та його код публічні.
Оцінювання синтезу мовленняКожна система читає тестові речення; Whisper large-v3 транскрибує аудіо на 8 кГц, з якістю телефонної лінії; рівень помилок у словах відносно вихідного тексту.
ПриродністьТри моделі, кожна з яких прогнозує середню суб’єктивну оцінку слухача (1–5): UTMOSv2, SCOREQ, DNSMOS Pro.
Розпізнавання мовлення, ще шість мовТестові набори FLEURS (647–908 записів на мову), ті самі записи через змодельовану телефонну лінію та реальні телефонні дзвінки Sierra (англійська — 817, іспанська — 792). Рівень помилок у словах після нормалізації чисел і форматів.
Тестові набориturkish-tts-eval (1 273 речення), Freya-TR-Eval, FLEURS tr_tr, MediaSpeech TR, турецькі телефонні дзвінки; по 100 речень для кожної з інших мов.
ДатаЛистопад 2026.

Хочете бачити свою систему на цих графіках? Надішліть доступ до API або модель на [email protected], і ми проженемо її на тих самих наборах.

Перевірте цифри

Усе, що потрібно для повторення тесту, є у відкритому доступі, зокрема наше правило оцінювання.

  1. 01Візьміть тестові речення

    Турецький синтез мовлення: turkish-tts-eval (1 273 речення). Розпізнавання мовлення: публічні тестові набори FLEURS і MediaSpeech.

  2. 02Запустіть Umay або SES

    Отримайте API-ключ і надішліть те саме аудіо чи текст, як описано в документації. Запустіть інші системи на тих самих вхідних даних.

  3. 03Оцініть усі системи однаково

    Розпізнавання мовлення: рівень помилок у словах відносно еталона. Синтез мовлення: транскрибуйте аудіо за допомогою Whisper large-v3 на 8 кГц, потім рівень помилок у словах відносно вихідного тексту. Природність: UTMOSv2, SCOREQ, DNSMOS Pro.

  4. 04Порівняйте з нашими

    Нормалізація чисел і форматів змінює результат на пункт і більше. Оцінюйте за нашим правилом оцінювання, щоб ваші цифри були порівнянні з цією сторінкою; питання — на [email protected].

Найкращий тест — ваші власні дзвінки. Бенчмарки — лише відправна точка; спробуйте Umay і SES на записах із ваших власних ліній.

mihu voice1