mihu voice

Отчёт об оценке · ноябрь 2026

Бенчмарки

Распознавание и синтез речи для звонков в реальном времени на проверке: Umay и SES на 7 языках, все системы оценены одинаково.

Umay V1 · Многоязычное ASR со сверхнизкой задержкой и потоковой выдачей

Доля ошибок на уровне слов · Турецкий · читаемая речь

WER % · Тестовый набор FLEURS tr_tr, 743 записи · логарифмическая шкала · чем ниже, тем лучше

125102050100
1Umay3.42
2whisper-large-v33.52
3whisper-large-v3-turkish-general3.94
4balbal-v2-manas4.20
5whisper-large-v3-turbo4.30
6turkish-stt-66m-v25.28
7balbal-v25.41
8Qwen3-ASR-1.7B6.48
9Duyu-small6.72
UmayOpenAI · Whisperturkmedsttbalbalmihu · turkish-sttQwenPatientDesk

SES V1 · Streaming Expressive Speech

Насколько хорошо слушатель понимает каждый турецкий голос, насколько естественно он звучит и как справляется с числами, адресами и кодами.

Доля ошибок на уровне слов в синтезированной речи

Турецкий, WER % · каждая система читает 1273 предложения из turkish-tts-eval, Whisper large-v3 расшифровывает их при 8 кГц (телефонное качество) · логарифмическая шкала · чем ниже, тем лучше

25102050100
1SES3.38
2Antalia-2 Mini3.52
3EMA7.88
4Piper9.36
5Anka9.79
6Trendyol TTS11.07
7XTTS v214.65
8Antalia-118.17
9MMS-TTS29.09
10Chatterbox34.43
11FreyaTTS-small40.84
12Glow-TTS56.09
SESPatientDeskEMARhasspy · PiperAnkaTrendyolCoqui · XTTSMeta · MMSResemble · ChatterboxFreyaTTSGlow-TTS

Протестированный голос: SES тестировалась с голосом Alp — турецким голосом по умолчанию в рабочем API. На других вкладках используется тот же голос. Тестовый набор составлен из того, что говорят в колл-центрах: адреса, суммы, даты, коды, сокращения и повседневная речь; e-mail и веб-адреса оцениваются отдельно. Тестовые предложения: тесты turkish-tts-eval.

SES · ещё шесть языков

SES в сравнении с открытыми моделями на английском, немецком, испанском, французском, итальянском и русском, с лучшим голосом на каждом языке.

Доля ошибок · Английский

100 предложений · Whisper large-v3 при 8 кГц · логарифмическая шкала · чем ниже, тем лучше

0.51251020
1SES1.29
2XTTS v22.19
3VoxCPM22.72
4Chatterbox4.15
5Qwen3-TTS12.82
SESCoqui · XTTSVoxCPM2Resemble · ChatterboxQwen

Протестированный голос: SES тестировалась с голосом Oliver.

SES · скорость

Измерено на CPU, на том же образе, что и в on-premises-поставке.

Время до первого звука

SES на CPU, потоковый режим · от запроса до первых байтов аудио, медиана · чем ниже, тем лучше

Турецкий0.10 с
Английский0.11 с
Немецкий0.11 с
Французский0.15 с
Испанский0.12 с
Итальянский0.13 с
Русский0.31 с

Аудио передаётся, пока предложение ещё генерируется, поэтому звонящий слышит ответ почти сразу.

Методика

Как измерялись цифры.

Оценка распознавания речиДоля ошибок на уровне слов после нормализации чисел и форматов (и «15», и «on beş» засчитываются как верные); правило и его код открыты.
Оценка синтеза речиКаждая система читает тестовые предложения; Whisper large-v3 расшифровывает аудио при 8 кГц — качество телефонной линии; доля ошибок на уровне слов считается относительно исходного текста.
ЕстественностьТри модели, каждая из которых предсказывает среднюю экспертную оценку слушателя (1–5): UTMOSv2, SCOREQ, DNSMOS Pro.
Распознавание речи, ещё шесть языковТестовые наборы FLEURS (647–908 записей на язык), те же записи через симулированную телефонную линию и реальные телефонные звонки Sierra (английский — 817, испанский — 792). Доля ошибок на уровне слов после нормализации чисел и форматов.
Тестовые наборыturkish-tts-eval (1273 предложения), Freya-TR-Eval, FLEURS tr_tr, MediaSpeech TR, турецкие телефонные звонки; по 100 предложений на каждый из остальных языков.
ДатаНоябрь 2026 г.

Хотите видеть свою систему на этих графиках? Отправьте доступ к API или модель на [email protected], и мы прогоним её на тех же наборах.

Проверьте цифры

Всё, что нужно для повторения теста, находится в открытом доступе, включая наше правило оценки.

  1. 01Возьмите тестовые предложения

    Синтез турецкой речи: turkish-tts-eval (1273 предложения). Распознавание речи: открытые тестовые наборы FLEURS и MediaSpeech.

  2. 02Запустите Umay или SES

    Получите API-ключ и отправьте то же аудио или текст, как описано в документации. Запустите другие системы на тех же входных данных.

  3. 03Оцените все системы одинаково

    Распознавание речи: доля ошибок на уровне слов относительно эталона. Синтез речи: расшифруйте аудио с помощью Whisper large-v3 при 8 кГц, затем посчитайте долю ошибок относительно исходного текста. Естественность: UTMOSv2, SCOREQ, DNSMOS Pro.

  4. 04Сравните с нашими результатами

    Нормализация чисел и форматов меняет результат на пункт и более. Оценивайте по нашему правилу оценки, чтобы ваши цифры были сопоставимы с этой страницей; вопросы — на [email protected].

Лучший тест — ваши собственные звонки. Бенчмарки — это отправная точка; попробуйте Umay и SES на записях с ваших собственных линий.

mihu voice1