Отчёт об оценке · ноябрь 2026
Бенчмарки
Распознавание и синтез речи для звонков в реальном времени на проверке: Umay и SES на 7 языках, все системы оценены одинаково.
Umay V1 · Многоязычное ASR со сверхнизкой задержкой и потоковой выдачей
Доля ошибок на уровне слов · Турецкий · читаемая речь
WER % · Тестовый набор FLEURS tr_tr, 743 записи · логарифмическая шкала · чем ниже, тем лучше
SES V1 · Streaming Expressive Speech
Насколько хорошо слушатель понимает каждый турецкий голос, насколько естественно он звучит и как справляется с числами, адресами и кодами.
Доля ошибок на уровне слов в синтезированной речи
Турецкий, WER % · каждая система читает 1273 предложения из turkish-tts-eval, Whisper large-v3 расшифровывает их при 8 кГц (телефонное качество) · логарифмическая шкала · чем ниже, тем лучше
Протестированный голос: SES тестировалась с голосом Alp — турецким голосом по умолчанию в рабочем API. На других вкладках используется тот же голос. Тестовый набор составлен из того, что говорят в колл-центрах: адреса, суммы, даты, коды, сокращения и повседневная речь; e-mail и веб-адреса оцениваются отдельно. Тестовые предложения: тесты turkish-tts-eval.
SES · ещё шесть языков
SES в сравнении с открытыми моделями на английском, немецком, испанском, французском, итальянском и русском, с лучшим голосом на каждом языке.
Доля ошибок · Английский
100 предложений · Whisper large-v3 при 8 кГц · логарифмическая шкала · чем ниже, тем лучше
Протестированный голос: SES тестировалась с голосом Oliver.
SES · скорость
Измерено на CPU, на том же образе, что и в on-premises-поставке.
Время до первого звука
SES на CPU, потоковый режим · от запроса до первых байтов аудио, медиана · чем ниже, тем лучше
Аудио передаётся, пока предложение ещё генерируется, поэтому звонящий слышит ответ почти сразу.
Методика
Как измерялись цифры.
| Оценка распознавания речи | Доля ошибок на уровне слов после нормализации чисел и форматов (и «15», и «on beş» засчитываются как верные); правило и его код открыты. |
| Оценка синтеза речи | Каждая система читает тестовые предложения; Whisper large-v3 расшифровывает аудио при 8 кГц — качество телефонной линии; доля ошибок на уровне слов считается относительно исходного текста. |
| Естественность | Три модели, каждая из которых предсказывает среднюю экспертную оценку слушателя (1–5): UTMOSv2, SCOREQ, DNSMOS Pro. |
| Распознавание речи, ещё шесть языков | Тестовые наборы FLEURS (647–908 записей на язык), те же записи через симулированную телефонную линию и реальные телефонные звонки Sierra (английский — 817, испанский — 792). Доля ошибок на уровне слов после нормализации чисел и форматов. |
| Тестовые наборы | turkish-tts-eval (1273 предложения), Freya-TR-Eval, FLEURS tr_tr, MediaSpeech TR, турецкие телефонные звонки; по 100 предложений на каждый из остальных языков. |
| Дата | Ноябрь 2026 г. |
Хотите видеть свою систему на этих графиках? Отправьте доступ к API или модель на [email protected], и мы прогоним её на тех же наборах.
Проверьте цифры
Всё, что нужно для повторения теста, находится в открытом доступе, включая наше правило оценки.
- 01Возьмите тестовые предложения
Синтез турецкой речи: turkish-tts-eval (1273 предложения). Распознавание речи: открытые тестовые наборы FLEURS и MediaSpeech.
- 02Запустите Umay или SES
Получите API-ключ и отправьте то же аудио или текст, как описано в документации. Запустите другие системы на тех же входных данных.
- 03Оцените все системы одинаково
Распознавание речи: доля ошибок на уровне слов относительно эталона. Синтез речи: расшифруйте аудио с помощью Whisper large-v3 при 8 кГц, затем посчитайте долю ошибок относительно исходного текста. Естественность: UTMOSv2, SCOREQ, DNSMOS Pro.
- 04Сравните с нашими результатами
Нормализация чисел и форматов меняет результат на пункт и более. Оценивайте по нашему правилу оценки, чтобы ваши цифры были сопоставимы с этой страницей; вопросы — на [email protected].
Лучший тест — ваши собственные звонки. Бенчмарки — это отправная точка; попробуйте Umay и SES на записях с ваших собственных линий.