Отчёт об оценке · ноябрь 2026
Измерено на телефонном аудио, а не на демо.
Три открытых турецких тестовых набора, 500 произнесённых адресов и 1273 предложения для синтеза — все системы оценены одинаково. Чем ниже доля ошибок на уровне слов, тем лучше.
3.42%
WER на читаемой речи
Турецкий тестовый набор FLEURS, 743 записи. Лучший результат в сравнении.
Рис. 2
1.68%
WER на произнесённых адресах
500 адресов, 8 кГц, с подсказками мест.
Табл. 3
19.5×
быстрее реального времени
Файлы через API в Турции, быстрый режим.
Табл. 3
3.38%
Доля ошибок TTS
1273 предложения из открытого набора mihuai/turkish-tts-eval.
Рис. 3
FLEURS tr_tr test · 743 записи
mihu-umay-v1
openai/whisper-large-v3
turkmedstt/whisper-large-v3-turkish-general
balbal-v2-manas
openai/whisper-large-v3-turbo
mihuai/turkish-stt-66m-v2
balbal-v2
Qwen/Qwen3-ASR-1.7B
PatientDesk/Duyu-small
Рисунок 2. Доля ошибок на уровне слов в %, чем ниже, тем лучше, турецкий язык, средний уровень строгости (варианты записи чисел и форматов засчитываются). mihu-umay-v1 занимает первое место из 9 на читаемой речи. Столбцы, выходящие за ось, обрезаны и отмечены →.
Разборчивость синтезированной речи
mihuai/turkish-tts-evalРисунок 3. Каждая система читает одни и те же 1273 предложения колл-центра из открытого набора данных mihuai/turkish-tts-eval; независимый распознаватель расшифровывает аудио. Доля ошибок на уровне слов в %; чем ниже, тем легче понять речь. Семь турецких систем TTS; все графики и таблицы — на странице бенчмарков.
Таблица 2. Естественность одного и того же синтезированного аудио. Прогнозные оценки качества, чем выше, тем лучше; лучшее значение в каждом столбце выделено жирным.
| Система | UTMOSv2 | SCOREQ | DNSMOS Pro |
|---|---|---|---|
| mihu-ses-v1 | 3.31 | 4.10 | 3.64 |
| Antalia-2 Mini | 2.78 | 3.36 | 3.63 |
| Trendyol-TTS | 2.88 | 4.25 | 3.91 |
| EMA Lightning 1.1.2 | 2.68 | 3.54 | 3.25 |
| Anka TTS 0.1.6 | 2.66 | 3.55 | 3.93 |
| FreyaTTS-small | 2.45 | 2.57 | 3.18 |
mihu-ses-v1 получает наивысшую оценку UTMOSv2 в целом и во всех 13 категориях предложений набора. Три предиктора расходятся между собой и не заменяют тест с участием живых слушателей.
Два турецких тестовых набора TTS
колл-центр и повседневная речь
Наш эталонный набор для речи контакт-центра, построенный по образцу реальных разговоров с клиентами: суммы, номера счетов и документов, адреса, e-mail и веб-адреса, имена по буквам и смешанные форматы. Сложный по замыслу.
Повседневный разговорный набор: короткие предложения из 3–13 слов о повседневной жизни, вопросы и восклицания, почти без чисел и кодов. Он проще, поэтому у всех систем здесь меньше ошибок.
Доля ошибок на уровне слов на freya-tr-eval, %
Та же методика оценки, что и на рисунке 3. На разговорном наборе лидеры отличаются друг от друга на доли процента; различия между системами проявляются на наборе колл-центра.
Рисунок 4. Набор колл-центра проверяет то, что контакт-центру важно прочитать правильно; повседневный набор — обычную разговорную речь. Чем ниже доля ошибок на уровне слов, тем лучше.
Таблица 3. Показатели работающего сервиса, регион Турция, 3 ноября 2026 г.
| Измерение | Настройка | Результат |
|---|---|---|
| Скорость расшифровки файлов, 743 записи | быстрый режим | 19,5× реального времени |
| Скорость расшифровки файлов, 743 записи | обычный режим | 8,5× реального времени |
| Сбои, пропущенные или пустые результаты | 743 записи | 0 |
| Доля ошибок в адресах, 500 адресов, 8 кГц | без → с подсказками мест | 2,22 % → 1,68 % |
| Полностью верные предложения с адресом, 8 кГц | без → с подсказками мест | 92,6 % → 97,2 % |
| Квартал распознан верно, 8 кГц | без → с подсказками мест | 95,6 % → 98,2 % |
Методика. Везде применяется средний уровень строгости оценки. Телефон: открытый турецкий телефонный тестовый набор, используемый только для тестирования. СМИ: учитываются только 502 записи MediaSpeech, исключённые из обучения mihu. Скорость измерена от начала до конца через публичный API, включая сеть. Аудио с адресами синтетическое.
Хотите видеть свою систему в этих таблицах?
Предоставьте нам доступ к API или модель, и мы прогоним её на тех же тестовых наборах с той же оценкой, сначала покажем результаты вам и опубликуем их здесь, какими бы они ни были.