Доклад от оценка · ноември 2026
Измерено върху телефонно аудио, не върху демота.
Три публични турски тестови набора, 500 изговорени адреса и 1273 изречения за синтез, оценени по един и същ начин за всяка система. По-ниският процент грешки на ниво дума е по-добър.
3.42%
WER при четена реч
Турският тестов набор FLEURS, 743 клипа. Най-нисък в сравнението.
Фиг. 2
1.68%
WER при изговорени адреси
500 адреса, 8 kHz, с подсказки за места.
Таблица 3
19.5×
по-бързо от реалното време
Файлове през API в Турция, бърз режим.
Таблица 3
3.38%
Грешки на ниво дума при TTS
1273 изречения от отворения набор mihuai/turkish-tts-eval.
Фиг. 3
FLEURS tr_tr test · 743 клипа
mihu-umay-v1
openai/whisper-large-v3
turkmedstt/whisper-large-v3-turkish-general
balbal-v2-manas
openai/whisper-large-v3-turbo
mihuai/turkish-stt-66m-v2
balbal-v2
Qwen/Qwen3-ASR-1.7B
PatientDesk/Duyu-small
Фигура 2. Процент грешки на ниво дума, по-ниският е по-добър, турски, средно строго правило за оценка (вариантите на числа и формати се приемат). mihu-umay-v1 е първи от 9 при четена реч. Стълбовете, които излизат извън оста, са отрязани и отбелязани с →.
Разбираемост на синтезираната реч
mihuai/turkish-tts-evalФигура 3. Всяка система чете едни и същи 1273 изречения от кол център от отворения набор от данни mihuai/turkish-tts-eval; независим разпознавател транскрибира аудиото. Процент грешки на ниво дума; по-ниският означава, че речта се разбира по-лесно. Седем турски TTS системи; всички графики и таблици са на страницата с бенчмаркове.
Таблица 2. Естественост на едно и също синтезирано аудио. Прогнозни оценки за качество, по-високата е по-добра; най-добрата във всяка колона е с удебелен шрифт.
| Система | UTMOSv2 | SCOREQ | DNSMOS Pro |
|---|---|---|---|
| mihu-ses-v1 | 3.31 | 4.10 | 3.64 |
| Antalia-2 Mini | 2.78 | 3.36 | 3.63 |
| Trendyol-TTS | 2.88 | 4.25 | 3.91 |
| EMA Lightning 1.1.2 | 2.68 | 3.54 | 3.25 |
| Anka TTS 0.1.6 | 2.66 | 3.55 | 3.93 |
| FreyaTTS-small | 2.45 | 2.57 | 3.18 |
mihu-ses-v1 има най-високата оценка UTMOSv2 като цяло и във всички 13 категории изречения от набора. Трите предиктора не са съгласни помежду си и не заместват тест със слушатели.
Два турски TTS тестови набора
кол център срещу ежедневна реч
Нашият референтен набор за речта в контактни центрове, моделиран по реални разговори с клиенти: суми, номера на сметки и лични номера, адреси, имейл и уеб адреси, имена, изговорени буква по буква, и смесени формати. Труден по замисъл.
Ежедневен разговорен набор: кратки изречения от 3 до 13 думи за всекидневието, въпроси и възклицания, с малко числа или кодове. По-лесен, затова тук всяка система постига по-ниски стойности.
Процент грешки на ниво дума при freya-tr-eval, %
Същата оценка като във Фигура 3. При разговорния набор водещите системи са на части от процента една от друга; наборът за кол център е мястото, където системите се разграничават.
Фигура 4. Наборът за кол център измерва това, което един контактен център има нужда да бъде прочетено правилно; ежедневният набор измерва обикновената разговорна реч. По-ниският процент грешки е по-добър.
Таблица 3. Показатели на услугата на живо, регион Турция, 3 ноември 2026 г.
| Измерване | Настройка | Резултат |
|---|---|---|
| Скорост на транскрибиране на файлове, 743 клипа | бърз режим | 19,5× реално време |
| Скорост на транскрибиране на файлове, 743 клипа | нормален режим | 8,5× реално време |
| Неуспешни, липсващи или празни резултати | 743 клипа | 0 |
| Грешки на ниво дума при адреси, 500 адреса, 8 kHz | без → с подсказки за места | 2,22 % → 1,68 % |
| Изцяло правилни изречения с адрес, 8 kHz | без → с подсказки за места | 92,6 % → 97,2 % |
| Правилно разпознат квартал, 8 kHz | без → с подсказки за места | 95,6 % → 98,2 % |
Методика. Навсякъде е използвано средно строго правило за оценка. Телефон: публичен турски телефонен тестов набор, използван само за тестване. Медии: броят се само 502-та клипа от MediaSpeech, изключени от обучението на mihu. Скоростта е измерена от край до край през публичния API, включително мрежата. Аудиото с адресите е синтетично.
Искате ли вашата система в тези таблици?
Изпратете ни достъп до API или модела и ще го пуснем на същите тестови набори със същата оценка, ще ви покажем резултатите първо на вас и ще ги публикуваме тук, каквито и да са.