mihu voice

Доклад от оценка · ноември 2026

Бенчмаркове

Разпознаване и синтез на реч за разговори на живо, подложени на тест: Umay и SES на 7 езика, всяка система оценена по един и същ начин.

Umay V1 · Многоезично ASR с ултраниско забавяне и поточни резултати

Грешки на ниво дума · Турски · четена реч

WER % · Тестов набор FLEURS tr_tr, 743 клипа · логаритмична скала · по-ниското е по-добро

125102050100
1Umay3.42
2whisper-large-v33.52
3whisper-large-v3-turkish-general3.94
4balbal-v2-manas4.20
5whisper-large-v3-turbo4.30
6turkish-stt-66m-v25.28
7balbal-v25.41
8Qwen3-ASR-1.7B6.48
9Duyu-small6.72
UmayOpenAI · Whisperturkmedsttbalbalmihu · turkish-sttQwenPatientDesk

SES V1 · Streaming Expressive Speech

Колко добре слушателят разбира всеки турски глас, колко естествено звучи той и как се справя с числа, адреси и кодове.

Грешки на ниво дума в изговорения резултат

Турски, WER % · всяка система чете 1273-те изречения от turkish-tts-eval, Whisper large-v3 ги транскрибира при 8 kHz (телефонно качество) · логаритмична скала · по-ниското е по-добро

25102050100
1SES3.38
2Antalia-2 Mini3.52
3EMA7.88
4Piper9.36
5Anka9.79
6Trendyol TTS11.07
7XTTS v214.65
8Antalia-118.17
9MMS-TTS29.09
10Chatterbox34.43
11FreyaTTS-small40.84
12Glow-TTS56.09
SESPatientDeskEMARhasspy · PiperAnkaTrendyolCoqui · XTTSMeta · MMSResemble · ChatterboxFreyaTTSGlow-TTS

Тестван глас: SES беше тестван с Alp, турския глас по подразбиране на API на живо. Другите раздели използват същия глас. Тестовият набор е съставен от това, което се казва в кол центровете: адреси, суми, дати, кодове, съкращения и ежедневна реч; имейл и уеб адресите се оценяват отделно. Тестови изречения: тестове на turkish-tts-eval.

SES · още шест езика

SES срещу модели с отворен код на английски, немски, испански, френски, италиански и руски, с най-добрия си глас за всеки език.

Грешки на ниво дума · Английски

100 изречения · Whisper large-v3 при 8 kHz · логаритмична скала · по-ниското е по-добро

0.51251020
1SES1.29
2XTTS v22.19
3VoxCPM22.72
4Chatterbox4.15
5Qwen3-TTS12.82
SESCoqui · XTTSVoxCPM2Resemble · ChatterboxQwen

Тестван глас: SES беше тестван с Oliver.

SES · скорост

Измерено на CPU със същия образ като при on-premises доставката.

Време до първия звук

SES на CPU, поточно · от заявката до първите байтове аудио, медиана · по-ниското е по-добро

Турски0.10 s
Английски0.11 s
Немски0.11 s
Френски0.15 s
Испански0.12 s
Италиански0.13 s
Руски0.31 s

Аудиото се предава, докато изречението още се генерира, така че обаждащият се чува отговора почти веднага.

Методика

Как бяха измерени числата.

Оценка на реч в текстПроцент грешки на ниво дума след нормализиране на числата и форматите (и „15“, и „on beş“ се броят за правилни); правилото и кодът му са публични.
Оценка на текст в речВсяка система чете тестовите изречения; Whisper large-v3 транскрибира аудиото при 8 kHz, качеството на телефонна линия; процентът грешки се изчислява спрямо изходния текст.
ЕстественостТри модела, всеки от които прогнозира средната оценка на мнението на слушател (1–5): UTMOSv2, SCOREQ, DNSMOS Pro.
Реч в текст, още шест езикаТестовите набори FLEURS (647–908 клипа на език), същите клипове през симулирана телефонна линия и реални телефонни разговори Sierra (английски 817, испански 792). Процент грешки на ниво дума след нормализиране на числата и форматите.
Тестови набориturkish-tts-eval (1273 изречения), Freya-TR-Eval, FLEURS tr_tr, MediaSpeech TR, турски телефонни разговори; по 100 изречения на език за останалите езици.
ДатаНоември 2026 г.

Искате ли вашата система в тези графики? Изпратете достъп до API или модела на [email protected] и ще го пуснем на същите набори.

Проверете числата

Всичко необходимо за повтаряне на тест е публично, включително нашето правило за оценка.

  1. 01Вземете тестовите изречения

    Турски текст в реч: turkish-tts-eval (1273 изречения). Реч в текст: публичните тестови набори FLEURS и MediaSpeech.

  2. 02Пуснете Umay или SES

    Вземете API ключ и изпратете същото аудио или текст, както е описано в документацията. Пуснете другите системи със същия вход.

  3. 03Оценете всяка система по един и същ начин

    Реч в текст: процент грешки на ниво дума спрямо референцията. Текст в реч: транскрибирайте аудиото с Whisper large-v3 при 8 kHz, след това процент грешки спрямо изходния текст. Естественост: UTMOSv2, SCOREQ, DNSMOS Pro.

  4. 04Сравнете с нашите резултати

    Нормализирането на числата и форматите променя резултата с един пункт или повече. Оценявайте с нашето правило за оценка, за да са вашите числа сравними с тази страница; въпроси на [email protected].

Най-добрият тест: вашите собствени разговори. Бенчмарковете са отправна точка; изпробвайте Umay и SES със записи от вашите собствени линии.

mihu voice1