Доклад от оценка · ноември 2026
Бенчмаркове
Разпознаване и синтез на реч за разговори на живо, подложени на тест: Umay и SES на 7 езика, всяка система оценена по един и същ начин.
Umay V1 · Многоезично ASR с ултраниско забавяне и поточни резултати
Грешки на ниво дума · Турски · четена реч
WER % · Тестов набор FLEURS tr_tr, 743 клипа · логаритмична скала · по-ниското е по-добро
SES V1 · Streaming Expressive Speech
Колко добре слушателят разбира всеки турски глас, колко естествено звучи той и как се справя с числа, адреси и кодове.
Грешки на ниво дума в изговорения резултат
Турски, WER % · всяка система чете 1273-те изречения от turkish-tts-eval, Whisper large-v3 ги транскрибира при 8 kHz (телефонно качество) · логаритмична скала · по-ниското е по-добро
Тестван глас: SES беше тестван с Alp, турския глас по подразбиране на API на живо. Другите раздели използват същия глас. Тестовият набор е съставен от това, което се казва в кол центровете: адреси, суми, дати, кодове, съкращения и ежедневна реч; имейл и уеб адресите се оценяват отделно. Тестови изречения: тестове на turkish-tts-eval.
SES · още шест езика
SES срещу модели с отворен код на английски, немски, испански, френски, италиански и руски, с най-добрия си глас за всеки език.
Грешки на ниво дума · Английски
100 изречения · Whisper large-v3 при 8 kHz · логаритмична скала · по-ниското е по-добро
Тестван глас: SES беше тестван с Oliver.
SES · скорост
Измерено на CPU със същия образ като при on-premises доставката.
Време до първия звук
SES на CPU, поточно · от заявката до първите байтове аудио, медиана · по-ниското е по-добро
Аудиото се предава, докато изречението още се генерира, така че обаждащият се чува отговора почти веднага.
Методика
Как бяха измерени числата.
| Оценка на реч в текст | Процент грешки на ниво дума след нормализиране на числата и форматите (и „15“, и „on beş“ се броят за правилни); правилото и кодът му са публични. |
| Оценка на текст в реч | Всяка система чете тестовите изречения; Whisper large-v3 транскрибира аудиото при 8 kHz, качеството на телефонна линия; процентът грешки се изчислява спрямо изходния текст. |
| Естественост | Три модела, всеки от които прогнозира средната оценка на мнението на слушател (1–5): UTMOSv2, SCOREQ, DNSMOS Pro. |
| Реч в текст, още шест езика | Тестовите набори FLEURS (647–908 клипа на език), същите клипове през симулирана телефонна линия и реални телефонни разговори Sierra (английски 817, испански 792). Процент грешки на ниво дума след нормализиране на числата и форматите. |
| Тестови набори | turkish-tts-eval (1273 изречения), Freya-TR-Eval, FLEURS tr_tr, MediaSpeech TR, турски телефонни разговори; по 100 изречения на език за останалите езици. |
| Дата | Ноември 2026 г. |
Искате ли вашата система в тези графики? Изпратете достъп до API или модела на [email protected] и ще го пуснем на същите набори.
Проверете числата
Всичко необходимо за повтаряне на тест е публично, включително нашето правило за оценка.
- 01Вземете тестовите изречения
Турски текст в реч: turkish-tts-eval (1273 изречения). Реч в текст: публичните тестови набори FLEURS и MediaSpeech.
- 02Пуснете Umay или SES
Вземете API ключ и изпратете същото аудио или текст, както е описано в документацията. Пуснете другите системи със същия вход.
- 03Оценете всяка система по един и същ начин
Реч в текст: процент грешки на ниво дума спрямо референцията. Текст в реч: транскрибирайте аудиото с Whisper large-v3 при 8 kHz, след това процент грешки спрямо изходния текст. Естественост: UTMOSv2, SCOREQ, DNSMOS Pro.
- 04Сравнете с нашите резултати
Нормализирането на числата и форматите променя резултата с един пункт или повече. Оценявайте с нашето правило за оценка, за да са вашите числа сравними с тази страница; въпроси на [email protected].
Най-добрият тест: вашите собствени разговори. Бенчмарковете са отправна точка; изпробвайте Umay и SES със записи от вашите собствени линии.