Raport z ewaluacji · listopad 2026
Benchmarki
Rozpoznawanie i synteza mowy do rozmów na żywo w praktycznym teście: Umay i SES w 7 językach, każdy system oceniany tak samo.
Umay V1 · Ultra-low-latency Multilingual ASR, Yielding streams
Współczynnik błędów słów · turecki · mowa czytana
WER % · Zbiór testowy FLEURS tr_tr, 743 nagrania · skala logarytmiczna · niżej znaczy lepiej
SES V1 · Streaming Expressive Speech
Jak dobrze słuchacz rozumie każdy turecki głos, jak naturalnie on brzmi i jak radzi sobie z liczbami, adresami i kodami.
Współczynnik błędów słów w wypowiedzianym tekście
Turecki, WER % · każdy system czyta 1273 zdania z turkish-tts-eval, Whisper large-v3 transkrybuje je przy 8 kHz (jakość telefoniczna) · skala logarytmiczna · niżej znaczy lepiej
Testowany głos: SES testowano z głosem Alp, domyślnym tureckim głosem działającego API. Pozostałe zakładki używają tego samego głosu. Zbiór testowy zbudowano z tego, co mówi się w call center: adresy, kwoty, daty, kody, skróty i mowa codzienna; adresy e-mail i www są oceniane osobno. Zdania testowe: testy turkish-tts-eval.
SES · sześć kolejnych języków
SES na tle modeli open source w języku angielskim, niemieckim, hiszpańskim, francuskim, włoskim i rosyjskim, z najlepszym głosem w każdym języku.
Współczynnik błędów słów · angielski
100 zdań · Whisper large-v3 przy 8 kHz · skala logarytmiczna · niżej znaczy lepiej
Testowany głos: SES testowano z głosem Oliver.
SES · szybkość
Mierzone na CPU, na tym samym obrazie co wersja on-premises.
Czas do pierwszego dźwięku
SES na CPU, streaming · od żądania do pierwszych bajtów audio, mediana · niżej znaczy lepiej
Dźwięk płynie strumieniowo, gdy zdanie jest jeszcze generowane, więc rozmówca słyszy odpowiedź niemal natychmiast.
Metoda
Jak zmierzono liczby.
| Ocena mowy na tekst | Współczynnik błędów słów po normalizacji liczb i formatów (zarówno „15”, jak i „on beş” liczą się jako poprawne); reguła i jej kod są publiczne. |
| Ocena tekstu na mowę | Każdy system czyta zdania testowe; Whisper large-v3 transkrybuje dźwięk przy 8 kHz, czyli w jakości linii telefonicznej; współczynnik błędów słów względem tekstu źródłowego. |
| Naturalność | Trzy modele, z których każdy przewiduje średnią ocenę opinii słuchacza (1–5): UTMOSv2, SCOREQ, DNSMOS Pro. |
| Mowa na tekst, sześć kolejnych języków | Zbiory testowe FLEURS (647–908 nagrań na język), te same nagrania przez symulowaną linię telefoniczną oraz prawdziwe rozmowy telefoniczne Sierra (angielski 817, hiszpański 792). Współczynnik błędów słów po normalizacji liczb i formatów. |
| Zbiory testowe | turkish-tts-eval (1273 zdania), Freya-TR-Eval, FLEURS tr_tr, MediaSpeech TR, tureckie rozmowy telefoniczne; po 100 zdań na język dla pozostałych języków. |
| Data | Listopad 2026. |
Chcesz zobaczyć swój system na tych wykresach? Wyślij dostęp do API albo model na [email protected], a uruchomimy go na tych samych zbiorach.
Sprawdź liczby
Wszystko, czego potrzebujesz do powtórzenia testu, jest publiczne, także nasza reguła oceny.
- 01Weź zdania testowe
Turecka synteza mowy: turkish-tts-eval (1273 zdania). Mowa na tekst: publiczne zbiory testowe FLEURS i MediaSpeech.
- 02Uruchom Umay lub SES
Uzyskaj klucz API i wyślij ten sam dźwięk lub tekst, jak opisano w dokumentacji. Uruchom pozostałe systemy na tych samych danych wejściowych.
- 03Oceń każdy system tak samo
Mowa na tekst: współczynnik błędów słów względem referencji. Tekst na mowę: transkrybuj dźwięk za pomocą Whisper large-v3 przy 8 kHz, a potem policz współczynnik błędów słów względem tekstu źródłowego. Naturalność: UTMOSv2, SCOREQ, DNSMOS Pro.
- 04Porównaj z naszymi
Normalizacja liczb i formatów zmienia wynik o punkt lub więcej. Oceniaj według naszej reguły oceny, aby Twoje liczby były porównywalne z tą stroną; pytania na [email protected].
Najlepszy test: Twoje własne rozmowy. Benchmarki to punkt wyjścia; wypróbuj Umay i SES na nagraniach z własnych linii.