mihu voice

Raport z ewaluacji · listopad 2026

Benchmarki

Rozpoznawanie i synteza mowy do rozmów na żywo w praktycznym teście: Umay i SES w 7 językach, każdy system oceniany tak samo.

Umay V1 · Ultra-low-latency Multilingual ASR, Yielding streams

Współczynnik błędów słów · turecki · mowa czytana

WER % · Zbiór testowy FLEURS tr_tr, 743 nagrania · skala logarytmiczna · niżej znaczy lepiej

125102050100
1Umay3.00
2balbal-v2-manas4.00
3whisper-large-v3-turkish-general3.00
4whisper-large-v33.00
5whisper-large-v3-turbo4.00
6balbal-v25.00
7turkish-stt-66m-v25.00
8Qwen3-ASR-1.7B6.00
9Duyu-small6.00
UmaybalbalturkmedsttOpenAI · Whispermihu · turkish-sttQwenPatientDesk

SES V1 · Streaming Expressive Speech

Jak dobrze słuchacz rozumie każdy turecki głos, jak naturalnie on brzmi i jak radzi sobie z liczbami, adresami i kodami.

Współczynnik błędów słów w wypowiedzianym tekście

Turecki, WER % · każdy system czyta 1273 zdania z turkish-tts-eval, Whisper large-v3 transkrybuje je przy 8 kHz (jakość telefoniczna) · skala logarytmiczna · niżej znaczy lepiej

25102050100
1SES3.00
2Antalia-2 Mini3.00
3EMA7.00
4Piper9.00
5Anka9.00
6Trendyol TTS11.00
7XTTS v214.00
8Antalia-118.00
9MMS-TTS29.00
10Chatterbox34.00
11FreyaTTS-small40.00
12Glow-TTS56.00
SESPatientDeskEMARhasspy · PiperAnkaTrendyolCoqui · XTTSMeta · MMSResemble · ChatterboxFreyaTTSGlow-TTS

Testowany głos: SES testowano z głosem Alp, domyślnym tureckim głosem działającego API. Pozostałe zakładki używają tego samego głosu. Zbiór testowy zbudowano z tego, co mówi się w call center: adresy, kwoty, daty, kody, skróty i mowa codzienna; adresy e-mail i www są oceniane osobno. Zdania testowe: testy turkish-tts-eval.

SES · sześć kolejnych języków

SES na tle modeli open source w języku angielskim, niemieckim, hiszpańskim, francuskim, włoskim i rosyjskim, z najlepszym głosem w każdym języku.

Współczynnik błędów słów · angielski

100 zdań · Whisper large-v3 przy 8 kHz · skala logarytmiczna · niżej znaczy lepiej

0.51251020
1SES1.00
2XTTS v22.00
3VoxCPM22.00
4Chatterbox4.00
5Qwen3-TTS12.00
SESCoqui · XTTSVoxCPM2Resemble · ChatterboxQwen

Testowany głos: SES testowano z głosem Oliver.

SES · szybkość

Mierzone na CPU, na tym samym obrazie co wersja on-premises.

Czas do pierwszego dźwięku

SES na CPU, streaming · od żądania do pierwszych bajtów audio, mediana · niżej znaczy lepiej

turecki0.10 s
angielski0.11 s
niemiecki0.11 s
francuski0.15 s
hiszpański0.12 s
włoski0.13 s
rosyjski0.31 s

Dźwięk płynie strumieniowo, gdy zdanie jest jeszcze generowane, więc rozmówca słyszy odpowiedź niemal natychmiast.

Metoda

Jak zmierzono liczby.

Ocena mowy na tekstWspółczynnik błędów słów po normalizacji liczb i formatów (zarówno „15”, jak i „on beş” liczą się jako poprawne); reguła i jej kod są publiczne.
Ocena tekstu na mowęKażdy system czyta zdania testowe; Whisper large-v3 transkrybuje dźwięk przy 8 kHz, czyli w jakości linii telefonicznej; współczynnik błędów słów względem tekstu źródłowego.
NaturalnośćTrzy modele, z których każdy przewiduje średnią ocenę opinii słuchacza (1–5): UTMOSv2, SCOREQ, DNSMOS Pro.
Mowa na tekst, sześć kolejnych językówZbiory testowe FLEURS (647–908 nagrań na język), te same nagrania przez symulowaną linię telefoniczną oraz prawdziwe rozmowy telefoniczne Sierra (angielski 817, hiszpański 792). Współczynnik błędów słów po normalizacji liczb i formatów.
Zbiory testoweturkish-tts-eval (1273 zdania), Freya-TR-Eval, FLEURS tr_tr, MediaSpeech TR, tureckie rozmowy telefoniczne; po 100 zdań na język dla pozostałych języków.
DataListopad 2026.

Chcesz zobaczyć swój system na tych wykresach? Wyślij dostęp do API albo model na [email protected], a uruchomimy go na tych samych zbiorach.

Sprawdź liczby

Wszystko, czego potrzebujesz do powtórzenia testu, jest publiczne, także nasza reguła oceny.

  1. 01Weź zdania testowe

    Turecka synteza mowy: turkish-tts-eval (1273 zdania). Mowa na tekst: publiczne zbiory testowe FLEURS i MediaSpeech.

  2. 02Uruchom Umay lub SES

    Uzyskaj klucz API i wyślij ten sam dźwięk lub tekst, jak opisano w dokumentacji. Uruchom pozostałe systemy na tych samych danych wejściowych.

  3. 03Oceń każdy system tak samo

    Mowa na tekst: współczynnik błędów słów względem referencji. Tekst na mowę: transkrybuj dźwięk za pomocą Whisper large-v3 przy 8 kHz, a potem policz współczynnik błędów słów względem tekstu źródłowego. Naturalność: UTMOSv2, SCOREQ, DNSMOS Pro.

  4. 04Porównaj z naszymi

    Normalizacja liczb i formatów zmienia wynik o punkt lub więcej. Oceniaj według naszej reguły oceny, aby Twoje liczby były porównywalne z tą stroną; pytania na [email protected].

Najlepszy test: Twoje własne rozmowy. Benchmarki to punkt wyjścia; wypróbuj Umay i SES na nagraniach z własnych linii.

mihu voice1