mihu voice

Evaluatierapport · november 2026

Benchmarks

Spraakherkenning en spraaksynthese voor live gesprekken op de proef gesteld: Umay en SES in 7 talen, elk systeem op dezelfde manier beoordeeld.

Umay V1 · Ultra-low-latency Multilingual ASR, Yielding streams

Woordfoutpercentage · Turks · voorgelezen spraak

WER % · FLEURS tr_tr-testset, 743 fragmenten · logaritmische schaal · lager is beter

125102050100
1Umay3.00
2balbal-v2-manas4.00
3whisper-large-v3-turkish-general3.00
4whisper-large-v33.00
5whisper-large-v3-turbo4.00
6balbal-v25.00
7turkish-stt-66m-v25.00
8Qwen3-ASR-1.7B6.00
9Duyu-small6.00
UmaybalbalturkmedsttOpenAI · Whispermihu · turkish-sttQwenPatientDesk

SES V1 · Streaming Expressive Speech

Hoe goed een luisteraar elke Turkse stem verstaat, hoe natuurlijk die klinkt en hoe hij omgaat met getallen, adressen en codes.

Woordfoutpercentage van de gesproken uitvoer

Turks, WER % · elk systeem leest de 1.273 zinnen van turkish-tts-eval, Whisper large-v3 transcribeert ze op 8 kHz (telefoonkwaliteit) · logaritmische schaal · lager is beter

25102050100
1SES3.00
2Antalia-2 Mini3.00
3EMA7.00
4Piper9.00
5Anka9.00
6Trendyol TTS11.00
7XTTS v214.00
8Antalia-118.00
9MMS-TTS29.00
10Chatterbox34.00
11FreyaTTS-small40.00
12Glow-TTS56.00
SESPatientDeskEMARhasspy · PiperAnkaTrendyolCoqui · XTTSMeta · MMSResemble · ChatterboxFreyaTTSGlow-TTS

Geteste stem: SES is getest met Alp, de standaard Turkse stem van de live API. De andere tabbladen gebruiken dezelfde stem. De testset is opgebouwd uit wat callcenters zeggen: adressen, bedragen, datums, codes, afkortingen en alledaagse spraak; e-mail- en webadressen worden apart beoordeeld. Testzinnen: turkish-tts-eval tests.

SES · zes andere talen

SES tegenover opensourcemodellen in het Engels, Duits, Spaans, Frans, Italiaans en Russisch, met zijn beste stem in elke taal.

Woordfoutpercentage · Engels

100 zinnen · Whisper large-v3 op 8 kHz · logaritmische schaal · lager is beter

0.51251020
1SES1.00
2XTTS v22.00
3VoxCPM22.00
4Chatterbox4.00
5Qwen3-TTS12.00
SESCoqui · XTTSVoxCPM2Resemble · ChatterboxQwen

Geteste stem: SES is getest met Oliver.

SES · snelheid

Gemeten op CPU, met hetzelfde image als de on-premises levering.

Tijd tot het eerste geluid

SES op CPU, streaming · van request tot de eerste audiobytes, mediaan · lager is beter

Turks0.10 s
Engels0.11 s
Duits0.11 s
Frans0.15 s
Spaans0.12 s
Italiaans0.13 s
Russisch0.31 s

De audio streamt terwijl de zin nog wordt gegenereerd, dus de beller hoort het antwoord vrijwel meteen.

Methode

Hoe de cijfers zijn gemeten.

Beoordeling spraak naar tekstWoordfoutpercentage na normalisatie van getallen en notaties (zowel “15” als “on beş” gelden als goed); de regel en de code zijn openbaar.
Beoordeling tekst naar spraakElk systeem leest de testzinnen voor; Whisper large-v3 transcribeert de audio op 8 kHz, de kwaliteit van een telefoonlijn; woordfoutpercentage ten opzichte van de brontekst.
NatuurlijkheidDrie modellen die elk de mean opinion score (1–5) van een luisteraar voorspellen: UTMOSv2, SCOREQ, DNSMOS Pro.
Spraak naar tekst, zes andere talenFLEURS-testsets (647–908 fragmenten per taal), dezelfde fragmenten via een gesimuleerde telefoonlijn, en Sierra echte telefoongesprekken (Engels 817, Spaans 792). Woordfoutpercentage na normalisatie van getallen en notaties.
Testsetsturkish-tts-eval (1.273 zinnen), Freya-TR-Eval, FLEURS tr_tr, MediaSpeech TR, Turkse telefoongesprekken; 100 zinnen per taal voor de andere talen.
DatumNovember 2026.

Wil je jouw systeem in deze grafieken? Stuur API-toegang of het model naar [email protected] en we draaien het op dezelfde sets.

Controleer de cijfers

Alles wat je nodig hebt om een test te herhalen is openbaar, ook onze scoringsregel.

  1. 01Neem de testzinnen

    Turks tekst naar spraak: turkish-tts-eval (1.273 zinnen). Spraak naar tekst: de openbare testsets FLEURS en MediaSpeech.

  2. 02Draai Umay of SES

    Vraag een API-sleutel aan en stuur dezelfde audio of tekst, zoals beschreven in de docs. Draai de andere systemen op dezelfde invoer.

  3. 03Beoordeel elk systeem op dezelfde manier

    Spraak naar tekst: woordfoutpercentage ten opzichte van de referentie. Tekst naar spraak: transcribeer de audio met Whisper large-v3 op 8 kHz en bereken dan het woordfoutpercentage ten opzichte van de brontekst. Natuurlijkheid: UTMOSv2, SCOREQ, DNSMOS Pro.

  4. 04Vergelijk met de onze

    Het normaliseren van getallen en notaties verandert het resultaat met een punt of meer. Score met onze scoringsregel, zodat je cijfers vergelijkbaar zijn met deze pagina; vragen naar [email protected].

De beste test: je eigen gesprekken. Benchmarks zijn een startpunt; probeer Umay en SES op opnames van je eigen lijnen.

mihu voice1