Evaluatierapport · november 2026
Benchmarks
Spraakherkenning en spraaksynthese voor live gesprekken op de proef gesteld: Umay en SES in 7 talen, elk systeem op dezelfde manier beoordeeld.
Umay V1 · Ultra-low-latency Multilingual ASR, Yielding streams
Woordfoutpercentage · Turks · voorgelezen spraak
WER % · FLEURS tr_tr-testset, 743 fragmenten · logaritmische schaal · lager is beter
SES V1 · Streaming Expressive Speech
Hoe goed een luisteraar elke Turkse stem verstaat, hoe natuurlijk die klinkt en hoe hij omgaat met getallen, adressen en codes.
Woordfoutpercentage van de gesproken uitvoer
Turks, WER % · elk systeem leest de 1.273 zinnen van turkish-tts-eval, Whisper large-v3 transcribeert ze op 8 kHz (telefoonkwaliteit) · logaritmische schaal · lager is beter
Geteste stem: SES is getest met Alp, de standaard Turkse stem van de live API. De andere tabbladen gebruiken dezelfde stem. De testset is opgebouwd uit wat callcenters zeggen: adressen, bedragen, datums, codes, afkortingen en alledaagse spraak; e-mail- en webadressen worden apart beoordeeld. Testzinnen: turkish-tts-eval tests.
SES · zes andere talen
SES tegenover opensourcemodellen in het Engels, Duits, Spaans, Frans, Italiaans en Russisch, met zijn beste stem in elke taal.
Woordfoutpercentage · Engels
100 zinnen · Whisper large-v3 op 8 kHz · logaritmische schaal · lager is beter
Geteste stem: SES is getest met Oliver.
SES · snelheid
Gemeten op CPU, met hetzelfde image als de on-premises levering.
Tijd tot het eerste geluid
SES op CPU, streaming · van request tot de eerste audiobytes, mediaan · lager is beter
De audio streamt terwijl de zin nog wordt gegenereerd, dus de beller hoort het antwoord vrijwel meteen.
Methode
Hoe de cijfers zijn gemeten.
| Beoordeling spraak naar tekst | Woordfoutpercentage na normalisatie van getallen en notaties (zowel “15” als “on beş” gelden als goed); de regel en de code zijn openbaar. |
| Beoordeling tekst naar spraak | Elk systeem leest de testzinnen voor; Whisper large-v3 transcribeert de audio op 8 kHz, de kwaliteit van een telefoonlijn; woordfoutpercentage ten opzichte van de brontekst. |
| Natuurlijkheid | Drie modellen die elk de mean opinion score (1–5) van een luisteraar voorspellen: UTMOSv2, SCOREQ, DNSMOS Pro. |
| Spraak naar tekst, zes andere talen | FLEURS-testsets (647–908 fragmenten per taal), dezelfde fragmenten via een gesimuleerde telefoonlijn, en Sierra echte telefoongesprekken (Engels 817, Spaans 792). Woordfoutpercentage na normalisatie van getallen en notaties. |
| Testsets | turkish-tts-eval (1.273 zinnen), Freya-TR-Eval, FLEURS tr_tr, MediaSpeech TR, Turkse telefoongesprekken; 100 zinnen per taal voor de andere talen. |
| Datum | November 2026. |
Wil je jouw systeem in deze grafieken? Stuur API-toegang of het model naar [email protected] en we draaien het op dezelfde sets.
Controleer de cijfers
Alles wat je nodig hebt om een test te herhalen is openbaar, ook onze scoringsregel.
- 01Neem de testzinnen
Turks tekst naar spraak: turkish-tts-eval (1.273 zinnen). Spraak naar tekst: de openbare testsets FLEURS en MediaSpeech.
- 02Draai Umay of SES
Vraag een API-sleutel aan en stuur dezelfde audio of tekst, zoals beschreven in de docs. Draai de andere systemen op dezelfde invoer.
- 03Beoordeel elk systeem op dezelfde manier
Spraak naar tekst: woordfoutpercentage ten opzichte van de referentie. Tekst naar spraak: transcribeer de audio met Whisper large-v3 op 8 kHz en bereken dan het woordfoutpercentage ten opzichte van de brontekst. Natuurlijkheid: UTMOSv2, SCOREQ, DNSMOS Pro.
- 04Vergelijk met de onze
Het normaliseren van getallen en notaties verandert het resultaat met een punt of meer. Score met onze scoringsregel, zodat je cijfers vergelijkbaar zijn met deze pagina; vragen naar [email protected].
De beste test: je eigen gesprekken. Benchmarks zijn een startpunt; probeer Umay en SES op opnames van je eigen lijnen.