דוח הערכה · נובמבר 2026
מדדי ביצועים
זיהוי וסינתזת דיבור לשיחות חיות, במבחן: Umay ו-SES ב-7 שפות, כל מערכת נוקדה באותה שיטה.
Umay V1 · זיהוי דיבור רב-לשוני בהזרמה עם השהיה נמוכה במיוחד
שיעור שגיאות מילים · טורקית · דיבור מוקרא
WER % · מערך הבדיקה FLEURS tr_tr, 743 קטעים · סקאלה לוגריתמית · נמוך יותר עדיף
SES V1 · דיבור אקספרסיבי בהזרמה
כמה טוב מאזין מבין כל קול טורקי, כמה טבעי הוא נשמע ואיך הוא מתמודד עם מספרים, כתובות וקודים.
שיעור שגיאות המילים בפלט המדובר
טורקית, WER % · כל מערכת קוראת את 1,273 המשפטים של turkish-tts-eval, ו-Whisper large-v3 מתמלל אותם ב-8 קילוהרץ (איכות טלפון) · סקאלה לוגריתמית · נמוך יותר עדיף
הקול שנבדק: SES נבדק עם Alp, קול ברירת המחדל הטורקי של ה-API החי. הלשוניות האחרות משתמשות באותו קול. מערך הבדיקה נבנה ממה שנאמר במוקדי שירות: כתובות, סכומים, תאריכים, קודים, קיצורים ודיבור יומיומי; כתובות דוא״ל ואתרים מנוקדות בנפרד. משפטי הבדיקה: בדיקות turkish-tts-eval.
SES · שש שפות נוספות
SES מול מודלים בקוד פתוח באנגלית, גרמנית, ספרדית, צרפתית, איטלקית ורוסית, עם הקול הטוב ביותר שלו בכל שפה.
שיעור שגיאות מילים · אנגלית
100 משפטים · Whisper large-v3 ב-8 קילוהרץ · סקאלה לוגריתמית · נמוך יותר עדיף
הקול שנבדק: SES נבדק עם Oliver.
SES · מהירות
נמדד על CPU, עם אותו אימג׳ כמו בהתקנה המקומית.
הזמן עד הצליל הראשון
SES על CPU, בהזרמה · מהבקשה ועד בתים ראשונים של שמע, חציון · נמוך יותר עדיף
השמע מוזרם בזמן שהמשפט עדיין נוצר, כך שהמתקשר שומע את התשובה כמעט מיד.
שיטה
איך נמדדו המספרים.
| ניקוד דיבור לטקסט | שיעור שגיאות מילים אחרי נרמול מספרים ופורמטים (גם “15” וגם “on beş” נחשבים נכונים); הכלל והקוד שלו זמינים לציבור. |
| ניקוד טקסט לדיבור | כל מערכת קוראת את משפטי הבדיקה; Whisper large-v3 מתמלל את השמע ב-8 קילוהרץ, באיכות של קו טלפון; שיעור שגיאות מילים מול טקסט המקור. |
| טבעיות | שלושה מודלים שכל אחד מהם חוזה ציון דעה ממוצע של מאזין (1–5): UTMOSv2, SCOREQ, DNSMOS Pro. |
| דיבור לטקסט, שש שפות נוספות | מערכי הבדיקה של FLEURS (647–908 קטעים לשפה), אותם קטעים דרך קו טלפון מדומה, ושיחות טלפון אמיתיות של Sierra (אנגלית 817, ספרדית 792). שיעור שגיאות מילים אחרי נרמול מספרים ופורמטים. |
| מערכי בדיקה | turkish-tts-eval (1,273 משפטים), Freya-TR-Eval, FLEURS tr_tr, MediaSpeech TR, שיחות טלפון בטורקית; 100 משפטים לכל שפה עבור השפות האחרות. |
| תאריך | נובמבר 2026. |
רוצים שהמערכת שלכם תופיע בתרשימים האלה? שלחו גישת API או את המודל ל-[email protected] ונריץ אותו על אותם מערכים.
בדקו את המספרים
כל מה שצריך כדי לחזור על בדיקה זמין לציבור, גם כלל הניקוד שלנו.
- 01קחו את משפטי הבדיקה
טקסט לדיבור בטורקית: turkish-tts-eval (1,273 משפטים). דיבור לטקסט: מערכי הבדיקה הציבוריים של FLEURS ו-MediaSpeech.
- 02הריצו את Umay או את SES
קבלו מפתח API ושלחו את אותו שמע או טקסט, כפי שמתואר בתיעוד. הריצו את המערכות האחרות על אותו קלט.
- 03נקדו כל מערכת באותה שיטה
דיבור לטקסט: שיעור שגיאות מילים מול הייחוס. טקסט לדיבור: תמללו את השמע עם Whisper large-v3 ב-8 קילוהרץ, ואז שיעור שגיאות מילים מול טקסט המקור. טבעיות: UTMOSv2, SCOREQ, DNSMOS Pro.
- 04השוו לשלנו
נרמול מספרים ופורמטים משנה את התוצאה בנקודה או יותר. נקדו לפי כלל הניקוד שלנו, כדי שהמספרים שלכם יהיו ברי השוואה לעמוד הזה; שאלות ל-[email protected].
הבדיקה הטובה ביותר: השיחות שלכם. מדדי ביצועים הם נקודת התחלה; נסו את Umay ואת SES על הקלטות מהקווים שלכם.