דוח הערכה · נובמבר 2026
נמדד על שמע של שיחות טלפון, לא על הדגמות.
שלושה מערכי בדיקה טורקיים ציבוריים, 500 כתובות מוקראות ו-1,273 משפטי סינתזה, שכולם נוקדו באותה שיטה לכל מערכת. שיעור שגיאות מילים נמוך יותר הוא טוב יותר.
3.42%
WER על דיבור מוקרא
מערך הבדיקה הטורקי של FLEURS, 743 קטעים. הנמוך ביותר בהשוואה.
איור 2
1.68%
WER על כתובות מוקראות
500 כתובות, 8 קילוהרץ, עם רמזי מקומות.
טבלה 3
19.5×
מהר יותר מזמן אמת
קבצים דרך ה-API של אזור טורקיה, מצב מהיר.
טבלה 3
3.38%
שיעור שגיאות מילים ב-TTS
1,273 משפטים ממערך הבדיקה הפתוח mihuai/turkish-tts-eval.
איור 3
FLEURS tr_tr test · 743 קטעים
mihu-umay-v1
openai/whisper-large-v3
turkmedstt/whisper-large-v3-turkish-general
balbal-v2-manas
openai/whisper-large-v3-turbo
mihuai/turkish-stt-66m-v2
balbal-v2
Qwen/Qwen3-ASR-1.7B
PatientDesk/Duyu-small
איור 2. שיעור שגיאות מילים ב-%, נמוך יותר עדיף, טורקית, כלל ניקוד בינוני (גרסאות של מספרים ופורמטים מתקבלות). mihu-umay-v1 מדורג ראשון מתוך 9 בדיבור מוקרא. עמודות שחורגות מהציר נחתכות ומסומנות ב-→.
מובנות של טקסט לדיבור
mihuai/turkish-tts-evalאיור 3. כל מערכת קוראת את אותם 1,273 משפטי מוקד שירות ממערך הנתונים הפתוח mihuai/turkish-tts-eval; מזהה דיבור עצמאי מתמלל את השמע. שיעור שגיאות מילים ב-%, נמוך יותר פירושו דיבור קל יותר להבנה. שבע מערכות TTS בטורקית; כל התרשימים והטבלאות נמצאים בדף מדדי הביצועים.
טבלה 2. טבעיות של אותו שמע מסונתז. ציוני איכות חזויים, גבוה יותר עדיף; הטוב ביותר בכל עמודה מודגש.
| מערכת | UTMOSv2 | SCOREQ | DNSMOS Pro |
|---|---|---|---|
| mihu-ses-v1 | 3.31 | 4.10 | 3.64 |
| Antalia-2 Mini | 2.78 | 3.36 | 3.63 |
| Trendyol-TTS | 2.88 | 4.25 | 3.91 |
| EMA Lightning 1.1.2 | 2.68 | 3.54 | 3.25 |
| Anka TTS 0.1.6 | 2.66 | 3.55 | 3.93 |
| FreyaTTS-small | 2.45 | 2.57 | 3.18 |
ל-mihu-ses-v1 ציון UTMOSv2 הגבוה ביותר בסך הכול ובכל 13 קטגוריות המשפטים של המערך. שלושת המנבאים אינם מסכימים זה עם זה ואינם תחליף למבחן האזנה אנושי.
שני מערכי בדיקה טורקיים ל-TTS
מוקד שירות לעומת דיבור יומיומי
מערך הייחוס שלנו לדיבור של מוקדי שירות, שנבנה על בסיס שיחות אמיתיות עם לקוחות: סכומים, מספרי חשבון ותעודת זהות, כתובות, כתובות דוא״ל ואתרים, שמות באיות ופורמטים מעורבים. קשה בכוונה.
מערך שיחתי יומיומי: משפטים קצרים של 3 עד 13 מילים על חיי היום-יום, שאלות וקריאות, עם מעט מספרים או קודים. קל יותר, ולכן כל המערכות משיגות כאן שיעורי שגיאה נמוכים יותר.
שיעור שגיאות מילים על freya-tr-eval, %
אותו ניקוד כמו באיור 3. במערך השיחתי המערכות המובילות נמצאות בהפרש של שבר אחוז זו מזו; מערך מוקד השירות הוא המקום שבו המערכות נבדלות.
איור 4. מערך מוקד השירות מודד את מה שמוקד שירות צריך שיוקרא נכון; המערך היומיומי מודד דיבור שיחתי רגיל. שיעור שגיאות מילים נמוך יותר הוא טוב יותר.
טבלה 3. נתוני השירות החי, אזור טורקיה, 3 בנובמבר 2026.
| מדידה | הגדרה | תוצאה |
|---|---|---|
| מהירות תמלול קבצים, 743 קטעים | מצב מהיר | פי 19.5 מזמן אמת |
| מהירות תמלול קבצים, 743 קטעים | מצב רגיל | פי 8.5 מזמן אמת |
| תוצאות שנכשלו, חסרות או ריקות | 743 קטעים | 0 |
| שיעור שגיאות מילים בכתובות, 500 כתובות, 8 קילוהרץ | בלי ← עם רמזי מקומות | 2.22 % ← 1.68 % |
| משפטי כתובת נכונים לחלוטין, 8 קילוהרץ | בלי ← עם רמזי מקומות | 92.6 % ← 97.2 % |
| שם השכונה זוהה נכון, 8 קילוהרץ | בלי ← עם רמזי מקומות | 95.6 % ← 98.2 % |
שיטה. כלל ניקוד בינוני לאורך כל הדרך. טלפון: מערך בדיקה טלפוני טורקי ציבורי, ששימש לבדיקה בלבד. מדיה: נספרים רק 502 קטעי MediaSpeech שהוחזקו מחוץ לאימון של mihu. המהירות נמדדה מקצה לקצה דרך ה-API הציבורי, כולל הרשת. שמע הכתובות סינתטי.
רוצים שהמערכת שלכם תופיע בטבלאות האלה?
שלחו לנו גישת API או את המודל, ונריץ אותו על אותם מערכי בדיקה עם אותו ניקוד, נראה לכם את התוצאות קודם, ונפרסם אותן כאן, יהיו אשר יהיו.