تقرير التقييم · نوفمبر 2026
المقاييس المرجعية
التعرف على الكلام وتركيبه للمكالمات المباشرة تحت الاختبار: Umay وSES في 7 لغات، مع تقييم كل الأنظمة بالطريقة نفسها.
Umay V1 · تعرّف متعدد اللغات على الكلام بزمن استجابة منخفض جدًا وبث متدفق
معدل خطأ الكلمات · التركية · الكلام المقروء
WER % · مجموعة اختبار FLEURS tr_tr، 743 مقطعًا · مقياس لوغاريتمي · الأقل أفضل
SES V1 · كلام تعبيري متدفق
مدى فهم المستمع لكل صوت تركي، ومدى طبيعيته، وكيفية تعامله مع الأرقام والعناوين والرموز.
معدل خطأ الكلمات في الكلام المنطوق
التركية، WER % · يقرأ كل نظام جمل turkish-tts-eval البالغ عددها 1,273، ويفرّغها Whisper large-v3 بتردد 8 كيلوهرتز (جودة الهاتف) · مقياس لوغاريتمي · الأقل أفضل
الصوت المختبَر: اختُبر SES بصوت Alp، الصوت التركي الافتراضي في واجهة API الحية. وتستخدم علامات التبويب الأخرى الصوت نفسه. بُنيت مجموعة الاختبار مما يُقال في مراكز الاتصال: عناوين ومبالغ وتواريخ ورموز واختصارات وكلام يومي؛ وتُقيَّم عناوين البريد الإلكتروني ومواقع الويب بشكل منفصل. جمل الاختبار: اختبارات turkish-tts-eval.
SES · ست لغات أخرى
SES مقارنةً بنماذج مفتوحة المصدر في الإنجليزية والألمانية والإسبانية والفرنسية والإيطالية والروسية، بأفضل صوت له في كل لغة.
معدل خطأ الكلمات · الإنجليزية
100 جملة · Whisper large-v3 بتردد 8 كيلوهرتز · مقياس لوغاريتمي · الأقل أفضل
الصوت المختبَر: اختُبر SES بصوت Oliver.
SES · السرعة
مقيسة على CPU، بالصورة نفسها المستخدمة في التسليم المحلي.
الوقت حتى أول صوت
SES على CPU، بث متدفق · من الطلب حتى أول بايتات الصوت، الوسيط · الأقل أفضل
يُبث الصوت بينما لا تزال الجملة قيد التوليد، فيسمع المتصل الرد فورًا تقريبًا.
المنهجية
كيف قيست الأرقام.
| تقييم الكلام إلى نص | معدل خطأ الكلمات بعد تطبيع الأرقام والتنسيقات (تُحتسب “15” و“on beş” كلتاهما صحيحة)؛ القاعدة وكودها متاحان للعموم. |
| تقييم النص إلى كلام | يقرأ كل نظام جمل الاختبار؛ ويفرّغ Whisper large-v3 الصوت بتردد 8 كيلوهرتز، أي بجودة خط الهاتف؛ ثم يُحسب معدل خطأ الكلمات مقارنةً بالنص المصدر. |
| الطبيعية | ثلاثة نماذج يتنبأ كل منها بمتوسط درجة رأي المستمع (1–5): UTMOSv2, SCOREQ, DNSMOS Pro. |
| الكلام إلى نص، ست لغات أخرى | مجموعات اختبار FLEURS (647–908 مقاطع لكل لغة)، والمقاطع نفسها عبر خط هاتفي محاكى، ومكالمات Sierra الهاتفية الحقيقية (الإنجليزية 817، الإسبانية 792). معدل خطأ الكلمات بعد تطبيع الأرقام والتنسيقات. |
| مجموعات الاختبار | turkish-tts-eval (1,273 جملة)، Freya-TR-Eval، FLEURS tr_tr، MediaSpeech TR، مكالمات هاتفية تركية؛ و100 جملة لكل لغة من اللغات الأخرى. |
| التاريخ | نوفمبر 2026. |
هل تريد أن يظهر نظامك في هذه الرسوم؟ أرسل وصولًا إلى واجهة API أو النموذج إلى [email protected] وسنشغّله على المجموعات نفسها.
تحقق من الأرقام
كل ما تحتاجه لتكرار أي اختبار متاح للعموم، بما في ذلك قاعدة التقييم الخاصة بنا.
- 01خذ جمل الاختبار
تحويل النص التركي إلى كلام: turkish-tts-eval (1,273 جملة). تحويل الكلام إلى نص: مجموعتا اختبار FLEURS وMediaSpeech العامتان.
- 02شغّل Umay أو SES
احصل على مفتاح API وأرسل الصوت أو النص نفسه، كما هو موضح في التوثيق. وشغّل الأنظمة الأخرى على المدخلات نفسها.
- 03قيّم كل الأنظمة بالطريقة نفسها
الكلام إلى نص: معدل خطأ الكلمات مقارنةً بالمرجع. النص إلى كلام: فرّغ الصوت باستخدام Whisper large-v3 بتردد 8 كيلوهرتز، ثم احسب معدل خطأ الكلمات مقارنةً بالنص المصدر. الطبيعية: UTMOSv2, SCOREQ, DNSMOS Pro.
- 04قارن بنتائجنا
تطبيع الأرقام والتنسيقات يغيّر النتيجة بنقطة أو أكثر. قيّم باستخدام قاعدة التقييم الخاصة بنا لتكون أرقامك قابلة للمقارنة مع هذه الصفحة؛ والأسئلة إلى [email protected].
أفضل اختبار: مكالماتك أنت. المقاييس المرجعية نقطة بداية؛ جرّب Umay وSES على تسجيلات من خطوطك الخاصة.