ما مدى دقة بيان؟

FLEURS: جمل قصيرة من ويكيبيديا تُقرأ بصوت عالٍ. يقيس عدد الكلمات التي تخرج خاطئة.

نشرت AssemblyAI نتائج 14 محرّكًا للوقت الفعلي. وشغّلنا المترجم الفوري المباشر من بيان على مجموعة الاختبار نفسها.

جمعنا المقاطع في تسجيلات مدتها 15 دقيقة بفواصل 1.5 ثانية، وشغّلناها في المترجم الفوري المباشر من بيان في الوقت الفعلي، كأنها ميكروفون، مع اكتشاف اللغة تلقائيًا. أما AssemblyAI فبثّت كل مقطع على حدة مع تحديد اللغة مسبقًا. يتجاهل التقييم علامات الترقيم والأحرف الكبيرة والتشكيل العربي وطريقة كتابة الأرقام. تعرض رسومنا 13 من محركات AssemblyAI الأربعة عشر، والجدول الكامل على موقع AssemblyAI.

200 جملة من FLEURS لكل لغة. يقيس الكلمات الخاطئة.

اختبرت Verli ‏15 أو 16 محركًا لكل لغة. وشغّلنا أداة الترجمة النصية من بيان على مجموعة الاختبار نفسها.

اختبرت Verli كل محرك كما كان في يوليو 2026 على عيّنتها الخاصة من FLEURS المكوّنة من 200 جملة. واستخدمنا مجموعة الاختبار نفسها وقاعدة التقييم نفسها على 200 جملة مختلفة. تقسّم قاعدة Verli الكلمات الهندية عند علامات الحركات، ما يخفض معدل الخطأ لدى الجميع إلى النصف تقريبًا، لذا ننشر نتيجة الهندية كترتيب فقط.

148 جملة إنجليزية لها أيضًا ترجمات بشرية احترافية. يقيس جودة الترجمة بالمُقيِّم الآلي MetricX-24 من Google.

أجرت بيان الاختبار. والترجمات البشرية مأخوذة من مجموعة FLoRes-200 العامة.

عملت بيان من الصوت المنطوق، وعمل المترجمون من النص. قارنّا الدرجات جملةً بجملة، ولم نحتسب النتيجة إلا حين لم يتجاوز نطاق الثقة 95% الصفر واتفقت جولتان. «مماثلة تقريبًا» تعني أن الاختبار لم يجد فرقًا واضحًا، ولا تثبت أن الترجمات متطابقة.

133 مقطعًا إنجليزيًا من YouTube، وهو اختبار الكلام في مؤتمر الترجمة الآلية لعام 2026.

قيّمت بيان مخرجات كل نظام منشور، ومخرجاتها هي، بالمُقيِّم الآلي MetricX-24 من Google.

تلقّت بيان النص المنسوخ آليًا نفسه الذي تلقّته الأنظمة الأخرى. ويرتّب المقيّمون البشريون في WMT الأنظمة بشكل مختلف، لذلك نصف هذه النتيجة دائمًا بأنها درجة آلية.

تسجيلات FLEURS بالأردية. يقيس الكلمات الخاطئة.

نشر مؤلفو Qwen3.5-Omni نتائج عدة أنظمة، وشغّلنا أداة الترجمة النصية على مجموعة الاختبار نفسها.

وفق قاعدة Whisper المعتادة: أحرف صغيرة، وإزالة علامات الترقيم.

المدة بين انتهاء الجملة وظهور ترجمتها المكتملة.

بيان، على خدمة الترجمة المباشرة الفعلية.

قيس على خدمة الترجمة المباشرة الفعلية لبيان من 13 إلى 15 أكتوبر 2026، من نهاية كل جملة منطوقة حتى اكتمال السطر الإنجليزي في تغذية المستمعين التي التقطناها. تنتظر الكلمات الأولى في الجملة الطويلة مدة أطول من ذلك. ويصل الصوت المنطوق بعد النص بقليل ولم يُقَس.

تقديرات من تغذية المستمعين التي التقطناها للتسجيلات الـ53 نفسها. الالتقاط غير مكتمل، فبعض المعاينات المبكرة مفقودة، وقد تتغير المعاينات قبل اكتمال الجملة. وتُقاس الأوقات حتى التغذية، لا حتى شاشة الهاتف.