سب ٹائٹلز کی درستی، سادہ اعداد میں۔

سعودی مقررین کی 300 ریکارڈنگز جو عربی اور انگریزی کے درمیان بدلتے رہتے ہیں۔ غلط الفاظ اور برقرار رہنے والا مفہوم ناپتا ہے۔

Perle کے مصنفین نے ElevenLabs، OpenAI، Microsoft Azure اور Google کو جانچا۔ ہم نے بیان کی دونوں مصنوعات انہی ریکارڈنگز پر چلائیں۔

Perle کے اپنے قواعد اور مفہوم کے ماڈل سے اسکور کیا گیا۔ Caption Tool صرف ٹرانسکرپشن موڈ میں چلا؛ Live طے شدہ سیٹنگز کے ساتھ اور زبان کے اشارے کے بغیر چلا۔

ہر زبان کے 200 FLEURS جملے۔ غلط الفاظ کی شرح ناپتا ہے۔

Verli نے ہر زبان میں 15 یا 16 انجنز جانچے۔ ہم نے اسی ٹیسٹ سیٹ پر بیان کا کیپشن ٹول چلایا۔

Verli نے ہر انجن کو جولائی 2026 کی حالت میں اپنے 200 جملوں کے FLEURS نمونے پر جانچا۔ ہم نے وہی ٹیسٹ سیٹ اور اسکورنگ کا قاعدہ 200 مختلف جملوں پر استعمال کیا۔ Verli کا اسکورنگ قاعدہ ہندی الفاظ کو اعراب کی علامات پر تقسیم کرتا ہے، جس سے ہر ایک کی غلطی کی شرح تقریباً آدھی ہو جاتی ہے، اس لیے ہم ہندی کو صرف درجے کے طور پر شائع کرتے ہیں۔

انگریزی کے 148 جملے جن کے پیشہ ور انسانی ترجمے بھی موجود ہیں۔ یہ Google کے خودکار جج MetricX-24 سے ترجمے کا معیار ناپتا ہے۔

ٹیسٹ بیان نے چلایا۔ انسانی ترجمے عوامی FLoRes-200 سیٹ سے لیے گئے ہیں۔

بیان نے بولی گئی آڈیو سے کام کیا؛ مترجمین نے متن سے۔ ہم نے جملہ بہ جملہ اسکورز کا موازنہ کیا اور نتیجہ صرف تب شمار کیا جب 95% حد صفر کو پار نہ کرے اور دو رنز متفق ہوں۔ “تقریباً برابر” کا مطلب ہے کہ ٹیسٹ میں کوئی واضح فرق نہیں ملا؛ اس سے یہ ثابت نہیں ہوتا کہ ترجمے ایک جیسے تھے۔

انگریزی کے 133 YouTube کلپس، جو 2026 Conference on Machine Translation کا اسپیچ ٹیسٹ ہے۔

بیان نے ہر شائع شدہ سسٹم کے آؤٹ پٹ اور اپنے آؤٹ پٹ کو Google کے خودکار جج MetricX-24 سے اسکور کیا۔

بیان کو دوسرے سسٹمز والا ہی خودکار ٹرانسکرپٹ ملا۔ WMT کے اپنے انسانی جائزہ کار سسٹمز کی درجہ بندی مختلف کرتے ہیں، اس لیے ہم اسے ہمیشہ خودکار اسکور کہتے ہیں۔

FLEURS اردو ریکارڈنگز۔ غلط الفاظ کی شرح ناپتا ہے۔

Qwen3.5-Omni کے مصنفین نے متعدد سسٹمز کے اسکور شائع کیے؛ ہم نے اسی ٹیسٹ سیٹ پر Caption Tool چلایا۔

معیاری Whisper قاعدے سے اسکور کیا گیا: چھوٹے حروف، رموزِ اوقاف ہٹا دیے گئے۔