بیان کتنا درست ہے؟

FLEURS: بلند آواز سے پڑھے گئے Wikipedia کے مختصر جملے۔ ناپتا ہے کہ کتنے الفاظ غلط نکلتے ہیں۔

AssemblyAI نے 14 ریئل ٹائم انجنز کے اسکور شائع کیے۔ ہم نے اسی ٹیسٹ سیٹ پر بیان کا براہِ راست ترجمان چلایا۔

ہم نے کلپس کو 1.5 سیکنڈ کے وقفوں کے ساتھ 15 منٹ کی ریکارڈنگز میں جوڑا اور انہیں ریئل ٹائم میں، مائیکروفون کی طرح، خودکار زبان کی شناخت کے ساتھ بیان کے براہِ راست ترجمان میں چلایا۔ AssemblyAI نے ہر کلپ الگ اور پہلے سے طے شدہ زبان کے ساتھ اسٹریم کیا۔ اسکورنگ رموزِ اوقاف، بڑے حروف، عربی اعراب اور اعداد لکھنے کے انداز کو نظرانداز کرتی ہے۔ ہمارے چارٹس AssemblyAI کے 14 میں سے 13 انجنز دکھاتے ہیں؛ مکمل جدول AssemblyAI کی سائٹ پر ہے۔

ہر زبان کے 200 FLEURS جملے۔ غلط الفاظ کی شرح ناپتا ہے۔

Verli نے ہر زبان میں 15 یا 16 انجنز جانچے۔ ہم نے اسی ٹیسٹ سیٹ پر بیان کا کیپشن ٹول چلایا۔

Verli نے ہر انجن کو جولائی 2026 کی حالت میں اپنے 200 جملوں کے FLEURS نمونے پر جانچا۔ ہم نے وہی ٹیسٹ سیٹ اور اسکورنگ کا قاعدہ 200 مختلف جملوں پر استعمال کیا۔ Verli کا اسکورنگ قاعدہ ہندی الفاظ کو اعراب کی علامات پر تقسیم کرتا ہے، جس سے ہر ایک کی غلطی کی شرح تقریباً آدھی ہو جاتی ہے، اس لیے ہم ہندی کو صرف درجے کے طور پر شائع کرتے ہیں۔

انگریزی کے 148 جملے جن کے پیشہ ور انسانی ترجمے بھی موجود ہیں۔ یہ Google کے خودکار جج MetricX-24 سے ترجمے کا معیار ناپتا ہے۔

ٹیسٹ بیان نے چلایا۔ انسانی ترجمے عوامی FLoRes-200 سیٹ سے لیے گئے ہیں۔

بیان نے بولی گئی آڈیو سے کام کیا؛ مترجمین نے متن سے۔ ہم نے جملہ بہ جملہ اسکورز کا موازنہ کیا اور نتیجہ صرف تب شمار کیا جب 95% حد صفر کو پار نہ کرے اور دو رنز متفق ہوں۔ “تقریباً برابر” کا مطلب ہے کہ ٹیسٹ میں کوئی واضح فرق نہیں ملا؛ اس سے یہ ثابت نہیں ہوتا کہ ترجمے ایک جیسے تھے۔

انگریزی کے 133 YouTube کلپس، جو 2026 Conference on Machine Translation کا اسپیچ ٹیسٹ ہے۔

بیان نے ہر شائع شدہ سسٹم کے آؤٹ پٹ اور اپنے آؤٹ پٹ کو Google کے خودکار جج MetricX-24 سے اسکور کیا۔

بیان کو دوسرے سسٹمز والا ہی خودکار ٹرانسکرپٹ ملا۔ WMT کے اپنے انسانی جائزہ کار سسٹمز کی درجہ بندی مختلف کرتے ہیں، اس لیے ہم اسے ہمیشہ خودکار اسکور کہتے ہیں۔

FLEURS اردو ریکارڈنگز۔ غلط الفاظ کی شرح ناپتا ہے۔

Qwen3.5-Omni کے مصنفین نے متعدد سسٹمز کے اسکور شائع کیے؛ ہم نے اسی ٹیسٹ سیٹ پر Caption Tool چلایا۔

معیاری Whisper قاعدے سے اسکور کیا گیا: چھوٹے حروف، رموزِ اوقاف ہٹا دیے گئے۔

جملہ ختم ہونے کے کتنی دیر بعد اس کا مکمل ترجمہ ظاہر ہوتا ہے۔

بیان، اپنی پروڈکشن Live سروس پر۔

13 سے 15 اکتوبر 2026 تک بیان کی پروڈکشن Live سروس پر ناپا گیا، ہر بولے گئے جملے کے اختتام سے ہماری محفوظ کردہ سامعین فیڈ میں مکمل انگریزی سطر تک۔ لمبے جملے کے ابتدائی الفاظ اس سے زیادہ انتظار کرتے ہیں۔ زبانی آڈیو متن کے تھوڑی دیر بعد پہنچتی ہے اور اسے نہیں ناپا گیا۔

انہی 53 ریکارڈنگز کے لیے ہماری محفوظ کردہ سامعین فیڈ سے اندازہ لگایا گیا۔ محفوظ کردہ ڈیٹا نامکمل ہے، اس لیے کچھ ابتدائی پیش منظر غائب ہیں، اور جملہ مکمل ہونے سے پہلے پیش منظر اب بھی بدل سکتے ہیں۔ اوقات فیڈ تک ناپے گئے ہیں، فون اسکرین تک نہیں۔