مواد پر جائیں

بیان بمقابلہ دیگر AI

OpenAI، Google اور ElevenLabs کے مقابلے میں درجہ بندی۔

پہلے بیان کو الفاظ درست سننے ہوتے ہیں۔ یہ عوامی ٹیسٹ اسی مرحلے، یعنی تقریر کو متن میں بدلنے، کا موازنہ کرتے ہیں۔ ہم نے بیان کو انہی ٹیسٹ مجموعوں پر چلایا جو دوسرے صوتی AI کی پیمائش کے لیے استعمال ہوتے ہیں۔

نتائج دیکھیں

براہ راست تقریر: نقل نویسی کی درجہ بندیالفاظ میں غلطیاں، یا کوریائی اور جاپانی کے لیے حروف میں۔ کم بہتر ہے۔

  • عربیLive

    بیان5.1%پہلا
    Speechmatics Enhanced6.5%دوسرا

  • کوریائیLive

    بیان2.9%پہلا
    Google Gemini 3.5 Live3.8%دوسرا
یہ نتائج تقریر کو متن میں بدلنے کی پیمائش ہیں، حتمی ترجمے کی نہیں۔ ماخذ اور طریقے

کیا یہ اعداد ترجمے کی پیمائش ہیں؟

نہیں۔ یہ شناخت شدہ متن اور ٹیسٹ کے حوالہ جاتی متن کے درمیان فرق گنتے ہیں۔ ترجمہ کرتے وقت بیان حالیہ گفتگو کو سیاق کے طور پر استعمال کرتا ہے۔ نقل نویسی کی غلطی سے اکیلے یہ معلوم نہیں ہوتا کہ ترجمے کا مفہوم بھی غلط ہے۔

ترجمے کے ٹیسٹ دیکھیں

ریکارڈ شدہ گفتگو

مزید پانچ زبانوں میں پہلے نمبر پر۔

فرانسیسی اور جاپانی میں پہلی پوزیشن مشترک ہے۔ یہ ٹیسٹ مکمل ریکارڈنگز کی نقل نویسی کا موازنہ کرتے ہیں۔

ریکارڈ شدہ تقریر: نقل نویسی کی درجہ بندیالفاظ میں غلطیاں، یا کوریائی اور جاپانی کے لیے حروف میں۔ کم بہتر ہے۔

  • ہسپانویریکارڈ شدہ

    بیان3.3%پہلا
    OpenAI4.3%دوسرا

  • روسیریکارڈ شدہ

    بیان4.7%پہلا
    Google Gemini 2.5 Flash6.4%دوسرا

  • ہندیریکارڈ شدہ

    بیانپہلاصرف درجہ

  • فرانسیسیریکارڈ شدہ

    بیان4.3%مشترکہ پہلا
    AssemblyAI4.6%مشترکہ پہلا

  • جاپانیریکارڈ شدہ

    بیان2.51%مشترکہ پہلا
    ElevenLabs2.52%مشترکہ پہلا
یہ نتائج تقریر کو متن میں بدلنے کی پیمائش ہیں، حتمی ترجمے کی نہیں۔ ماخذ اور طریقے

براہِ راست اور ریکارڈ شدہ گفتگو

غلطی کی شرح کتنی کم تھی؟

  • براہِ راست عربی میں OpenAI کی غلطیوں کا تقریباً نصفبیان کے 5.1% الفاظ غلط تھے، جبکہ اسی ٹیسٹ سیٹ پر OpenAI کے 10.5%۔
    اس کے پیچھے کے اعداد

    عربی FLEURS پر الفاظ کی غلطی کی شرح، ریئل ٹائم: بیان 5.1%، OpenAI GPT Realtime 10.5%، ElevenLabs Scribe v2 10.8%، Google Gemini 3.5 Live 6.7%۔ حریفوں کے اعداد AssemblyAI کے ریئل ٹائم بینچ مارک، ستمبر 2026 سے؛ اسی ٹیسٹ سیٹ پر بیان کا رن، اکتوبر 2026۔

  • انگریزی ملی خلیجی عربی میں کم غلطیاںبیان کے براہِ راست ترجمان کے 15.6% الفاظ غلط تھے۔ OpenAI کے 43.7% تھے، جو مکمل ریکارڈنگز سے کام کر رہا تھا۔
    اس کے پیچھے کے اعداد

    الفاظ کی غلطی کی شرح، Perle ٹیسٹ سیٹ (300 سعودی ریکارڈنگز، مئی 2026): بیان براہِ راست ترجمان 15.6%، ElevenLabs 21.3%، OpenAI GPT-4o Transcribe 43.7% (بیان کا 2.8 گنا)، Microsoft Azure 50.6%، Google Chirp 3 62.4% (4 گنا)۔ بیان ریئل ٹائم میں چلا؛ باقی مکمل ریکارڈنگز پر۔

  • براہِ راست کوریائی میں پہلابیان کے 2.9% حروف غلط تھے، جبکہ Google کے 3.8% اور OpenAI کے 7.1%۔
    اس کے پیچھے کے اعداد

    کوریائی FLEURS پر حروف کی غلطی کی شرح، ریئل ٹائم: بیان 2.9%، Google Gemini 3.5 Live 3.8%، OpenAI GPT Realtime 7.1%۔ AssemblyAI ریئل ٹائم بینچ مارک، ستمبر 2026؛ بیان کا رن اکتوبر 2026۔

  • ریکارڈ شدہ اردو میں کم غلطیاںبیان کے کیپشن ٹول کے 13.2% الفاظ غلط تھے، جبکہ OpenAI کے 19.7%۔
    اس کے پیچھے کے اعداد

    اردو FLEURS پر الفاظ کی غلطی کی شرح: بیان کیپشن ٹول 13.2%، OpenAI GPT-4o Transcribe 19.7%، Qwen3.5-Omni 20.8%۔ Qwen3.5-Omni مقالہ، اپریل 2026؛ بیان کا رن اکتوبر 2026۔

براہِ راست عربی (براہِ راست)
براہِ راست عربیغلط الفاظ کا فیصد۔ کم بہتر ہے۔
سسٹم016%نتیجہ
بیان5.1%
Speechmatics Enhanced6.5%
Google Gemini 3.5 Live6.7%
Speechmatics Standard8.4%
Amazon (AWS)8.5%
Meta Muse8.9%
OpenAI GPT-4o Transcribe9.4%
OpenAI GPT Realtime10.5%
ElevenLabs Scribe v210.8%
OpenAI GPT-4o mini Transcribe11.7%
AssemblyAI Universal12.1%
Microsoft Azure12.5%
Gladia15.1%
AssemblyAI کے ریئل ٹائم بینچ مارک، FLEURS ٹیسٹ سیٹ، ستمبر 2026 کے منتخب انجنز۔ بیان کی قطار اسی ٹیسٹ سیٹ پر ہمارا اپنا رن ہے۔ AssemblyAI ریئل ٹائم بینچ مارک ↗
یہ کیسے ناپا گیا

AssemblyAI یہ نہیں بتاتا کہ اس نے FLEURS کے کس متن والے فیلڈ پر اسکور کیا یا عربی اعراب کو کیسے لیا۔ ہمارا 5.1% صاف کیے گئے متن پر ہے جس سے اعراب ہٹا دیے گئے۔ خام متن کے مقابلے میں بیان کا براہِ راست ترجمان 6.75% پر آتا ہے، جو اب بھی OpenAI GPT Realtime (10.5%) اور ElevenLabs (10.8%) سے کافی کم ہے۔ AssemblyAI نے ہر مختصر کلپ الگ اور پہلے سے طے شدہ زبان کے ساتھ اسٹریم کیا؛ ہم نے 15 منٹ کی ریکارڈنگز خودکار زبان کی شناخت کے ساتھ اسٹریم کیں، جو صارفین کی استعمال کردہ سیٹنگ ہے۔

براہِ راست کوریائی (براہِ راست)
براہِ راست کوریائیغلط حروف کا فیصد۔ کم بہتر ہے۔
سسٹم010%نتیجہ
بیان2.9%
Google Gemini 3.5 Live3.8%
AssemblyAI Universal4.3%
ElevenLabs Scribe v24.6%
Amazon (AWS)4.9%
Speechmatics Standard5.2%
Speechmatics Enhanced5.4%
Meta Muse6.1%
Gladia6.6%
OpenAI GPT-4o Transcribe6.7%
OpenAI GPT Realtime7.1%
OpenAI GPT-4o mini Transcribe7.6%
Microsoft Azure9.4%
AssemblyAI کے ریئل ٹائم بینچ مارک، FLEURS ٹیسٹ سیٹ، ستمبر 2026 کے منتخب انجنز۔ کوریائی کا اسکور حروف کے لحاظ سے، خالی جگہوں کے بغیر ہے۔ AssemblyAI ریئل ٹائم بینچ مارک ↗
یہ کیسے ناپا گیا

خالی جگہیں برقرار رکھنے پر بیان کا براہِ راست ترجمان 3.26% اسکور کرتا ہے، جو اب بھی سب سے کم ہے۔ عربی چارٹ جیسا ہی سیٹ اپ کا فرق ہے: ہم نے لمبی ریکارڈنگز خودکار زبان کی شناخت کے ساتھ اسٹریم کیں۔

انگریزی ملی سعودی عربی (براہِ راست)
انگریزی ملی سعودی عربیغلط الفاظ کا فیصد۔ کم بہتر ہے۔
سسٹم063%نتیجہ
بیان15.6%
ElevenLabs Scribe v221.3%
OpenAI GPT-4o Transcribe43.7%
Microsoft Azure50.6%
Google Chirp 362.4%
Perle ٹیسٹ سیٹ، 300 سعودی ریکارڈنگز، مئی 2026 میں شائع۔ بیان کا براہِ راست ترجمان طے شدہ سیٹنگز کے ساتھ اور زبان کے اشارے کے بغیر چلایا گیا۔ Perle، مئی 2026 (arXiv) ↗
یہ کیسے ناپا گیا

باقی چار سسٹمز کو Perle کے مصنفین نے مکمل ریکارڈنگز پر جانچا۔ بیان کا براہِ راست ترجمان ریئل ٹائم میں چلا، جو زیادہ مشکل ہے۔ مفہوم پر (BERTScore، 1 کے جتنا قریب اتنا بہتر) بیان کے براہِ راست ترجمان نے 0.956 اسکور کیا جبکہ ElevenLabs نے 0.938۔

انگریزی ملی سعودی عربی (ریکارڈ شدہ)
انگریزی ملی سعودی عربیغلط الفاظ کا فیصد۔ کم بہتر ہے۔
سسٹم063%نتیجہ
بیان9.5%
ElevenLabs Scribe v221.3%
OpenAI GPT-4o Transcribe43.7%
Microsoft Azure50.6%
Google Chirp 362.4%
Perle ٹیسٹ سیٹ، 300 سعودی ریکارڈنگز، مئی 2026 میں شائع۔ بیان صرف ٹرانسکرپشن موڈ میں چلا۔ Perle، مئی 2026 (arXiv) ↗
یہ کیسے ناپا گیا

مفہوم پر (BERTScore، 1 کے جتنا قریب اتنا بہتر) Caption Tool نے 0.971 اسکور کیا جبکہ ElevenLabs نے 0.938۔ Perle کے اپنے قواعد اور ماڈل سے اسکور کیا گیا۔

اردو ٹرانسکرپشن (ریکارڈ شدہ)
اردو ٹرانسکرپشنغلط الفاظ کا فیصد۔ کم بہتر ہے۔
سسٹم021%نتیجہ
بیان13.2%
OpenAI GPT-4o Transcribe19.7%
Qwen3.5-Omni20.8%
Qwen3.5-Omni مقالے کے FLEURS جدول، اپریل 2026 میں موازنہ کیے گئے سسٹمز۔ بیان کی قطار اسی ٹیسٹ سیٹ پر ہمارا اپنا رن ہے۔ Qwen3.5-Omni مقالہ، اپریل 2026 (arXiv) ↗

شفافیت

ترجمانی سروسز شاذ ہی دکھاتی ہیں کہ وہ کیسے جانچتی ہیں۔

ہم نے جانچا کہ ہر ایک اپنے نتائج کے بارے میں کیا کہتا ہے۔

ہر سروس اپنی درستی کے بارے میں کیا شائع کرتی ہے۔ 15 اکتوبر 2026 کو جانچا گیا۔
سروسشائع شدہ درستی کا ثبوت
بیاننامزد عوامی ٹیسٹس پر نتائج، تاریخوں اور طریقوں کے ساتھ۔ انہیں دیکھیں ↗
Interprefyصرف اس کا اپنا نجی ٹیسٹ (“98% تک”)، اپنے طریقے سے اسکور کیا گیا۔ ماخذ ↗
Wordly98% سے 99% کا دعویٰ، کسی نامزد ٹیسٹ سیٹ کے بغیر۔ ماخذ ↗
KUDOمئی 2023 کا ایک نجی ٹیسٹ جسے KUDO خود پرانا قرار دیتا ہے۔ ماخذ ↗
Interactioدرستی کے کوئی اعداد نہیں۔ ماخذ ↗
Maestraدرستی کے کوئی اعداد نہیں۔ ماخذ ↗
Timekettle“98% تک” کا دعویٰ، کسی نامزد ٹیسٹ سیٹ کے بغیر۔ ماخذ ↗
Microsoft Teams Interpreterکوئی اعداد نہیں؛ Microsoft کہتا ہے کہ درستی کی ضمانت نہیں۔ ماخذ ↗

اپنی تقریب کی آڈیو کے ساتھ سن کر دیکھیں۔

ایک مختصر ریکارڈنگ، اپنی زبانیں اور اپنے سامعین کی تعداد لائیں۔ ہم آپ کو سامعین کا تجربہ دکھائیں گے۔

ڈیمو کا وقت طے کریں
ماخذ اور طریقےاس صفحے کا ہر عدد، اپنے ٹیسٹ اور تاریخ کے ساتھ
  • براہِ راست اسپیچ ریکگنیشن (AssemblyAI ریئل ٹائم بینچ مارک)AssemblyAI کے رنز 25 اگست سے 23 ستمبر 2026؛ بیان کے رنز 13 سے 15 اکتوبر 2026

    عربی (5.1%) اور کوریائی (2.9%) میں پہلا، روسی اور ڈینش میں دوسرا۔ جن 14 زبانوں کے نتائج ہم شائع کرتے ہیں، ان میں سے 13 میں OpenAI کے تینوں ریئل ٹائم ماڈلز سے کم غلطیاں۔

    AssemblyAI ریئل ٹائم بینچ مارک
    طریقہ

    FLEURS: بلند آواز سے پڑھے گئے Wikipedia کے مختصر جملے۔ ناپتا ہے کہ کتنے الفاظ غلط نکلتے ہیں۔

    AssemblyAI نے 14 ریئل ٹائم انجنز کے اسکور شائع کیے۔ ہم نے اسی ٹیسٹ سیٹ پر بیان کا براہِ راست ترجمان چلایا۔

    ہم نے کلپس کو 1.5 سیکنڈ کے وقفوں کے ساتھ 15 منٹ کی ریکارڈنگز میں جوڑا اور انہیں ریئل ٹائم میں، مائیکروفون کی طرح، خودکار زبان کی شناخت کے ساتھ بیان کے براہِ راست ترجمان میں چلایا۔ AssemblyAI نے ہر کلپ الگ اور پہلے سے طے شدہ زبان کے ساتھ اسٹریم کیا۔ اسکورنگ رموزِ اوقاف، بڑے حروف، عربی اعراب اور اعداد لکھنے کے انداز کو نظرانداز کرتی ہے۔ ہمارے چارٹس AssemblyAI کے 14 میں سے 13 انجنز دکھاتے ہیں؛ مکمل جدول AssemblyAI کی سائٹ پر ہے۔

  • انگریزی ملی سعودی عربی (Perle)مقالہ مئی 2026؛ بیان کے رنز اکتوبر 2026

    Caption Tool کے 9.5% الفاظ غلط، بیان کے براہِ راست ترجمان کے 15.6%، ElevenLabs کے 21.3%، OpenAI کے 43.7%، Azure کے 50.6%، Google کے 62.4%۔

    Perle، مئی 2026 (arXiv)
    طریقہ

    سعودی مقررین کی 300 ریکارڈنگز جو عربی اور انگریزی کے درمیان بدلتے رہتے ہیں۔ غلط الفاظ اور برقرار رہنے والا مفہوم ناپتا ہے۔

    Perle کے مصنفین نے ElevenLabs، OpenAI، Microsoft Azure اور Google کو جانچا۔ ہم نے بیان کی دونوں مصنوعات انہی ریکارڈنگز پر چلائیں۔

    Perle کے اپنے قواعد اور مفہوم کے ماڈل سے اسکور کیا گیا۔ Caption Tool صرف ٹرانسکرپشن موڈ میں چلا؛ Live طے شدہ سیٹنگز کے ساتھ اور زبان کے اشارے کے بغیر چلا۔

  • ریکارڈ شدہ اسپیچ ریکگنیشن (Verli)Verli جولائی 2026؛ بیان اکتوبر 2026

    ہسپانوی، روسی اور ہندی میں پہلا؛ فرانسیسی اور جاپانی میں مشترکہ پہلا۔

    Verli اسپیچ ٹو ٹیکسٹ درستی، جولائی 2026
    طریقہ

    ہر زبان کے 200 FLEURS جملے۔ غلط الفاظ کی شرح ناپتا ہے۔

    Verli نے ہر زبان میں 15 یا 16 انجنز جانچے۔ ہم نے اسی ٹیسٹ سیٹ پر بیان کا کیپشن ٹول چلایا۔

    Verli نے ہر انجن کو جولائی 2026 کی حالت میں اپنے 200 جملوں کے FLEURS نمونے پر جانچا۔ ہم نے وہی ٹیسٹ سیٹ اور اسکورنگ کا قاعدہ 200 مختلف جملوں پر استعمال کیا۔ Verli کا اسکورنگ قاعدہ ہندی الفاظ کو اعراب کی علامات پر تقسیم کرتا ہے، جس سے ہر ایک کی غلطی کی شرح تقریباً آدھی ہو جاتی ہے، اس لیے ہم ہندی کو صرف درجے کے طور پر شائع کرتے ہیں۔

  • بیان بمقابلہ پیشہ ور مترجمین (FLoRes)اکتوبر 2026

    Caption Tool نے ہاؤسا، سواحلی، تمل اور اردو میں مترجمین سے زیادہ اسکور کیا (67% سے 75% جملوں پر ترجیح)۔ بیان کے براہِ راست ترجمان کا مجموعی معیار عربی، ہندی اور کوریائی میں تقریباً برابر رہا۔

    FLoRes-200 کے پیشہ ور ترجمے
    طریقہ

    انگریزی کے 148 جملے جن کے پیشہ ور انسانی ترجمے بھی موجود ہیں۔ یہ Google کے خودکار جج MetricX-24 سے ترجمے کا معیار ناپتا ہے۔

    ٹیسٹ بیان نے چلایا۔ انسانی ترجمے عوامی FLoRes-200 سیٹ سے لیے گئے ہیں۔

    بیان نے بولی گئی آڈیو سے کام کیا؛ مترجمین نے متن سے۔ ہم نے جملہ بہ جملہ اسکورز کا موازنہ کیا اور نتیجہ صرف تب شمار کیا جب 95% حد صفر کو پار نہ کرے اور دو رنز متفق ہوں۔ “تقریباً برابر” کا مطلب ہے کہ ٹیسٹ میں کوئی واضح فرق نہیں ملا؛ اس سے یہ ثابت نہیں ہوتا کہ ترجمے ایک جیسے تھے۔

  • انگریزی گفتگو سے مصری عربی (WMT26)15 اکتوبر 2026

    30 سسٹمز میں دوسرا، اور 133 میں سے 91 کلپس (68%) پر پیشہ ورانہ طور پر ایڈٹ کیے گئے (post-edited) ترجمے پر ترجیح دی گئی۔

    WMT26 عمومی ترجمے کا ٹیسٹ
    طریقہ

    انگریزی کے 133 YouTube کلپس، جو 2026 Conference on Machine Translation کا اسپیچ ٹیسٹ ہے۔

    بیان نے ہر شائع شدہ سسٹم کے آؤٹ پٹ اور اپنے آؤٹ پٹ کو Google کے خودکار جج MetricX-24 سے اسکور کیا۔

    بیان کو دوسرے سسٹمز والا ہی خودکار ٹرانسکرپٹ ملا۔ WMT کے اپنے انسانی جائزہ کار سسٹمز کی درجہ بندی مختلف کرتے ہیں، اس لیے ہم اسے ہمیشہ خودکار اسکور کہتے ہیں۔

  • اردو اسپیچ ریکگنیشن (Qwen3.5-Omni مقالہ)مقالہ اپریل 2026؛ بیان اکتوبر 2026

    13.2% الفاظ غلط، جو اس موازنے میں سب سے کم ہیں۔ OpenAI GPT-4o Transcribe کے 19.7% تھے۔

    Qwen3.5-Omni مقالہ، اپریل 2026 (arXiv)
    طریقہ

    FLEURS اردو ریکارڈنگز۔ غلط الفاظ کی شرح ناپتا ہے۔

    Qwen3.5-Omni کے مصنفین نے متعدد سسٹمز کے اسکور شائع کیے؛ ہم نے اسی ٹیسٹ سیٹ پر Caption Tool چلایا۔

    معیاری Whisper قاعدے سے اسکور کیا گیا: چھوٹے حروف، رموزِ اوقاف ہٹا دیے گئے۔

  • براہِ راست تاخیر13 سے 15 اکتوبر 2026

    15 زبانوں کی 53 ریکارڈنگز میں اوسط (median) 2.1 سیکنڈ (فی ریکارڈنگ 1.3 سے 2.7 سیکنڈ)۔

    طریقہ

    جملہ ختم ہونے کے کتنی دیر بعد اس کا مکمل ترجمہ ظاہر ہوتا ہے۔

    بیان، اپنی پروڈکشن Live سروس پر۔

    13 سے 15 اکتوبر 2026 تک بیان کی پروڈکشن Live سروس پر ناپا گیا، ہر بولے گئے جملے کے اختتام سے ہماری محفوظ کردہ سامعین فیڈ میں مکمل انگریزی سطر تک۔ لمبے جملے کے ابتدائی الفاظ اس سے زیادہ انتظار کرتے ہیں۔ زبانی آڈیو متن کے تھوڑی دیر بعد پہنچتی ہے اور اسے نہیں ناپا گیا۔

  • یورپی پارلیمنٹ کے ترجمان2019

    180 تقاریر میں مقرر سے اوسطاً (median) 2.69 سیکنڈ پیچھے۔

    Collard اور Defrancq