Baian ile diğer yapay zekâ sistemleri
OpenAI, Google ve ElevenLabs’e karşı sıralandı.
Baian önce söylenen kelimeleri doğru duymalı. Bu açık testler, konuşmayı metne dönüştürme adımını karşılaştırıyor. Baian’ı diğer konuşma yapay zekâlarını ölçmek için kullanılan test kümelerinde çalıştırdık.
Sonuçları görünCanlı konuşma: yazıya dökme sıralamasıKelime hataları; Korece ve Japonca için karakter hataları. Düşük olan daha iyi.
-
ArapçaCanlı
Baian5.1%1.Speechmatics Enhanced6.5%2. -
KoreceCanlı
Baian2.9%1.Google Gemini 3.5 Live3.8%2.
Bu sayılar çeviriyi mi ölçüyor?
Hayır. Tanınan metin ile testin referans metni arasındaki farkları sayıyorlar. Baian daha sonra çeviri yaparken önceki konuşmayı bağlam olarak kullanıyor. Yazıya dökmedeki bir hata, tek başına çevrilen anlamın yanlış olduğunu göstermez.
Çeviri testlerini inceleyinKayıtlı konuşma
Beş dilde daha birinci.
Fransızca ve Japoncada birincilik paylaşılıyor. Bu testler tamamlanmış kayıtların yazıya dökülmesini karşılaştırıyor.
Kayıtlı konuşma: yazıya dökme sıralamasıKelime hataları; Korece ve Japonca için karakter hataları. Düşük olan daha iyi.
-
İspanyolcaKayıtlı
Baian3.3%1.OpenAI4.3%2. -
RusçaKayıtlı
Baian4.7%1.Google Gemini 2.5 Flash6.4%2. -
HintçeKayıtlı
Baian1.Yalnızca sıralama -
FransızcaKayıtlı
Baian4.3%Ortak 1.AssemblyAI4.6%Ortak 1. -
JaponcaKayıtlı
Baian2.51%Ortak 1.ElevenLabs2.52%Ortak 1.
Canlı ve kayıtlı konuşma
Hata oranları ne kadar düşüktü?
- Canlı Arapçada OpenAI’ın hatalarının yaklaşık yarısıBaian aynı test setinde kelimelerin %5,1’ini yanlış yazdı; OpenAI %10,5.
Bunun arkasındaki rakamlar
Arapça FLEURS’ta gerçek zamanlı kelime hata oranı: Baian %5,1, OpenAI GPT Realtime %10,5, ElevenLabs Scribe v2 %10,8, Google Gemini 3.5 Live %6,7. Rakip rakamları AssemblyAI’ın gerçek zamanlı karşılaştırma testinden, Eylül 2026; Baian’ın aynı test setindeki çalıştırması, Ekim 2026.
- Körfez Arapçası ile İngilizce karışık konuşmada daha az hataBaian’ın canlı tercümanı kelimelerin %15,6’sını yanlış yazdı. Bitmiş kayıtlardan çalışan OpenAI %43,7’de kaldı.
Bunun arkasındaki rakamlar
Kelime hata oranı, Perle test seti (300 Suudi kaydı, Mayıs 2026): Baian canlı tercüman %15,6, ElevenLabs %21,3, OpenAI GPT-4o Transcribe %43,7 (Baian’ınkinin 2,8 katı), Microsoft Azure %50,6, Google Chirp 3 %62,4 (4 katı). Baian gerçek zamanlı çalıştı; diğerleri bitmiş kayıtlar üzerinde.
- Canlı Korecede birinciBaian karakterlerin %2,9’unu yanlış yazdı; Google %3,8, OpenAI %7,1.
Bunun arkasındaki rakamlar
Korece FLEURS’te gerçek zamanlı karakter hata oranı: Baian %2,9, Google Gemini 3.5 Live %3,8, OpenAI GPT Realtime %7,1. AssemblyAI gerçek zamanlı karşılaştırması, Eylül 2026; Baian’ın testi Ekim 2026.
- Kayıtlı Urducada daha az hataBaian’ın altyazı aracı kelimelerin %13,2’sini yanlış yazdı; OpenAI %19,7.
Bunun arkasındaki rakamlar
Urduca FLEURS’ta kelime hata oranı: Baian altyazı aracı %13,2, OpenAI GPT-4o Transcribe %19,7, Qwen3.5-Omni %20,8. Qwen3.5-Omni makalesi, Nisan 2026; Baian’ın çalıştırması Ekim 2026.
Canlı Arapça (canlı)
| Sistem | 016% | Sonuç |
|---|---|---|
| Baian | 5.1% | |
| Speechmatics Enhanced | 6.5% | |
| Google Gemini 3.5 Live | 6.7% | |
| Speechmatics Standard | 8.4% | |
| Amazon (AWS) | 8.5% | |
| Meta Muse | 8.9% | |
| OpenAI GPT-4o Transcribe | 9.4% | |
| OpenAI GPT Realtime | 10.5% | |
| ElevenLabs Scribe v2 | 10.8% | |
| OpenAI GPT-4o mini Transcribe | 11.7% | |
| AssemblyAI Universal | 12.1% | |
| Microsoft Azure | 12.5% | |
| Gladia | 15.1% |
Bu nasıl ölçüldü
AssemblyAI, hangi FLEURS metin alanını puanladığını ya da Arapça harekeleri nasıl ele aldığını belirtmiyor. Bizim %5,1’imiz harekeleri kaldırılmış, temizlenmiş metni kullanır. Ham metne göre puanlandığında Baian’ın canlı tercümanı %6,75 alır; yine de OpenAI GPT Realtime (%10,5) ve ElevenLabs’in (%10,8) çok altındadır. AssemblyAI her kısa klibi dili önceden ayarlanmış olarak ayrı ayrı aktardı; biz müşterilerin kullandığı ayarla, otomatik dil algılamayla 15 dakikalık kayıtlar aktardık.
Canlı Korece (canlı)
| Sistem | 010% | Sonuç |
|---|---|---|
| Baian | 2.9% | |
| Google Gemini 3.5 Live | 3.8% | |
| AssemblyAI Universal | 4.3% | |
| ElevenLabs Scribe v2 | 4.6% | |
| Amazon (AWS) | 4.9% | |
| Speechmatics Standard | 5.2% | |
| Speechmatics Enhanced | 5.4% | |
| Meta Muse | 6.1% | |
| Gladia | 6.6% | |
| OpenAI GPT-4o Transcribe | 6.7% | |
| OpenAI GPT Realtime | 7.1% | |
| OpenAI GPT-4o mini Transcribe | 7.6% | |
| Microsoft Azure | 9.4% |
Bu nasıl ölçüldü
Boşluklar korunduğunda Baian’ın canlı tercümanı %3,26 puan alır ve yine en düşük olandır. Arapça grafikteki düzen farkının aynısı: uzun kayıtları otomatik dil algılamayla aktardık.
İngilizceyle karışık Suudi Arapçası (canlı)
| Sistem | 063% | Sonuç |
|---|---|---|
| Baian | 15.6% | |
| ElevenLabs Scribe v2 | 21.3% | |
| OpenAI GPT-4o Transcribe | 43.7% | |
| Microsoft Azure | 50.6% | |
| Google Chirp 3 | 62.4% |
Bu nasıl ölçüldü
Diğer dört sistem Perle’nin yazarları tarafından bitmiş kayıtlar üzerinde test edildi. Baian’ın canlı tercümanı gerçek zamanlı çalıştı, bu da daha zordur. Anlam ölçütünde (BERTScore, 1’e yakın olan daha iyi) Baian’ın canlı tercümanı 0,956, ElevenLabs ise 0,938 puan aldı.
İngilizceyle karışık Suudi Arapçası (kayıtlı)
| Sistem | 063% | Sonuç |
|---|---|---|
| Baian | 9.5% | |
| ElevenLabs Scribe v2 | 21.3% | |
| OpenAI GPT-4o Transcribe | 43.7% | |
| Microsoft Azure | 50.6% | |
| Google Chirp 3 | 62.4% |
Bu nasıl ölçüldü
Anlam ölçütünde (BERTScore, 1’e yakın olan daha iyi) Caption Tool 0,971, ElevenLabs ise 0,938 puan aldı. Perle’nin kendi kuralları ve modeliyle puanlandı.
Urduca transkripsiyon (kayıtlı)
| Sistem | 021% | Sonuç |
|---|---|---|
| Baian | 13.2% | |
| OpenAI GPT-4o Transcribe | 19.7% | |
| Qwen3.5-Omni | 20.8% |
Şeffaflık
Tercüme hizmetleri nasıl test ettiklerini nadiren gösteriyor.
Her birinin kendi sonuçları hakkında ne söylediğini kontrol ettik.
| Hizmet | Yayımlanmış doğruluk kanıtı |
|---|---|
| Baian | Adı belli herkese açık testlerde sonuçlar, tarihleri ve yöntemleriyle. Hepsini görün ↗ |
| Interprefy | Yalnızca kendi özel testi (“%98’e kadar”), kendi yöntemiyle puanlanmış. Kaynak ↗ |
| Wordly | Adı verilmiş bir test seti olmadan %98–99 iddiası. Kaynak ↗ |
| KUDO | KUDO’nun kendisinin de güncelliğini yitirdiğini söylediği, Mayıs 2023 tarihli özel bir test. Kaynak ↗ |
| Interactio | Doğruluk rakamı yok. Kaynak ↗ |
| Maestra | Doğruluk rakamı yok. Kaynak ↗ |
| Timekettle | Adı verilmiş bir test seti olmadan “%98’e kadar” iddiası. Kaynak ↗ |
| Microsoft Teams Interpreter | Rakam yok; Microsoft doğruluğun garanti edilmediğini söylüyor. Kaynak ↗ |
Kendi etkinlik sesinizle dinleyin.
Kısa bir kayıt, dilleriniz ve izleyici sayınızla gelin. Size dinleyici deneyimini gösterelim.
Demo ayarlayınKaynaklar ve yöntemlerBu sayfadaki her rakam, testi ve tarihiyle
- Canlı konuşma tanıma (AssemblyAI gerçek zamanlı karşılaştırma testi)AssemblyAI testleri 25 Ağustos–23 Eylül 2026; Baian testleri 13–15 Ekim 2026
Arapçada (%5,1) ve Korecede (%2,9) 1., Rusçada ve Danca’da 2. Yayımladığımız 14 dilin 13’ünde OpenAI’ın üç gerçek zamanlı modelinin hepsinden daha az hata.
AssemblyAI gerçek zamanlı karşılaştırmasıYöntem
FLEURS: sesli okunan kısa Wikipedia cümleleri. Kaç kelimenin yanlış çıktığını ölçer.
AssemblyAI 14 gerçek zamanlı motor için puan yayımladı. Baian’ın canlı tercümanını aynı test setinde çalıştırdık.
Klipleri 1,5 saniyelik boşluklarla 15 dakikalık kayıtlarda birleştirdik ve otomatik dil algılamayla, bir mikrofon gibi, gerçek zamanlı olarak Baian’ın canlı tercümanına çaldık. AssemblyAI ise her klibi dil önceden ayarlanmış olarak ayrı ayrı aktardı. Puanlama noktalama işaretlerini, büyük harfleri, Arapça harekeleri ve sayıların yazılış biçimini yok sayar. Grafiklerimiz AssemblyAI’ın 14 motorundan 13’ünü gösterir; tablonun tamamı AssemblyAI’ın sitesindedir.
- İngilizceyle karışık Suudi Arapçası (Perle)Makale Mayıs 2026; Baian çalıştırmaları Ekim 2026
Caption Tool’da kelimelerin %9,5’i yanlış; Baian’ın canlı tercümanında %15,6, ElevenLabs’te %21,3, OpenAI’da %43,7, Azure’da %50,6, Google’da %62,4.
Perle, Mayıs 2026 (arXiv)Yöntem
Arapça ile İngilizce arasında geçiş yapan Suudi konuşmacılardan 300 kayıt. Yanlış kelimeleri ve korunan anlamı ölçer.
Perle’nin yazarları ElevenLabs, OpenAI, Microsoft Azure ve Google’ı test etti. Biz de her iki Baian ürününü aynı kayıtlar üzerinde çalıştırdık.
Perle’nin kendi kuralları ve anlam modeliyle puanlandı. Caption Tool yalnızca transkripsiyon modunda çalıştı; Live varsayılan ayarları ve dil ipucu olmadan kullandı.
- Kayıtlı konuşma tanıma (Verli)Verli Temmuz 2026; Baian Ekim 2026
İspanyolca, Rusça ve Hintçede 1.; Fransızca ve Japoncada ortak 1.
Verli konuşmadan metne doğruluk testi, Temmuz 2026Yöntem
Dil başına 200 FLEURS cümlesi. Yanlış kelimeleri ölçer.
Verli her dilde 15 veya 16 motoru test etti. Biz de Baian’ın altyazı aracını aynı test setinde çalıştırdık.
Verli her motoru Temmuz 2026’daki hâliyle, kendi 200 cümlelik FLEURS örneğinde test etti. Biz aynı test setini ve puanlama kuralını farklı 200 cümle üzerinde kullandık. Verli’nin puanlama kuralı Hintçe kelimeleri sesli harf işaretlerinden böler ve bu herkesin hata oranını kabaca yarıya indirir; bu yüzden Hintçeyi yalnızca sıralama olarak yayımlıyoruz.
- Baian, profesyonel çevirmenlere karşı (FLoRes)Ekim 2026
Caption Tool; Hausaca, Svahilice, Tamilce ve Urducada çevirmenlerden daha yüksek puan aldı (cümlelerin %67–75’inde tercih edildi). Baian’ın canlı tercümanının genel kalitesi Arapça, Hintçe ve Korecede yaklaşık aynıydı.
FLoRes-200 profesyonel çevirileriYöntem
Profesyonel insan çevirileri de bulunan 148 İngilizce cümle. Çeviri kalitesini Google’ın otomatik değerlendiricisi MetricX-24 ile ölçer.
Testi Baian yaptı. İnsan çevirileri herkese açık FLoRes-200 setinden geliyor.
Baian konuşulan sesten, çevirmenler metinden çalıştı. Puanları cümle cümle karşılaştırdık ve bir sonucu yalnızca %95 aralığı sıfırı geçmediğinde ve iki çalıştırma aynı sonucu verdiğinde saydık. “Yaklaşık aynı”, testin net bir fark bulmadığı anlamına gelir; çevirilerin aynı olduğunu kanıtlamaz.
- İngilizce konuşmadan Mısır Arapçasına (WMT26)15 Ekim 2026
30 sistem içinde 2. ve 133 klibin 91’inde (%68) profesyonelce son düzenlemesi yapılmış çeviriye tercih edildi.
WMT26 genel çeviri testiYöntem
2026 Makine Çevirisi Konferansı’nın konuşma testi: 133 İngilizce YouTube klibi.
Baian, yayımlanan her sistemin çıktısını ve kendi çıktısını Google’ın otomatik değerlendiricisi MetricX-24 ile puanladı.
Baian diğer sistemlerle aynı otomatik dökümü aldı. WMT’nin kendi insan değerlendiricileri sistemleri farklı sıralıyor; bu yüzden bunu her zaman otomatik bir puan olarak tanımlıyoruz.
- Urduca konuşma tanıma (Qwen3.5-Omni makalesi)Makale Nisan 2026; Baian Ekim 2026
Kelimelerin %13,2’si yanlış; karşılaştırmadaki en düşük oran. OpenAI GPT-4o Transcribe %19,7’de kaldı.
Qwen3.5-Omni makalesi, Nisan 2026 (arXiv)Yöntem
FLEURS Urduca kayıtları. Yanlış kelimeleri ölçer.
Qwen3.5-Omni yazarları birkaç sistem için puan yayımladı; biz de Caption Tool’u aynı test setinde çalıştırdık.
Standart Whisper kuralıyla puanlandı: küçük harf, noktalama kaldırılmış.
- Canlı gecikme13–15 Ekim 2026
15 dilde 53 kayıtta medyan 2,1 saniye (kayıt başına 1,3 ile 2,7 saniye).
Yöntem
Bir cümle bittikten ne kadar sonra bitmiş çevirisinin göründüğü.
Baian, canlı Live hizmetinde.
13–15 Ekim 2026 tarihleri arasında Baian’ın canlı Live hizmetinde, konuşulan her cümlenin sonundan, yakaladığımız dinleyici akışındaki bitmiş İngilizce satıra kadar ölçüldü. Uzun bir cümledeki önceki kelimeler bundan daha uzun bekler. Sesli çıktı metinden biraz sonra gelir ve ölçülmedi.
- Avrupa Parlamentosu tercümanları2019
180 konuşmada konuşmacının medyan 2,69 saniye gerisinde.