benchr
اتجاه الترجمة والسجل والجمهور والمجال متغيرات مستقلة. لا يجب أن يشترك بريد قصير بالفصحى، ومحادثة دعم خليجية، وعقد، ونص كلاسيكي في درجة واحدة. قد تساعد المواصفات العامة في تحديد المرشحين، لكنها لا تثبت جودة اللهجة أو الفائز على موادك.
مرشحون تحريريّون للاختبار
القائمة التالية فرضيات تحريرية وليست نتيجة مقارنة منشورة. تُدرج النماذج المتقدمة المستضافة عندما تلائم خصائص السياق وسير العمل الموثقة المهمة. وتُدرج نقاط حفظ Qwen3.6 مفتوحة الأوزان (بترخيص Apache-2.0) وLlama 4 عندما تهم الأوزان المفتوحة أو الاستضافة المحلية أو الترخيص أو التحكم في التشغيل. ولا يجوز تعميم نتيجة إصدار مضبوط للترجمة على عائلة نموذج كاملة.
تسمّي قائمة سبتمبر 2026 الإصدار الحالي من كل عائلة. حلّ Claude Opus 5 محل Opus 4.8 في 24 يوليو 2026 بالسعر نفسه، $5 / $25 لكل مليون توكن، وتنصح Anthropic في دليل نماذجها معظم المستخدمين بالبدء بـ Opus 5. أما GPT-5.6 Sol فأحدث من GPT-5.5 وأرخص في الإدخال والإخراج معاً: $4 / $20 لكل مليون توكن لـ GPT-5.6 Sol، مقابل $5 / $30 لـ GPT-5.5. وما زال Gemini 3.1 Pro أحدث نماذج Pro لدى Google، وما زالت Google تصفه بالمعاينة (Preview). ولم تطلق Meta نموذج Llama 5، فيبقى Llama 4 إصدار Llama الحالي مفتوح الأوزان.
| المرشح | سبب موثق لإدراجه | ما يجب أن يحسمه الاختبار المحلي |
|---|---|---|
| Claude Opus 5 | نموذج مستضاف وسير عمل موثق بسعة سياق 1M توكن | المعنى والسجل والمصطلحات والأسماء والاتساق والكمون والتكلفة على ملفاتك |
| GPT-5.6 Sol | نموذج مستضاف وسير API موثق من المزوّد | الاتجاهان وكل سجل إقليمي مطلوب |
| Gemini 3.1 Pro | سياق طويل وخيارات سير عمل Google موثقة | اتباع التعليمات وتغطية المصدر والسجل وملاءمة الخطة الحالية |
| Qwen3.8-Max أو أوزان Qwen3.6 المفتوحة أو إصدار الترجمة المحدد | قد يمنح النشر عبر API مستضافة أو بأوزان مفتوحة بترخيص Apache-2.0 أو بإصدار متخصص في الترجمة تحكماً أكبر في التشغيل | نقطة الحفظ ومجزئ الرموز وخادم التشغيل والترخيص نفسها التي ستنشرها |
| Llama 4 / نقطة الحفظ المحددة | قد يلائم النشر المفتوح متطلبات الاستضافة المحلية أو الحوكمة | نقطة الحفظ وبيئة التشغيل؛ لا نفترض ترتيباً عربياً لعائلة كاملة |
تقييم أعمى قابل للتكرار
- ثبّت الإعداد. سجل معرّف النموذج والتاريخ وأمر النظام والحرارة والأدوات والمسرد وقيود الإخراج. استخدم التعليمات والنص المصدر نفسيهما لكل مرشح.
- قسّم المجموعة إلى طبقات. ضمّن الاتجاهين والسجلات التي ستنشرها فعلاً: الفصحى والخليجية والمصرية والشامية والمغاربية، ومزج اللغات، والمصطلحات القانونية، والأسماء ونقلها بين الحروف، والنص الكلاسيكي أو الديني عند الحاجة.
- اعمِ المراجعة. رتّب المخرجات عشوائياً وأعد تسميتها حتى لا يعرف المراجعون المزوّد، واستعن بأكثر من مراجع في أحكام السجل الذاتية.
- قيّم معايير محددة. قِس حفظ المعنى والحذف والإضافة والمصطلحات والسجل والأسماء والتنسيق وتفضيل المراجعين. سجّل اختلاف المراجعين بدلاً من اختزاله في ادعاء فوز غير مسند.
- كرر وانشر. أعد عينة للتحقق من الثبات، وانشر مجموعة الاختبار والأمر ومعرّفات النماذج وسلم التقييم والمتوسطات واختلاف المراجعين والكمون والتكلفة كلّاً على حدة.
اختبارات الضغط الإلزامية
صرّح بالجمهور والبلد والسجل والمسرد واتفاقية نقل الأسماء. في النص القانوني أو الطبي أو الديني أو غيره من النصوص الحساسة، لا يغني تفضيل نموذج عن مراجعة خبير في المجال. وإذا لم تكن للهجة المطلوبة كتابة معيارية واسعة، فوثّق اختلاف المراجعين واختبر أمثلة حقيقية من جمهورها بدلاً من الاستدلال بمعايير الفصحى.
حجم نافذة السياق ليس دليلاً على جودة ترجمة الوثائق الطويلة. اختبر اتساق المصطلحات والمراجع المتقاطعة والحذف والتعامل مع انقطاع الإخراج على ملفات ممثلة. وإذا تجاوز الملف الحدود العملية، فاستخدم تقسيمًا مضبوطاً ومسرداً ثم تحقق من الاتساق بعد التجميع.