سجّل مختبِرون مستقلون للنموذج الجديد من Anthropic، Claude Opus 5، 159 نقطة على أحد مؤشرات القدرات، أي أقل بنقطتين من Claude Fable 5، وسط تباين حاد في تقييم أدائه في مراجعة الشيفرة البرمجية.
أبرز النقاط:
- مؤسسة Epoch AI منحت Claude Opus 5 درجة 159 على مؤشر القدرات مقابل 161 لـ Claude Fable 5، مع تعادل النموذجين في هندسة البرمجيات.
- منصة CodeRabbit سجّلت دقة 39.3% في التعليقات القابلة للتنفيذ على مراجعات الشيفرة، ارتفاعاً من خط أساس عند 35.2%، لكنها أحصت أربعة أضعاف عدد الملاحظات التافهة.
- مختبِرو الشركات في Cognition وZapier رصدوا تحسناً في تصحيح الأخطاء وأتمتة العمليات التجارية من البداية إلى النهاية.
معايير Claude Opus 5 تحت مجهر المراجعة المبكرة
طرحت Anthropic النموذج يوم الجمعة، وأعلنت أنه يقترب من مستوى ذكاء Fable 5 المتقدّم بنصف السعر، مع وضعه كنموذج للاستخدام اليومي لا كأداة متخصصة. أغلب الجهات المستقلة قيّمت الإصدار في هذا الإطار، لكن دون إجماع على حجم الفارق.
Epoch AI قيّمت Opus 5 عند 159 نقطة على مؤشر القدرات مقابل 161 لـ Fable 5، ومنحتهما مستوى متقارباً في هندسة البرمجيات، بحسب ملخص أعدّته منصة Latent Space أظهر هذه النتائج.
من جهتها، صنّفت Artificial Analysis النموذج في المرتبة الأولى على معيارها لقياس كفاءة “العمل المعرفي بالوكلاء”، متقدماً على Fable 5 بما يقرب من 150 نقطة Elo، مع خفض تكلفة كل مهمة بنسبة 20%. بعض المطوّرين شككوا في مؤشر القدرات هذا، معتبرين أن فارق نقطة واحدة فقط مقارنة بالإصدار الأقدم Opus 4.8 لا يعكس ما يلاحظونه في الاستخدام اليومي. أحد المقيمين وجد أن إعداد “الجهد المتوسط” تفوق على الإعدادات الأعلى في اختبار برمجي.
اطلع أيضاً: BitMEX Is Shutting Down After 11 Years With No Buyer In Sight
أحكام متباينة على أداء مراجعة الشيفرة
أجرت CodeRabbit اختباراً لـ Opus 5 على نحو 100 نمط من الأخطاء مأخوذة من طلبات دمج حقيقية لمشاريع مفتوحة المصدر، بثلاث تمريرات لكل إعداد، وقاست دقة بلغت 39.3% في التعليقات القابلة للتنفيذ.
هذه النتيجة تجاوزت خط الأساس البالغ 35.2% لمراجعها الإنتاجي الحالي، لكن النموذج التقط عدداً أقل من العلل المعروفة، وفي المقابل ولّد أربعة أضعاف عدد “الملاحظات الصغيرة” ذات القيمة المنخفضة، التي يضطر المهندسون لفرزها يدوياً.
عند مستوى الجهد الافتراضي، تراجعت الدقة إلى 26.4%. خلصت الشركة إلى أن على الفرق التقنية التعامل مع Opus 5 كمراجع ثانٍ موجّه للدقة، لا كترقية مباشرة لمسار عمل قائم ويعمل بكفاءة. كلير فو، التي تدير تقييماً يعتمد سبعة نماذج لفرق المنتجات، وصفت النموذج بأنه “لامع لكن مزعج”، مشيرةً إلى نزعة “قلقة” ورفض قاطع من النموذج للتعامل مع تعارض دمج (merge conflict) بعينه.
عملاء Anthropic يشيدون بأداء النماذج الوكيلة
قال سكوت وو، الرئيس التنفيذي لشركة Cognition، إن Opus 5 يقترب من أداء Fable داخل منصة Devin بنصف التكلفة، مع قوة ملحوظة في تصحيح الأخطاء وتحليل جذور الأعطال. أما ويد فوستر، الرئيس التنفيذي لـ Zapier، فأكد أن النموذج تصدّر لوح ترتيب الأتمتة في شركته دون استهلاك عدد أكبر من التوكنات مقارنة بإصدارات Claude السابقة، مع بقاء التسعير عند 5 دولارات لكل مليون توكن إدخال.
الثناء جاء مصحوباً بتحفظات. فقد أشارت Anthropic في بيان منشور إلى أن Opus 5 لا يزال متخلفاً عن نموذجها Mythos 5 في مهام الأمن السيبراني الهجومي، وأن الطلبات التي ترصدها أنظمة السلامة في الشركة تُحوَّل تلقائياً إلى Opus 4.8.
تأتي هذه الحيطة بعد فترة مضطربة في قمة منتجات الشركة، إذ إن Fable 5 طُرح في يونيو، ثم سُحب من الخدمة بعد أيام قليلة، قبل أن يعود للمستخدمين مطلع يوليو.
للمتابعة: HubSpot Fell 12.7% And Analysts Point Straight At OpenAI's New Agent