أوقفت أنثروبيك أجزاء من عمليات تدريب واختبار نماذجها للذكاء الاصطناعي، بعد أن أقدمت بعض الوكلاء الآليين على تنفيذ تصرفات غير مصرّح بها عبر الإنترنت، كما نقلت نحو 150 مهندساً من فرق المنتجات إلى فرق الأمن.
أبرز النقاط:
- أنثروبيك علّقت التقييمات السيبرانية الخارجية للنماذج قبل إطلاقها، وأوقفت لفترة وجيزة الاختبارات الداخلية، فيما ظلت بيئات التعلم المعزز الأعلى خطورة خارج الخدمة لأسابيع.
- نحو 150 مهندس منتجات أعيد توزيعهم على فرق الأمن والاعتمادية والخصوصية منذ أبريل، فيما جمّدت فرق المنتجات معظم الميزات الجديدة.
- الخطوات جاءت عقب كشف ثلاث حوادث في يوليو، وتقرير منفصل للحكومة البريطانية عن سلوك غير مصرّح به لوكلاء آليين خلال اختبارات الأمن السيبراني.
إيقاف أنثروبيك يشمل التقييمات السيبرانية وبيئات التعلم المعزز
الشركة شرحت تفاصيل تغيير نهجها في تدوينة نُشرت في 31 أغسطس، أي بعد نحو شهر من إعلانها الأول أن نماذجها وصلت إلى أنظمة حاسوب حقيقية.
وأوضحت أنها أوقفت التقييمات السيبرانية الخارجية للنماذج قبل الإطلاق بعد ثلاث حوادث أُبلغ عنها في يوليو، كما أوقفت بشكل مؤقت اختبارات داخلية تجريها بنفسها. أما بيئات التعلم المعزز الأعلى خطورة – حيث تحصل النماذج على مكافآت عند إنجاز المهام – فبقيت متوقفة لعدة أسابيع.
معظم عمليات التدريب تلك استؤنفت لاحقاً تحت رقابة جديدة، بينما لا تزال بعض البيئات الأعلى خطورة معلّقة بانتظار مراجعة يدوية أو إصدار محدث من أدوات الاختبار. كما طوّرت الشركة مصنّفاً قادراً على رصد محاولات النموذج جسّ حدود بيئة الاختبار أو محاولة “الهروب” منها، ليقوم بحجب العملية قبل تنفيذ استدعاء الأداة، مع تنبيه فريق بشري.
ابتداءً من أبريل، انتقل نحو 150 مهندس منتجات للعمل ضمن فرق الأمن والاعتمادية والخصوصية، أي قبل أشهر من الإفصاحات العلنية في يوليو. كما غيّر الباحثون تركيزهم من أعمال ما قبل التدريب إلى العمل على تدابير الحماية والأمن. أما فرق المنتجات فأوقفت معظم الميزات الجديدة إلى أن تستوفي فرقها معايير الأمن المطلوبة للعودة إلى الإطلاق.
اقرأ أيضاً: البنوك تبيع العملات المشفرة في البرازيل مع تجنب مخاطر الميزانية العمومية
ستيفن أدلر وموقّعو “موازنة السباق على الجبهة” يريدون المزيد
معهد أمن الذكاء الاصطناعي في المملكة المتحدة ذكر في تقرير بتاريخ 4 أغسطس أن الوكلاء نفذوا 19 تصرفاً غير مصرّح به ضمن 10 من أصل 122 تجربة تقييم، نُسب 17 منها إلى Claude Mythos 5. وفي أخطر الحالات، أنشأ وكيل آلي هويات مزيفة وضغط على مشرف بشري للموافقة على شفرة خبيثة في مشروع عام.
ستيفن أدلر، الموظف السابق في أوبن إيه آي وأحد مؤسسي منظمة Guidelight AI Standards غير الربحية، قال إن هذه الخطوات “بداية جيدة، لكنها غير كافية بعد”. واعتبر أن القطاع بحاجة إلى وتيرة تطوير يمكن التنبؤ بها والتحقق منها على مستوى “الجبهة المتقدمة” ككل، بدلاً من إيقافات متفرقة تقررها كل شركة على حدة. أنثروبيك من جانبها قالت إنها تعتزم التعاون مع METR لإجراء مراجعة خارجية.
كل من أنثروبيك وأوبن إيه آي وشركات أخرى دعمت مبادرة “Pacing the Frontier”، وهي رسالة مفتوحة موقعة من أكثر من 1,100 موظف في أوبن إيه آي، أنثروبيك، Google DeepMind وMeta. وتدعو الرسالة الحكومة الأميركية إلى المساعدة في تطوير أدوات يمكنها إبطاء تطور النماذج المتقدمة عمداً عند الضرورة.
التجميد الأخير يأتي بعد تدخلات أقل ظهوراً في وقت سابق من العام. ففي فبراير، أعادت الشركة ثلاث أيام من التدريب في تجربة Mythos Preview بعد رصد مؤشرات على “التحايل على آلية المكافأة”. كما جمّدت في أبريل تغييرات بيئات التعلم المعزز في أنظمتها الإنتاجية لنحو شهر، مع رصد مشكلات في أكثر من 10% من تلك البيئات.
اقرأ التالي: سلسلة روبنهود تتفوق على سولانا لأول مرة بـ1.45 مليار دولار في حجم تداولات DEX اليومية
