قسم أبحاث جوجل (Google Research) قدّم Titans، وهي بنية جديدة مصممة لمنح نماذج الذكاء الاصطناعي القدرة على تحديث ذاكرتها الداخلية في الزمن الحقيقي، في ما يُعد من أهم التحوّلات عن إطار Transformer منذ ظهوره عام 2017.
هذا النظام، المقترن بإطار نظري يُسمى MIRAS، مُصمم لمعالجة والاحتفاظ بسياقات طويلة للغاية مع الاستمرار في التعلّم أثناء الاستدلال.
ما الذي حدث
الإعلان يتناول محدودية مزمنة في النماذج اللغوية الضخمة: فمع أن Transformers تتفوق في اكتشاف الأنماط، إلا أن كلفتها الحسابية ترتفع بشكل كبير مع زيادة طول المدخلات، كما أنها لا تستطيع تحديث معارفها الأساسية دون إعادة التدريب من الصفر.
النهج الجديد من جوجل يسمح للنماذج بتعديل معاملات الذاكرة طويلة الأمد مع تدفق البيانات إليها، ما يتيح تعلّمًا مستمرًا من دون الحاجة لضبط غير متصل (offline fine-tuning).
ووفقًا لأبحاث جوجل، يجمع Titans بين سرعة البنى التكرارية (recurrent architectures) ودقة الأنظمة المعتمدة على الانتباه (attention-based systems)، وذلك بدعم من وحدة ذاكرة عصبية عميقة تلخّص وتدمج المعلومات على امتداد ملايين الرموز.
Also Read: PwC: Hedge-Fund Crypto Exposure Surges To 55%, Up From 47% Last Year
آلية محورية في النظام، وُصفت بأنها "مقياس المفاجأة"، تحدد أي المدخلات الجديدة تختلف بشكل جوهري عن الذاكرة القائمة للنموذج، وبالتالي يجب تخزينها بشكل دائم.
إطار MIRAS المصاحب يعيد صياغة جميع نماذج التسلسل بوصفها أشكالًا من أنظمة الذاكرة الترابطية، محددًا الكيفية التي تخزن بها المعلومات وتحتفظ بها وتحدّثها.
ويقدّم الإطار عدة نسخ خالية من آلية الانتباه، من بينها YAAD وMONETA وMEMORA، صُممت كل منها لتحسين المتانة أو الاستقرار في أحمال العمل ذات السياقات الطويلة.
لماذا يُعد الأمر مهمًّا؟
في التقييمات التجريبية، تفوّق Titans على بنى رائدة مثل Mamba-2 وGated DeltaNet وTransformer++ في مهام نمذجة اللغة، والاستدلال بدون أمثلة مسبقة (zero-shot reasoning)، والعلوم الجينومية، وتحليل السلاسل الزمنية.
وتذكر جوجل أن Titans حقق أداءً متفوقًا أيضًا على معيار BABILong الخاص بالسياقات الطويلة، متجاوزًا حتى GPT-4 على الرغم من امتلاكه عددًا أقل بكثير من المعاملات، مع القدرة على التوسع إلى نوافذ سياقية تتجاوز مليوني رمز.
جوجل تطرح Titans وMIRAS كأساس لجيل جديد من أنظمة الذكاء الاصطناعي القادرة على الاستدلال التكيفي فوق قواعد بيانات ضخمة، والتعلّم المستمر، والمعالجة الكفؤة للسياقات الطويلة، وهي قدرات قد تؤثر في تطورات المستقبل في أبحاث الذكاء الاصطناعي وتطبيقاته العملية على حد سواء.
Read Next: Did Solana’s Top Lending Platform Mislead Users? Jupiter’s Risk Reversal Sparks Alarm