Google Research представила Titans — нову архітектуру, створену для того, щоб надати AI-моделям можливість оновлювати свою внутрішню пам’ять у реальному часі, що є однією з найсуттєвіших відмінностей від фреймворку Transformer від моменту його появи у 2017 році.
Система, поєднана з теоретичним фреймворком під назвою MIRAS, створена для обробки та збереження надзвичайно довгих контекстів із безперервним навчанням під час інференсу.
Що сталося
Оголошення у блозі Google Research адресує давнє обмеження великих мовних моделей: хоча Transformers чудово розпізнають шаблони, їхня обчислювальна вартість погано масштабується з ростом довжини вхідних даних, а основні знання моделі не можна оновити без повторного навчання.
Новий підхід Google дозволяє моделям змінювати параметри довгострокової пам’яті в міру надходження даних, забезпечуючи стале навчання без офлайн-тюнінгу.
За даними Google Research, Titans поєднує швидкість рекурентних архітектур із точністю систем на базі механізму уваги, спираючись на глибокий модуль нейронної пам’яті, який узагальнює та інтегрує інформацію в межах мільйонів токенів.
Також читайте: PwC: Hedge-Fund Crypto Exposure Surges To 55%, Up From 47% Last Year
Ключовий механізм, описаний як «метрика несподіванки», визначає, які нові вхідні дані суттєво відрізняються від наявної пам’яті моделі й тому мають бути збережені назавжди.
MIRAS, супровідний «блакитний друк», переосмислює всі модельні архітектури для послідовностей як варіанти асоціативних систем пам’яті, визначаючи, як вони зберігають, утримують і оновлюють інформацію.
Фреймворк пропонує кілька варіантів без уваги (attention-free), зокрема YAAD, MONETA та MEMORA, кожен із яких розроблений для підвищення надійності або стабільності в умовах роботи з довгим контекстом.
Чому це важливо
В експериментальних оцінках Titans перевершив провідні архітектури, такі як Mamba-2, Gated DeltaNet і Transformer++, у задачах мовного моделювання, zero-shot-ресонінгу, геноміки та аналізу часових рядів.
Google повідомляє, що Titans також досяг кращих результатів у бенчмарку довгого контексту BABILong, обігнавши навіть GPT-4, попри значно меншу кількість параметрів, і масштабується до контекстних вікон понад два мільйони токенів.
Google позиціонує Titans і MIRAS як основу для нового покоління систем ШІ, здатних до адаптивного міркування над великими наборами даних, безперервного навчання та ефективної обробки довгого контексту — можливості, що можуть вплинути на подальший розвиток як дослідницького, так і прикладного ШІ.
Читайте далі: Did Solana’s Top Lending Platform Mislead Users? Jupiter’s Risk Reversal Sparks Alarm