Google Research представила Titans — новую архитектуру, предназначенную для того, чтобы дать AI models the ability обновлять свою внутреннюю память в реальном времени. Это один из самых значимых отходов от фреймворка Transformer с момента его появления в 2017 году.
Система, дополненная теоретическим фреймворком MIRAS, создана для обработки и сохранения чрезвычайно длинных контекстов при одновременном непрерывном обучении в процессе инференса.
Что произошло
Announcement затрагивает давнее ограничение больших языковых моделей: хотя Transformers отлично распознают шаблоны, их вычислительная стоимость плохо масштабируется с ростом длины входных данных, а обновить базовые знания без переобучения невозможно.
Новый подход Google позволяет моделям изменять параметры долгосрочной памяти по мере поступления данных, обеспечивая устойчивое обучение без офлайн дообучения.
По данным Google Research, Titans объединяет скорость рекуррентных архитектур с точностью систем на основе внимания, опираясь на глубокий модуль нейронной памяти, который суммирует и интегрирует информацию на уровне миллионов токенов.
Также читайте: PwC: Hedge-Fund Crypto Exposure Surges To 55%, Up From 47% Last Year
Ключевой механизм, описываемый как «метрика удивления», определяет, какие новые входные данные существенно отличаются от текущего состояния памяти модели и, следовательно, должны быть сохранены навсегда.
MIRAS, сопутствующий «чертёж», переосмысляет все модельные архитектуры для последовательностей как варианты ассоциативных систем памяти, определяя способы хранения, удержания и обновления информации.
Во фреймворке предлагается несколько вариантов без внимания (attention-free), включая YAAD, MONETA и MEMORA, каждая из которых предназначена для улучшения устойчивости или стабильности при работе с длинным контекстом.
Почему это важно
В экспериментальных тестах Titans превзошла ведущие архитектуры, такие как Mamba-2, Gated DeltaNet и Transformer++, в задачах языкового моделирования, zero-shot‑рассуждений, геномики и анализа временных рядов.
Google сообщает, что Titans также показала более высокие результаты на бенчмарке долгого контекста BABILong, превзойдя даже GPT-4, несмотря на существенно меньшее количество параметров, при масштабировании до окон контекста более чем в два миллиона токенов.
Google позиционирует Titans и MIRAS как основу нового поколения ИИ‑систем, способных к адаптивному рассуждению над большими наборами данных, непрерывному обучению и эффективной обработке длинного контекста — навыку, который может повлиять на последующие разработки как в исследовательском, так и в прикладном ИИ.
Читайте далее: Did Solana’s Top Lending Platform Mislead Users? Jupiter’s Risk Reversal Sparks Alarm