Google Research ha presentado Titans, una nueva arquitectura diseñada para dar a los modelos de IA la capacidad de actualizar su memoria interna en tiempo real, marcando una de las desviaciones más significativas del marco Transformer desde su introducción en 2017.
El sistema, combinado con un marco teórico llamado MIRAS, está diseñado para procesar y retener contextos extremadamente largos mientras aprende de forma continua durante la inferencia.
Qué ha pasado
El anuncio aborda una limitación de larga data en los modelos de lenguaje grandes: aunque los Transformers destacan en el reconocimiento de patrones, su costo computacional escala mal con entradas más largas y no pueden actualizar su conocimiento central sin volver a entrenar.
El nuevo enfoque de Google permite que los modelos modifiquen sus parámetros de memoria a largo plazo a medida que los datos llegan en flujo, habilitando un aprendizaje persistente sin ajuste fino fuera de línea.
Según Google Research, Titans combina la velocidad de las arquitecturas recurrentes con la precisión de los sistemas basados en atención, respaldado por un módulo de memoria neuronal profunda que resume e integra información a través de millones de tokens.
También lee: PwC: Hedge-Fund Crypto Exposure Surges To 55%, Up From 47% Last Year
Un mecanismo clave, descrito como una “métrica de sorpresa”, determina qué nuevas entradas difieren de manera significativa de la memoria existente del modelo y, por lo tanto, deben almacenarse de forma permanente.
MIRAS, el plano teórico que lo acompaña, replantea todos los modelos de secuencia como variantes de sistemas de memoria asociativa, definiendo cómo almacenan, retienen y actualizan la información.
El marco introduce varias variantes sin atención, incluidas YAAD, MONETA y MEMORA, cada una diseñada para mejorar la robustez o la estabilidad en cargas de trabajo de contexto largo.
Por qué es importante
En evaluaciones experimentales, Titans superó a arquitecturas líderes como Mamba-2, Gated DeltaNet y Transformer++ en tareas de modelado de lenguaje, razonamiento zero-shot, genómica y series temporales.
Google informa que Titans también logró un rendimiento superior en el benchmark de contexto largo BABILong, superando incluso a GPT-4 a pesar de tener muchos menos parámetros, mientras escala a ventanas de contexto de más de dos millones de tokens.
Google presenta Titans y MIRAS como la base de una nueva generación de sistemas de IA capaces de razonamiento adaptativo sobre grandes conjuntos de datos, aprendizaje continuo y procesamiento eficiente de contextos largos, una capacidad que podría influir en desarrollos futuros tanto en la investigación como en la IA aplicada.
Lee a continuación: Did Solana’s Top Lending Platform Mislead Users? Jupiter’s Risk Reversal Sparks Alarm