Google Research a présenté Titans, une nouvelle architecture conçue pour donner aux modèles d’IA la capacité de mettre à jour leur mémoire interne en temps réel, marquant l’une des évolutions les plus significatives par rapport au cadre Transformer depuis son introduction en 2017.
Le système, associé à un cadre théorique appelé MIRAS, est conçu pour traiter et retenir des contextes extrêmement longs tout en apprenant en continu pendant l’inférence.
Ce qui s’est passé
L’annonce aborde une limite de longue date des grands modèles de langage : si les Transformers excellent en reconnaissance de motifs, leur coût de calcul augmente fortement avec la longueur des entrées, et ils ne peuvent pas mettre à jour leurs connaissances de base sans réentraînement.
La nouvelle approche de Google permet aux modèles de modifier leurs paramètres de mémoire à long terme à mesure que les données arrivent en flux continu, ce qui autorise un apprentissage persistant sans affinage hors ligne.
Selon Google Research, Titans combine la vitesse des architectures récurrentes avec la précision des systèmes basés sur l’attention, grâce à un module de mémoire neuronale profonde qui résume et intègre l’information sur des millions de jetons.
À lire aussi : PwC: Hedge-Fund Crypto Exposure Surges To 55%, Up From 47% Last Year
Un mécanisme clé, décrit comme une « métrique de surprise », détermine quelles nouvelles entrées diffèrent réellement de la mémoire existante du modèle et doivent donc être stockées de façon permanente.
MIRAS, le plan directeur associé, reformule tous les modèles de séquences comme des variantes de systèmes de mémoire associative, en définissant la manière dont ils stockent, conservent et mettent à jour l’information.
Le cadre introduit plusieurs variantes sans attention, dont YAAD, MONETA et MEMORA, chacune conçue pour améliorer la robustesse ou la stabilité sur des charges de travail à très long contexte.
Pourquoi c’est important
Lors d’évaluations expérimentales, Titans a surpassé des architectures de pointe comme Mamba-2, Gated DeltaNet et Transformer++ sur des tâches de modélisation du langage, de raisonnement zero-shot, de génomique et de séries temporelles.
Google indique que Titans a également obtenu de meilleures performances sur le benchmark de long contexte BABILong, dépassant même GPT-4 tout en utilisant beaucoup moins de paramètres, et en s’étendant à des fenêtres de contexte dépassant deux millions de jetons.
Google présente Titans et MIRAS comme la base d’une nouvelle génération de systèmes d’IA capables de raisonnement adaptatif sur de grands jeux de données, d’apprentissage continu et de traitement efficace de contextes très étendus, une capacité qui pourrait influencer les futurs développements en recherche comme en IA appliquée.
À lire ensuite : Did Solana’s Top Lending Platform Mislead Users? Jupiter’s Risk Reversal Sparks Alarm