Google Research ha presentato Titans, una nuova architettura progettata per dare ai modelli di IA la capacità di aggiornare la propria memoria interna in tempo reale, segnando uno dei cambiamenti più significativi rispetto al framework Transformer dalla sua introduzione nel 2017.
Il sistema, affiancato da un framework teorico chiamato MIRAS, è costruito per elaborare e conservare contesti estremamente lunghi, imparando in modo continuo durante l’inferenza.
Cosa è successo
L’annuncio affronta un limite di lunga data dei grandi modelli linguistici: sebbene i Transformer eccellano nel riconoscimento di pattern, il loro costo computazionale scala male con input più lunghi e non possono aggiornare la conoscenza di base senza un nuovo addestramento.
Il nuovo approccio di Google consente ai modelli di modificare i propri parametri di memoria a lungo termine man mano che i dati arrivano in streaming, permettendo un apprendimento persistente senza fine-tuning offline.
Secondo Google Research, Titans combina la velocità delle architetture ricorrenti con l’accuratezza dei sistemi basati sull’attenzione, supportato da un profondo modulo di memoria neurale che riassume e integra informazioni su milioni di token.
Leggi anche: PwC: Hedge-Fund Crypto Exposure Surges To 55%, Up From 47% Last Year
Un meccanismo chiave, descritto come una “metrica di sorpresa”, determina quali nuovi input differiscono in modo significativo dalla memoria esistente del modello e dovrebbero quindi essere memorizzati in modo permanente.
MIRAS, il blueprint di accompagnamento, riformula tutti i modelli di sequenza come varianti di sistemi di memoria associativa, definendo come memorizzano, mantengono e aggiornano le informazioni.
Il framework introduce diverse varianti senza attenzione, tra cui YAAD, MONETA e MEMORA, ciascuna progettata per migliorare robustezza o stabilità in carichi di lavoro con contesti lunghi.
Perché è importante
Nelle valutazioni sperimentali, Titans ha superato architetture di punta come Mamba-2, Gated DeltaNet e Transformer++ in compiti di language modeling, ragionamento zero-shot, genomica e serie temporali.
Google riferisce che Titans ha ottenuto anche prestazioni superiori sul benchmark long-context BABILong, superando persino GPT-4 pur avendo molti meno parametri, e scalando a finestre di contesto superiori a due milioni di token.
Google presenta Titans e MIRAS come la base per una nuova generazione di sistemi di IA in grado di ragionamento adattivo su grandi dataset, apprendimento continuo ed elaborazione efficiente di contesti lunghi, una capacità che potrebbe influenzare i futuri sviluppi sia nella ricerca sia nell’IA applicata.
Da leggere dopo: Did Solana’s Top Lending Platform Mislead Users? Jupiter’s Risk Reversal Sparks Alarm