Google Research heeft Titans geïntroduceerd, een nieuwe architectuur die is ontworpen om AI models the ability te geven hun interne geheugen in realtime bij te werken. Dit markeert een van de meest significante afwijkingen van het Transformer-raamwerk sinds de introductie in 2017.
Het systeem, gekoppeld aan een theoretisch raamwerk genaamd MIRAS, is gebouwd om extreem lange contexten te verwerken en te behouden, terwijl het continu blijft leren tijdens inference.
Wat er gebeurde
De aankondiging pakt een lang bestaande beperking van grote taalmodellen aan: hoewel Transformers uitblinken in patroonherkenning, schaalt hun rekenkost slecht bij langere input, en kunnen ze hun kernkennis niet bijwerken zonder opnieuw te trainen.
Google’s nieuwe benadering stelt modellen in staat hun langetermijngeheugenparameters aan te passen terwijl gegevens binnenstromen, waardoor duurzaam leren mogelijk wordt zonder offline fine-tuning.
Volgens Google Research combineert Titans de snelheid van recursieve architecturen met de nauwkeurigheid van op attention gebaseerde systemen, ondersteund door een diep neuronaal geheugensysteem dat informatie over miljoenen tokens samenvat en integreert.
Ook lezen: PwC: Hedge-Fund Crypto Exposure Surges To 55%, Up From 47% Last Year
Een belangrijk mechanisme, beschreven als een “verrassingsmetrie”, bepaalt welke nieuwe input betekenisvol verschilt van het bestaande geheugen van het model en daarom permanent moet worden opgeslagen.
MIRAS, de bijbehorende blauwdruk, herkadert alle sequencemodellen als varianten van associatieve geheugensystemen en definieert hoe ze informatie opslaan, behouden en bijwerken.
Het raamwerk introduceert verschillende varianten zonder attention, waaronder YAAD, MONETA en MEMORA, die elk zijn gebouwd om de robuustheid of stabiliteit bij workloads met lange context te verbeteren.
Waarom het ertoe doet
In experimentele evaluaties overtrof Titans toonaangevende architecturen zoals Mamba-2, Gated DeltaNet en Transformer++ op taken in taalmodellering, zero-shot redeneren, genomica en tijdreeksen.
Google meldt dat Titans ook betere resultaten behaalde op de BABILong-long-contextbenchmark, waarbij het zelfs GPT-4 overtrof ondanks aanzienlijk minder parameters, terwijl het kon opschalen naar contextvensters van meer dan twee miljoen tokens.
Google positioneert Titans en MIRAS als de basis voor een nieuwe generatie AI-systemen die in staat zijn tot adaptieve redenering over grote datasets, continu leren en efficiënte verwerking van lange contexten, een capaciteit die toekomstige ontwikkelingen in zowel onderzoek als toegepaste AI kan beïnvloeden.
Lees hierna: Did Solana’s Top Lending Platform Mislead Users? Jupiter’s Risk Reversal Sparks Alarm