Google Research hat Titans vorgestellt, eine neue Architektur, die darauf ausgelegt ist, KI‑Modellen die Fähigkeit zu geben, ihren internen Speicher in Echtzeit zu aktualisieren – eine der bedeutendsten Abweichungen vom Transformer‑Framework seit dessen Einführung im Jahr 2017.
Das System, gepaart mit einem theoretischen Framework namens MIRAS, ist darauf ausgelegt, extrem lange Kontexte zu verarbeiten und zu behalten, während es während der Inferenz kontinuierlich lernt.
Was passiert ist
Die Ankündigung geht auf eine langjährige Einschränkung großer Sprachmodelle ein: Während Transformer bei der Mustererkennung exzellent sind, steigen ihre Rechenkosten bei längeren Eingaben stark an, und sie können ihr Kernwissen nicht aktualisieren, ohne neu trainiert zu werden.
Googles neuer Ansatz ermöglicht es Modellen, ihre Langzeit-Speicherparameter zu verändern, während Daten einströmen, und so dauerhaft zu lernen, ohne offline feinabgestimmt werden zu müssen.
Laut Google Research kombiniert Titans die Geschwindigkeit rekurrenter Architekturen mit der Genauigkeit aufmerksamkeitsbasierter Systeme, unterstützt von einem tiefen neuronalen Speichermodul, das Informationen über Millionen von Tokens hinweg zusammenfasst und integriert.
Auch lesen: PwC: Hedge-Fund Crypto Exposure Surges To 55%, Up From 47% Last Year
Ein zentrales Verfahren, beschrieben als „Überraschungsmetrik“, bestimmt, welche neuen Eingaben sich sinnvoll von der bestehenden Erinnerung des Modells unterscheiden und daher dauerhaft gespeichert werden sollten.
MIRAS, der begleitende Bauplan, formuliert alle Sequenzmodelle neu als Varianten assoziativer Speichersysteme und definiert, wie sie Informationen speichern, behalten und aktualisieren.
Das Framework führt mehrere aufmerksamkeitfreie Varianten ein, darunter YAAD, MONETA und MEMORA, die jeweils darauf ausgelegt sind, Robustheit oder Stabilität bei Langkontext-Arbeitslasten zu verbessern.
Warum es wichtig ist
In experimentellen Auswertungen übertraf Titans führende Architekturen wie Mamba-2, Gated DeltaNet und Transformer++ bei Aufgaben in den Bereichen Sprachmodellierung, Zero-Shot-Reasoning, Genomik und Zeitreihenanalyse.
Google berichtet, dass Titans zudem eine überlegene Leistung auf dem BABILong-Langkontext-Benchmark erzielte und dabei sogar GPT‑4 übertraf, obwohl es deutlich weniger Parameter besitzt, während es auf Kontextfenster von über zwei Millionen Tokens skaliert.
Google positioniert Titans und MIRAS als Grundlage für eine neue Generation von KI-Systemen, die zu adaptivem Schließen über große Datensätze, kontinuierlichem Lernen und effizienter Langkontext-Verarbeitung fähig sind – eine Fähigkeit, die künftige Entwicklungen in Forschung und angewandter KI maßgeblich beeinflussen könnte.
Als Nächstes lesen: Did Solana’s Top Lending Platform Mislead Users? Jupiter’s Risk Reversal Sparks Alarm