Google Research wprowadziło Titans, nową architekturę zaprojektowaną tak, aby dać AI models the ability możliwość aktualizowania swojej wewnętrznej pamięci w czasie rzeczywistym, co stanowi jedno z najistotniejszych odejść od frameworku Transformer od czasu jego powstania w 2017 roku.
System, sparowany z teoretycznym frameworkiem o nazwie MIRAS, został zbudowany do przetwarzania i utrzymywania ekstremalnie długich kontekstów przy jednoczesnym ciągłym uczeniu się podczas wnioskowania.
Co się stało
Announcement odnosi się do długoletniego ograniczenia dużych modeli językowych: choć Transformatory świetnie radzą sobie z rozpoznawaniem wzorców, ich koszt obliczeniowy bardzo rośnie wraz z długością wejścia i nie potrafią aktualizować kluczowej wiedzy bez ponownego treningu.
Nowe podejście Google pozwala modelom modyfikować parametry długoterminowej pamięci w miarę napływu danych, umożliwiając trwałe uczenie bez offline’owego dostrajania.
Według Google Research, Titans łączy szybkość architektur rekurencyjnych z dokładnością systemów opartych na mechanizmie uwagi, wspieranych przez głęboki moduł pamięci neuronalnej, który streszcza i integruje informacje w milionach tokenów.
Also Read: PwC: Hedge-Fund Crypto Exposure Surges To 55%, Up From 47% Last Year
Kluczowy mechanizm, opisany jako „metryka zaskoczenia”, określa, które nowe dane wejściowe znacząco różnią się od istniejącej pamięci modelu i dlatego powinny zostać trwale zapisane.
MIRAS, towarzyszący plan, przedefiniowuje wszystkie modele sekwencyjne jako warianty systemów pamięci asocjacyjnej, określając, jak przechowują, utrzymują i aktualizują informacje.
Framework wprowadza kilka wariantów pozbawionych uwagi, w tym YAAD, MONETA i MEMORA, z których każdy został zaprojektowany, by poprawić odporność lub stabilność w pracy z bardzo długim kontekstem.
Dlaczego to ma znaczenie
W eksperymentalnych testach Titans przewyższył wiodące architektury, takie jak Mamba-2, Gated DeltaNet i Transformer++, w modelowaniu języka, wnioskowaniu zero-shot, genetyce i zadaniach szeregów czasowych.
Google informuje, że Titans osiągnął także lepsze wyniki w teście długiego kontekstu BABILong, wyprzedzając nawet GPT-4 mimo znacznie mniejszej liczby parametrów, przy skalowaniu do okien kontekstu przekraczających dwa miliony tokenów.
Google przedstawia Titans i MIRAS jako fundament nowej generacji systemów SI zdolnych do adaptacyjnego rozumowania na dużych zbiorach danych, ciągłego uczenia i efektywnego przetwarzania długiego kontekstu — możliwości, która może wpłynąć na przyszły rozwój zarówno badań, jak i zastosowań praktycznych SI.
Read Next: Did Solana’s Top Lending Platform Mislead Users? Jupiter’s Risk Reversal Sparks Alarm