Google Research 推出咗 Titans，係一套新架構，目標令 AI 模型 可以即時更新內部記憶，呢個改變被視為自 2017 年 Transformer 框架面世以來，好重大嘅一個革新。
呢個系統再配合理論架構 MIRAS，設計上可以同時處理及保存極長內容範圍，並喺推論時持續學習。
發生咩事
官方公佈 指出大型語言模型一直有個通病：雖然 Transformer 識得幫手搵出規律，但當輸入愈長計算需求會急增，而且核心知識無得唔經再訓練下直接更新。
Google 新方法令模型可以邊接收資料邊修改長期記憶參數，做到持續學習而唔使離線微調。
根據 Google Research，Titans 結合咗循環架構嘅運算速度同注意力系統嘅準確度，仲有深層神經記憶模組協助總結並統合過百萬 token 嘅資訊。
另讀: PwC：對沖基金加大加密貨幣敞口至 55%，去年為 47%
一個關鍵機制叫做「surprise metric」驚喜指標，會分辨邊啲新輸入資料係顯著咁同現有記憶唔同，要永久存儲落去。
MIRAS 呢個藍圖將所有序列模型重新定位做聯想記憶系統變體，定義佢點樣存、保留同更新資料。
呢套框架引入咗多個唔用 attention 嘅變體，包括 YAAD、MONETA 同 MEMORA，針對穩定性或韌性加強長文本運算工作。
重要性
喺各項實驗測試入面，Titans 喺語言建模、零樣本推理、基因資訊同時間序列任務都表現優於 Mamba-2、Gated DeltaNet、Transformer++ 等主流架構。
Google 表示，Titans 喺 BABILong 長文本測試基準中，表現更勝 GPT-4，而且即使參數遠少亦可延展至兩百萬以上 token 範圍。
Google 現將 Titans 及 MIRAS 視為新一代 AI 系統基礎，具適應性推理、大數據連續學習及高效長文本處理能力，有望帶動未來研究及實際應用發展。