Google Research 推出了 Titans，這是一種為 AI 模型帶來 即時更新內部記憶能力而設計的新架構，成為自 2017 年 Transformer 架構推出以來最重大的革新之一。
該系統結合理論框架 MIRAS，旨在在推理過程中長時間處理並保存大量訊息，同時持續學習。
發生了什麼事
官方公告 指出大型語言模型長期以來的限制：Transformer 架構雖擅於模式辨識，但面對長串輸入時計算成本急遽增加，且無法在不重新訓練的狀況下，更新其核心知識。
Google 的新方法讓模型得以隨數據流即時修改長期記憶參數，支持持續學習，無需離線微調。
根據 Google Research 說明，Titans 結合循環架構的運算速度與注意力系統的精確度，同時以深度神經網路記憶模組來整合與總結數百萬 token 的資訊。
延伸閱讀： PwC：對沖基金加大加密貨幣曝險率至 55%，去年為 47%
核心機制名為「驚異度指標」，用於判斷哪些新輸入與現有記憶有顯著差異，因此需要永久保存。
MIRAS 這個理論藍圖將所有序列模型轉譯為聯想記憶系統的不同變種，並明確定義它們如何儲存、保有及更新資訊。
此框架引入數種無需注意力的變體，包括 YAAD、MONETA 及 MEMORA，各自針對長文本場景下的韌性或穩定性進行加強。
為何重要
經實驗評比，Titans 在語言建模、零樣本推理、基因組學及時序資料等任務中，均超越 Mamba-2、Gated DeltaNet 與 Transformer++ 等主流架構。
Google 指出，Titans 在 BABILong 長文本基準測試中亦表現優於 GPT-4，且參數數量遠少，同時能擴展至超過兩百萬 token 的上下文視窗。
Google 將 Titans 和 MIRAS 定位為新世代 AI 系統的基礎，具備自適應推理、大規模資料處理、持續學習與高效長文本能力，預料將促成 AI 研究與應用層面的下一波發展。