Google Research は、AI models the ability をリアルタイムで内部メモリを更新できるようにするために設計された新しいアーキテクチャ Titans を発表し、2017年の登場以来、Transformer フレームワークからの最も重要な転換点の一つとなっている。
このシステムは MIRAS と呼ばれる理論的フレームワークと組み合わされており、推論中に継続的に学習しながら、極めて長いコンテキストを処理し保持できるように構築されている。
何が起きたのか
この発表は、大規模言語モデルが長年抱えてきた制約に対処するものだ。Transformer はパターン認識に優れる一方で、入力が長くなるにつれて計算コストが急激に増大し、再学習を行わない限りコアとなる知識を更新できないという問題があった。
Google の新しいアプローチでは、データがストリーミングされるのに合わせてモデルが長期記憶パラメータを変更できるようになり、オフラインでのファインチューニングを行わずに持続的な学習を可能にしている。
Google Research によると、Titans はリカレントアーキテクチャの高速性とアテンションベースシステムの精度を組み合わせ、数百万トークンにわたる情報を要約・統合する深層ニューラルメモリモジュールによって支えられている。
Also Read: PwC: Hedge-Fund Crypto Exposure Surges To 55%, Up From 47% Last Year
重要なメカニズムとして「サプライズメトリック」と呼ばれる指標が導入されており、新しい入力が既存メモリとどの程度異なっているかを測定し、恒久的に保存すべき情報かどうかを判断する。
併設される設計図である MIRAS は、すべての系列モデルを連想記憶システムの一種として再定義し、情報の保存・保持・更新の方法を定式化する。
このフレームワークでは、YAAD、MONETA、MEMORA など複数の「アテンション不要」なバリアントが導入されており、それぞれが長文脈ワークロード下でのロバスト性や安定性の向上を目的としている。
なぜ重要なのか
実験的な評価において、Titans は Mamba-2、Gated DeltaNet、Transformer++ といった代表的なアーキテクチャを、言語モデリング、ゼロショット推論、ゲノミクス、時系列タスクで上回った。
Google によれば、Titans は長文脈ベンチマークである BABILong においても優れた性能を示し、はるかに少ないパラメータ数でありながら GPT-4 を凌駕し、200万トークンを超えるコンテキストウィンドウへとスケールしたという。
Google は Titans と MIRAS を、巨大なデータセットに対して適応的に推論し、継続的に学習し、長文脈を効率的に処理できる新世代 AI システムの基盤として位置づけており、今後の研究用および実用的な AI の発展に大きな影響を与える可能性があるとみている。
Read Next: Did Solana’s Top Lending Platform Mislead Users? Jupiter’s Risk Reversal Sparks Alarm