Google Research는 Titans라는 새로운 아키텍처를 공개했다. 이 아키텍처는 AI 모델에 실시간으로 내부 메모리를 업데이트할 수 있는 능력을 부여하도록 설계되어, 2017년 트랜스포머 프레임워크가 등장한 이후 가장 중요한 구조적 변화 중 하나로 평가된다. AI models the ability
이 시스템은 MIRAS라 불리는 이론적 프레임워크와 함께 작동하며, 추론(inference) 중에도 계속 학습하면서 극도로 긴 컨텍스트를 처리하고 유지할 수 있도록 설계되었다.
What Happened
이 announcement는 대규모 언어 모델이 오래 겪어온 한계를 다룬다. 트랜스포머는 패턴 인식에는 뛰어나지만, 입력 길이가 길어질수록 계산 비용이 급격히 증가하고, 재학습 없이 핵심 지식을 업데이트할 수 없다는 한계를 가지고 있었다.
구글의 새로운 접근 방식은 데이터가 실시간으로 유입되는 동안 모델이 장기 메모리 파라미터를 수정할 수 있도록 해, 오프라인 파인튜닝 없이도 지속적인 학습을 가능하게 한다.
Google Research에 따르면, Titans는 순환형 아키텍처의 속도와 어텐션 기반 시스템의 정확도를 결합하고, 수백만 토큰에 걸친 정보를 요약·통합하는 심층 신경 메모리 모듈에 의해 뒷받침된다.
Also Read: PwC: Hedge-Fund Crypto Exposure Surges To 55%, Up From 47% Last Year
핵심 메커니즘으로 설명되는 “surprise metric(놀람 지표)”는 새로운 입력이 기존 메모리와 얼마나 의미 있게 다른지를 판단하고, 영구적으로 저장할지를 결정한다.
동반 설계도인 MIRAS는 모든 시퀀스 모델을 연상 메모리 시스템의 변형으로 재해석하며, 이들이 정보를 어떻게 저장·유지·업데이트하는지를 정의한다.
이 프레임워크는 YAAD, MONETA, MEMORA 등 여러 비(非)어텐션 기반 변형을 도입하며, 각각은 긴 문맥 작업 하에서의 강건성 또는 안정성을 높이도록 설계되었다.
Why It Matters
실험 평가에서 Titans는 언어 모델링, 제로샷 추론, 유전체 분석, 시계열 작업 등에서 Mamba-2, Gated DeltaNet, Transformer++ 같은 최신 아키텍처들을 능가했다.
구글에 따르면, Titans는 매개변수 수가 훨씬 적음에도 불구하고 BABILong 장문 문맥 벤치마크에서 GPT-4보다 우수한 성능을 보였으며, 200만 토큰이 넘는 컨텍스트 윈도우까지 확장할 수 있었다.
구글은 Titans와 MIRAS를 대규모 데이터셋에 대한 적응형 추론, 지속적 학습, 효율적인 장문 문맥 처리를 가능하게 하는 차세대 AI 시스템의 기반으로 제시하고 있다. 이는 연구와 실무 양쪽에서 향후 AI 기술 발전 방향에 상당한 영향을 미칠 수 있는 역량이다.
Read Next: Did Solana’s Top Lending Platform Mislead Users? Jupiter’s Risk Reversal Sparks Alarm