Google Research memperkenalkan Titans, arsitektur baru yang dirancang untuk memberi kemampuan kepada AI models the ability guna memperbarui memori internal secara real time, menandai salah satu pergeseran paling signifikan dari kerangka Transformer sejak diperkenalkan pada 2017.
Sistem ini, dipasangkan dengan kerangka teoretis bernama MIRAS, dibangun untuk memproses dan mempertahankan konteks yang sangat panjang sekaligus belajar secara berkelanjutan selama inferensi.
Apa yang Terjadi
Pengumuman tersebut membahas keterbatasan lama pada model bahasa besar: meskipun Transformer unggul dalam pengenalan pola, biaya komputasinya meningkat tajam seiring bertambahnya panjang input, dan tidak dapat memperbarui pengetahuan inti tanpa pelatihan ulang.
Pendekatan baru Google memungkinkan model memodifikasi parameter memori jangka panjang saat data mengalir masuk, sehingga memungkinkan pembelajaran yang persisten tanpa fine-tuning offline.
Menurut Google Research, Titans menggabungkan kecepatan arsitektur rekuren dengan akurasi sistem berbasis attention, didukung modul memori neural dalam yang meringkas dan mengintegrasikan informasi dari jutaan token.
Also Read: PwC: Hedge-Fund Crypto Exposure Surges To 55%, Up From 47% Last Year
Mekanisme kunci, yang digambarkan sebagai “surprise metric”, menentukan input baru mana yang berbeda secara bermakna dari memori yang sudah dimiliki model dan karena itu harus disimpan secara permanen.
MIRAS, cetak biru pendampingnya, membingkai ulang semua model sekuens sebagai varian sistem memori asosiatif, yang mendefinisikan cara mereka menyimpan, mempertahankan, dan memperbarui informasi.
Kerangka ini memperkenalkan beberapa varian tanpa attention, termasuk YAAD, MONETA, dan MEMORA, yang masing-masing dibangun untuk meningkatkan ketangguhan atau stabilitas pada beban kerja berkonteks panjang.
Mengapa Ini Penting
Dalam evaluasi eksperimental, Titans melampaui arsitektur terkemuka seperti Mamba-2, Gated DeltaNet, dan Transformer++ pada tugas pemodelan bahasa, penalaran zero-shot, genomik, dan deret waktu.
Google melaporkan bahwa Titans juga mencapai kinerja unggul pada tolok ukur konteks panjang BABILong, melampaui GPT-4 meski memiliki jauh lebih sedikit parameter, sekaligus menskalakan jendela konteks hingga lebih dari dua juta token.
Google memposisikan Titans dan MIRAS sebagai fondasi generasi baru sistem AI yang mampu melakukan penalaran adaptif atas dataset besar, pembelajaran berkelanjutan, dan pemrosesan konteks panjang yang efisien, kemampuan yang dapat memengaruhi perkembangan masa depan baik di riset maupun AI terapan.
Read Next: Did Solana’s Top Lending Platform Mislead Users? Jupiter’s Risk Reversal Sparks Alarm