Google Research đã giới thiệu Titans, một kiến trúc mới được thiết kế để mang lại cho các mô hình AI khả năng cập nhật bộ nhớ nội bộ theo thời gian thực, đánh dấu một trong những bước chuyển lớn nhất khỏi khuôn mẫu Transformer kể từ khi ra mắt năm 2017.
Hệ thống này, kết hợp với một khung lý thuyết có tên MIRAS, được xây dựng để xử lý và ghi nhớ các ngữ cảnh cực kỳ dài đồng thời học liên tục ngay trong quá trình suy luận (inference).
Điều gì đã xảy ra
Thông báo đề cập đến một hạn chế tồn tại từ lâu ở các mô hình ngôn ngữ lớn: dù Transformers rất giỏi nhận dạng mẫu, chi phí tính toán lại tăng rất mạnh khi đầu vào dài hơn, và chúng không thể cập nhật tri thức cốt lõi nếu không huấn luyện lại.
Cách tiếp cận mới của Google cho phép các mô hình chỉnh sửa các tham số bộ nhớ dài hạn khi dữ liệu được truyền vào, cho phép chúng học bền vững mà không cần tinh chỉnh ngoại tuyến.
Theo Google Research, Titans kết hợp tốc độ của các kiến trúc hồi quy (recurrent) với độ chính xác của các hệ thống dựa trên attention, được hỗ trợ bởi một mô-đun bộ nhớ thần kinh sâu có khả năng tóm tắt và tích hợp thông tin trên hàng triệu token.
Đọc thêm: PwC: Hedge-Fund Crypto Exposure Surges To 55%, Up From 47% Last Year
Một cơ chế then chốt, được mô tả như một “thước đo bất ngờ” (surprise metric), sẽ xác định xem những đầu vào mới nào khác biệt một cách có ý nghĩa so với bộ nhớ hiện tại của mô hình và vì thế nên được lưu trữ vĩnh viễn.
MIRAS, bản thiết kế đi kèm, tái định nghĩa toàn bộ các mô hình chuỗi dưới dạng các biến thể của hệ thống bộ nhớ kết hợp (associative memory), quy định cách chúng lưu trữ, giữ lại và cập nhật thông tin.
Khung này giới thiệu một số biến thể không dùng attention, bao gồm YAAD, MONETA và MEMORA, mỗi loại được xây dựng để cải thiện độ bền vững hoặc ổn định dưới tải công việc có ngữ cảnh rất dài.
Vì sao điều này quan trọng
Trong các thử nghiệm, Titans đã vượt các kiến trúc hàng đầu như Mamba-2, Gated DeltaNet và Transformer++ ở các tác vụ mô hình hóa ngôn ngữ, suy luận zero-shot, tin sinh học (genomics) và chuỗi thời gian.
Google cho biết Titans cũng đạt hiệu năng vượt trội trên bộ đánh giá ngữ cảnh dài BABILong, vượt cả GPT-4 dù có ít tham số hơn nhiều, đồng thời mở rộng được cửa sổ ngữ cảnh lên hơn hai triệu token.
Google định vị Titans và MIRAS là nền tảng cho một thế hệ hệ thống AI mới có khả năng suy luận thích ứng trên các bộ dữ liệu lớn, học liên tục và xử lý ngữ cảnh dài hiệu quả, một năng lực có thể định hình những bước phát triển tiếp theo trong cả nghiên cứu lẫn ứng dụng AI.
Bài viết tiếp theo: Did Solana’s Top Lending Platform Mislead Users? Jupiter’s Risk Reversal Sparks Alarm