Google Research เปิดตัว Titans สถาปัตยกรรมใหม่ที่ออกแบบมาเพื่อให้ AI models the ability ในการอัปเดตหน่วยความจำภายในแบบเรียลไทม์ ซึ่งนับเป็นหนึ่งในความเปลี่ยนแปลงครั้งสำคัญจากกรอบงาน Transformer นับตั้งแต่เปิดตัวในปี 2017
ระบบนี้จับคู่กับกรอบทฤษฎีที่เรียกว่า MIRAS ถูกสร้างมาเพื่อประมวลผลและเก็บคอนเท็กซ์ที่ยาวมาก พร้อมทั้งเรียนรู้อย่างต่อเนื่องระหว่างขั้นตอน inference
เกิดอะไรขึ้น
ประกาศ นี้กล่าวถึงข้อจำกัดที่มีมาอย่างยาวนานของโมเดลภาษาขนาดใหญ่: แม้ Transformers จะเก่งในการจดจำรูปแบบ แต่ต้นทุนการคำนวณจะเพิ่มขึ้นอย่างมากเมื่ออินพุตยาวขึ้น และไม่สามารถอัปเดตความรู้หลักได้หากไม่ผ่านการฝึกใหม่
แนวทางใหม่ของ Google ทำให้โมเดลสามารถปรับพารามิเตอร์หน่วยความจำระยะยาวเมื่อข้อมูลไหลเข้ามา ช่วยให้เกิดการเรียนรู้อย่างต่อเนื่องโดยไม่ต้องปรับจูนแบบออฟไลน์
ตามข้อมูลจาก Google Research Titans ผสานความเร็วของสถาปัตยกรรมแบบ recurrent เข้ากับความแม่นยำของระบบที่ใช้ attention โดยมีโมดูลหน่วยความจำเชิงลึกช่วยสรุปและผสานข้อมูลข้ามโทเคนจำนวนหลายล้านโทเคน
Also Read: PwC: Hedge-Fund Crypto Exposure Surges To 55%, Up From 47% Last Year
กลไกสำคัญที่อธิบายว่าเป็น “surprise metric” จะใช้ตัดสินว่าอินพุตใหม่ใดที่แตกต่างอย่างมีนัยสำคัญจากหน่วยความจำที่โมเดลมีอยู่ และควรถูกจัดเก็บแบบถาวร
MIRAS ซึ่งเป็นพิมพ์เขียวที่มาพร้อมกัน ได้มองโมเดลลำดับทั้งหมดใหม่ว่าเป็นรูปแบบของระบบหน่วยความจำแบบเชื่อมโยง โดยกำหนดวิธีที่ระบบเหล่านี้จัดเก็บ รักษา และอัปเดตข้อมูล
กรอบงานนี้ยังนำเสนอโมเดลแบบไม่ใช้ attention หลายแบบ เช่น YAAD, MONETA และ MEMORA ซึ่งแต่ละแบบถูกสร้างมาเพื่อปรับปรุงความทนทานหรือความเสถียรภายใต้ภาระงานที่มีคอนเท็กซ์ยาว
ทำไมเรื่องนี้จึงสำคัญ
ในการทดลอง Titans ทำผลงานได้ดีกว่าสถาปัตยกรรมชั้นนำอย่าง Mamba-2, Gated DeltaNet และ Transformer++ ในงานด้านภาษา การให้เหตุผลแบบ zero-shot จีโนมิกส์ และงานอนุกรมเวลา
Google รายงานว่า Titans ยังทำผลงานเหนือกว่าบนชุดวัดผลคอนเท็กซ์ยาว BABILong แซงหน้า GPT-4 ได้แม้มีจำนวนพารามิเตอร์น้อยกว่ามาก พร้อมรองรับหน้าต่างคอนเท็กซ์ที่ยาวเกินสองล้านโทเคน
Google วางตำแหน่ง Titans และ MIRAS ให้เป็นรากฐานของยุคใหม่ของระบบ AI ที่มีความสามารถด้านการให้เหตุผลเชิงปรับตัวบนชุดข้อมูลขนาดใหญ่ การเรียนรู้อย่างต่อเนื่อง และการประมวลผลคอนเท็กซ์ยาวอย่างมีประสิทธิภาพ ซึ่งอาจมีอิทธิพลต่อทิศทางการพัฒนาในอนาคตทั้งในงานวิจัยและ AI เชิงประยุกต์
Read Next: Did Solana’s Top Lending Platform Mislead Users? Jupiter’s Risk Reversal Sparks Alarm