Google Research, Titans adlı, AI models the ability gerçek zamanlı olarak dahili hafızalarını güncelleme yeteneği vermek üzere tasarlanan yeni bir mimari tanıttı; bu, 2017’de tanıtılmasından bu yana Transformer çerçevesinden en önemli kopuşlardan birini işaret ediyor.
Sistem, MIRAS adı verilen teorik bir çerçeveyle eşleştirilerek, çıkarım sırasında sürekli öğrenirken son derece uzun bağlamları işlemek ve korumak için inşa edildi.
Ne Oldu?
Duyuru, büyük dil modellerindeki uzun süredir devam eden bir sınırlamayı ele alıyor: Transformer’lar örüntü tanımada çok başarılı olsa da, hesaplama maliyetleri daha uzun girdilerle kötü ölçekleniyor ve yeniden eğitim olmadan çekirdek bilgilerini güncelleyemiyorlar.
Google’ın yeni yaklaşımı, modellerin veri akışı sırasında uzun vadeli hafıza parametrelerini değiştirmesine olanak tanıyarak, çevrimdışı ince ayara gerek kalmadan kalıcı öğrenmeyi mümkün kılıyor.
Google Research’e göre Titans, yinelemeli mimarilerin hızını, dikkat tabanlı sistemlerin doğruluğuyla birleştiriyor ve milyonlarca token boyunca bilgiyi özetleyip bütünleştiren derin bir sinirsel hafıza modülüyle destekleniyor.
Ayrıca Oku: PwC: Hedge-Fund Crypto Exposure Surges To 55%, Up From 47% Last Year
“Sürpriz metriği” olarak tanımlanan temel bir mekanizma, hangi yeni girdilerin modelin mevcut hafızasından anlamlı şekilde farklılaştığını ve bu nedenle kalıcı olarak depolanması gerektiğini belirliyor.
Eşlik eden plan olan MIRAS, tüm dizi modellerini, bilgiyi nasıl depoladıklarını, koruduklarını ve güncellediklerini tanımlayan, ilişkilendirmeli hafıza sistemlerinin varyantları olarak yeniden çerçeveliyor.
Çerçeve; YAAD, MONETA ve MEMORA dâhil olmak üzere, her biri uzun bağlamlı iş yükleri altında dayanıklılığı veya kararlılığı artırmak için tasarlanmış, dikkatsiz (attention-free) çeşitli varyantlar sunuyor.
Neden Önemli?
Deneysel değerlendirmelerde Titans, dil modelleme, sıfır atış akıl yürütme, genomik ve zaman serisi görevlerinde Mamba-2, Gated DeltaNet ve Transformer++ gibi önde gelen mimarileri geride bıraktı.
Google, Titans’ın ayrıca, iki milyondan fazla tokeni aşan bağlam pencerelerine ölçeklenirken, GPT-4’ten çok daha az parametreye sahip olmasına rağmen BABILong uzun bağlam kıyaslamasında üstün performans elde ettiğini bildiriyor.
Google, Titans ve MIRAS’ı; büyük veri kümeleri üzerinde uyarlanabilir akıl yürütme, sürekli öğrenme ve verimli uzun bağlamlı işleme yeteneğine sahip yeni bir yapay zekâ neslinin temeli olarak konumlandırıyor; bu yetenek, hem araştırma hem de uygulamalı yapay zekâdaki gelecekteki gelişmeleri etkileyebilir.
Sıradaki Haber: Did Solana’s Top Lending Platform Mislead Users? Jupiter’s Risk Reversal Sparks Alarm