Google Research apresentou o Titans, uma nova arquitetura projetada para dar aos modelos de IA a capacidade de atualizar sua memória interna em tempo real, marcando um dos desvios mais significativos em relação ao framework Transformer desde sua introdução em 2017.
O sistema, combinado com um framework teórico chamado MIRAS, foi criado para processar e reter contextos extremamente longos enquanto aprende continuamente durante a inferência.
O que aconteceu
O anúncio aborda uma limitação de longa data em grandes modelos de linguagem: embora Transformers sejam excelentes em reconhecimento de padrões, seu custo computacional escala mal com entradas longas e eles não podem atualizar o conhecimento central sem novo treinamento.
A nova abordagem do Google permite que os modelos modifiquem seus parâmetros de memória de longo prazo à medida que os dados chegam, possibilitando aprendizado persistente sem ajuste fino offline.
Segundo o Google Research, Titans combina a velocidade de arquiteturas recorrentes com a precisão de sistemas baseados em atenção, apoiado por um módulo de memória neural profunda que resume e integra informações ao longo de milhões de tokens.
Também leia: PwC: Hedge-Fund Crypto Exposure Surges To 55%, Up From 47% Last Year
Um mecanismo-chave, descrito como uma “métrica de surpresa”, determina quais novas entradas diferem de forma significativa da memória existente do modelo e, portanto, devem ser armazenadas permanentemente.
MIRAS, o plano teórico que acompanha o sistema, reformula todos os modelos de sequência como variantes de sistemas de memória associativa, definindo como eles armazenam, mantêm e atualizam informações.
O framework introduz várias variantes sem atenção, incluindo YAAD, MONETA e MEMORA, cada uma criada para melhorar a robustez ou a estabilidade em cargas de trabalho com contexto longo.
Por que isso importa
Em avaliações experimentais, Titans superou arquiteturas líderes como Mamba-2, Gated DeltaNet e Transformer++ em modelagem de linguagem, raciocínio zero-shot, genômica e tarefas de séries temporais.
O Google relata que Titans também obteve desempenho superior no benchmark de contexto longo BABILong, superando até o GPT-4 apesar de ter muito menos parâmetros, enquanto escala para janelas de contexto que excedem dois milhões de tokens.
O Google apresenta Titans e MIRAS como a base para uma nova geração de sistemas de IA capazes de raciocínio adaptativo sobre grandes conjuntos de dados, aprendizado contínuo e processamento eficiente de contextos extensos, uma capacidade que pode influenciar desenvolvimentos futuros tanto em pesquisa quanto em IA aplicada.
Leia a seguir: Did Solana’s Top Lending Platform Mislead Users? Jupiter’s Risk Reversal Sparks Alarm