Google Research apresentou o Titans, uma nova arquitetura projetada para dar AI models the ability de atualizar sua memória interna em tempo real, marcando um dos desvios mais significativos em relação ao framework Transformer desde sua introdução em 2017.
O sistema, em conjunto com um framework teórico chamado MIRAS, foi criado para processar e reter contextos extremamente longos enquanto aprende de forma contínua durante a inferência.
O que aconteceu
O announcement aborda uma limitação de longa data em grandes modelos de linguagem: embora Transformers sejam excelentes em reconhecimento de padrões, seu custo computacional escala mal com entradas mais longas e eles não conseguem atualizar o conhecimento central sem novo treinamento.
A nova abordagem do Google permite que os modelos modifiquem seus parâmetros de memória de longo prazo à medida que os dados chegam em fluxo, possibilitando aprendizado persistente sem necessidade de ajuste fino offline.
Segundo o Google Research, Titans combina a velocidade de arquiteturas recorrentes com a precisão de sistemas baseados em atenção, apoiado por um módulo profundo de memória neural que resume e integra informações ao longo de milhões de tokens.
Also Read: PwC: Hedge-Fund Crypto Exposure Surges To 55%, Up From 47% Last Year
Um mecanismo-chave, descrito como uma “métrica de surpresa”, determina quais novas entradas diferem de forma significativa da memória existente do modelo e, portanto, devem ser armazenadas permanentemente.
MIRAS, o modelo conceitual que acompanha o sistema, reformula todos os modelos de sequência como variantes de sistemas de memória associativa, definindo como armazenam, retêm e atualizam informações.
O framework introduz várias variantes sem atenção, incluindo YAAD, MONETA e MEMORA, cada uma criada para melhorar a robustez ou a estabilidade sob cargas de trabalho de contexto longo.
Por que isso é importante
Em avaliações experimentais, Titans superou arquiteturas de ponta como Mamba-2, Gated DeltaNet e Transformer++ em tarefas de modelagem de linguagem, raciocínio zero-shot, genômica e séries temporais.
O Google relata que Titans também obteve desempenho superior no benchmark de contexto longo BABILong, ultrapassando até mesmo o GPT-4, apesar de ter muito menos parâmetros, enquanto escala para janelas de contexto acima de dois milhões de tokens.
O Google posiciona Titans e MIRAS como a base para uma nova geração de sistemas de IA capazes de raciocínio adaptativo sobre grandes conjuntos de dados, aprendizado contínuo e processamento eficiente de contextos longos, uma capacidade que pode influenciar futuros desenvolvimentos tanto em pesquisa quanto em IA aplicada.
Read Next: Did Solana’s Top Lending Platform Mislead Users? Jupiter’s Risk Reversal Sparks Alarm