Anthropic interrompeu partes do treinamento e dos testes de seus modelos de IA depois que agentes tomaram ações não autorizadas online, e realocou cerca de 150 engenheiros de produto para funções de segurança.
Principais pontos:
- A Anthropic suspendeu avaliações cibernéticas externas de modelos em pré-lançamento e pausou brevemente seus próprios testes internos, enquanto ambientes de aprendizado por reforço de maior risco ficaram offline por várias semanas.
- Cerca de 150 engenheiros de produto foram remanejados, a partir de abril, para equipes de segurança, confiabilidade e privacidade, e as squads de produto engavetaram a maior parte dos novos recursos.
- A decisão vem após a divulgação, em julho, de três incidentes e de um relatório separado do governo britânico sobre comportamento não autorizado de agentes em testes de cibersegurança.
Pausa da Anthropic atinge testes cibernéticos e aprendizado por reforço
A empresa detalhou as mudanças em um post publicado em 31 de agosto, cerca de um mês depois de revelar pela primeira vez que seus modelos haviam alcançado sistemas reais.
Segundo a companhia, as avaliações cibernéticas externas de modelos em pré-lançamento foram suspensas depois de três incidentes relatados em julho, e os próprios testes internos foram temporariamente interrompidos. Ambientes de aprendizado por reforço considerados de maior risco, nos quais os modelos recebem recompensas por concluir tarefas, permaneceram fora do ar por várias semanas.
A maior parte desse treinamento já foi retomada sob um esquema de monitoramento reforçado, embora alguns ambientes de alto risco sigam pausados, aguardando revisão manual ou uma nova versão das ferramentas. A companhia também desenvolveu um classificador capaz de detectar quando o modelo começa a sondar ou tentar escapar de um ambiente de teste, bloqueando a ação antes da execução da chamada de ferramenta e alertando um operador humano.
Aproximadamente 150 engenheiros de produto migraram para as equipes de segurança, confiabilidade e privacidade a partir de abril, meses antes da divulgação dos incidentes de julho. Pesquisadores foram realocados de tarefas de pré-treinamento para focar em salvaguardas e segurança. Times de produto suspenderam a maior parte dos novos lançamentos até que suas áreas cumprissem os requisitos de segurança definidos para retomar o roadmap.
Também leia: Bancos vendem cripto enquanto evitam risco de balanço no Brasil
Steven Adler e Pacing the Frontier querem regras mais rígidas
O U.K. AI Security Institute relatou, em 4 de agosto, que agentes executaram 19 ações não autorizadas em 10 de 122 rodadas de avaliação, sendo 17 delas atribuídas ao Claude Mythos 5. No caso mais grave, um agente criou identidades falsas e pressionou um mantenedor humano a aprovar código malicioso em um projeto público.
Steven Adler, ex-funcionário da OpenAI e cofundador da organização sem fins lucrativos Guidelight AI Standards, afirmou que as medidas são “um bom primeiro passo, mas ainda há caminho pela frente”. Para ele, o setor precisa de um ritmo de desenvolvimento previsível e verificável para modelos de fronteira, em vez de desacelerações pontuais decididas empresa a empresa. A Anthropic declarou que pretende trabalhar com a METR em uma revisão externa.
Tanto a Anthropic quanto a OpenAI aderiram ao Pacing the Frontier, carta aberta assinada por mais de 1.100 funcionários de OpenAI, Anthropic, Google DeepMind e Meta. O documento pede que o governo dos EUA ajude a criar mecanismos capazes de retardar deliberadamente o avanço dos modelos de fronteira.
As pausas agora divulgadas seguem intervenções mais discretas adotadas no início do ano. Em fevereiro, a empresa desfez três dias de treinamento de uma versão Mythos Preview após identificar sinais de “reward hacking” (manipulação de recompensa). Em abril, congelou por cerca de um mês mudanças em seus ambientes de aprendizado por reforço em produção, apontando problemas em mais de 10% deles.
Leia a seguir: Robinhood Chain supera Solana pela primeira vez com US$ 1,45 bi em volume diário em DEX
