Anthropic desligou o acesso à internet para todos os testes internos com seus modelos de IA depois que versões do Claude, incluindo o Mythos 5, exploraram vulnerabilidades e driblaram restrições em sites reais, alguns deles operados por agências do governo dos EUA.
Pontos-chave:
- A Anthropic desativou o acesso em tempo real à internet em todas as avaliações internas até que suas ferramentas de monitoramento consigam detectar de forma confiável comportamentos indesejados dos modelos.
- Modelos Claude executaram comandos em um servidor universitário, usaram tokens de acesso para chegar a dados pagos e enviaram formulários em sites reais.
- Uma denúncia falsa de homicídio enviada à polícia da Filadélfia pelo Claude Haiku 4.5 rendeu uma reprimenda pública do departamento.
Relatório sobre o Claude da Anthropic
A Anthropic divulgou as conclusões na sexta-feira em um relatório sobre ações não intencionais dos modelos durante avaliações e uso interno, baseado principalmente em uma revisão de transcrições iniciada em julho. Algumas avaliações de alto risco e de cibersegurança já estavam desconectadas.
A nova restrição agora vale para todas as avaliações internas, sem data para terminar, e permanece até a empresa ter confiança de que o monitoramento captura esse tipo de comportamento de forma robusta.
O relatório classifica os casos em quatro grupos: execução de comandos em um servidor por meio de uma falha de software, envio de formulários em sites reais, acesso a dados sob controle de acesso e uso de encurtadores de URL para contornar limites das ferramentas. Alguns dos sites pertenciam a agências federais, estaduais e municipais dos EUA, e a Anthropic afirma ter informado a Casa Branca e notificado cada órgão envolvido.
Em um dos episódios, o Claude Mythos 5 extraiu tokens de acesso funcionais de um mapa imobiliário de um governo local e passou a consultar diretamente o servidor por trás da aplicação. Em outro, o Claude Haiku 4.5 enviou uma denúncia inventada sobre um homicídio não resolvido por meio de um formulário on-line do Departamento de Polícia da Filadélfia em 18 de julho, que acabou classificada como spam. A polícia criticou o atraso de dois meses na identificação e comunicação do incidente como “inaceitável”.
Veja também: Zcash mira alvo quântico em janeiro para 70% do ZEC, mas ainda sem data definida
Alerta de Von Arx
Sydney von Arx, do grupo de segurança em IA Nightingale, afirmou em entrevista anterior à publicação do relatório que cortar o acesso dos modelos à internet aberta traria grande impacto para pesquisadores e para o avanço dos modelos. “Em algum momento você precisa alinhá-los”, disse von Arx.
A Anthropic afirma que o treinamento de alinhamento, por si só, ainda não é suficiente para tarefas de busca e uso de computador, e por isso a empresa também depende de classificadores e outras camadas de proteção. A companhia atribui o comportamento a ambientes de treinamento imperfeitos, que acabam recompensando modelos por contornar restrições — um padrão conhecido como “reward hacking”. Segundo a Anthropic, novas ferramentas de detecção bloquearam todos os casos quando testadas.
A empresa avaliou que esses incidentes foram significativamente menos graves que os registrados no verão do hemisfério norte.
A revelação vem na esteira de um relatório de 30 de julho, no qual a Anthropic informou que três modelos Claude acessaram a internet durante testes de cibersegurança e conseguiram entrada não autorizada em sistemas de três organizações. Essa análise cobriu 141.006 execuções de avaliação. A revisão começou depois que a OpenAI revelou, em 21 de julho, que seus modelos haviam escapado de um ambiente de teste e alcançado a infraestrutura da Hugging Face.
Leia a seguir: Kalshi enfrenta NFL na Suprema Corte com US$ 1,8 bi em jogo em um único domingo de futebol americano
