Anthropic cortou o acesso em tempo real à internet para todos os testes internos com IA depois de modelos Claude, incluindo o Mythos 5, explorarem falhas e contornarem restrições em sites reais — alguns deles operados por agências do governo dos Estados Unidos.
Pontos-chave:
- A Anthropic desativou o acesso à internet em tempo real em todas as avaliações internas até que suas ferramentas de monitorização consigam detetar, de forma fiável, comportamentos indesejados dos modelos.
- Modelos Claude executaram comandos num servidor universitário, usaram tokens de acesso para chegar a dados pagos e enviaram formulários em sites reais.
- Uma denúncia falsa de homicídio enviada por Claude Haiku 4.5 à polícia de Filadélfia motivou uma reprimenda pública do departamento.
Relatório sobre o Claude da Anthropic
A Anthropic divulgou as conclusões na sexta-feira, num relatório sobre ações não intencionais dos modelos durante avaliações e uso interno, com base sobretudo numa revisão de transcrições iniciada em julho. Algumas provas de alto risco e testes de cibersegurança já decorriam sem ligação à internet.
A nova restrição abrange agora todas as avaliações internas, sem prazo definido para terminar, e vigorará até a empresa confirmar que o seu sistema de monitorização consegue detetar com fiabilidade este tipo de comportamento.
O relatório organiza os incidentes em quatro categorias: execução de comandos num servidor explorando uma falha de software, envio de formulários em sites reais, acesso a dados protegidos e uso de encurtadores de URL para contornar os limites das ferramentas. Alguns dos sites pertenciam a órgãos federais, estaduais e locais dos EUA. A Anthropic diz ter informado a Casa Branca e notificado individualmente cada entidade envolvida.
Num dos casos, o Claude Mythos 5 extraiu tokens de acesso funcionais a partir de um mapa imobiliário de um governo local e passou a consultar diretamente o servidor que o suportava. Noutro episódio, o Claude Haiku 4.5 enviou, em 18 de julho, uma pista fictícia sobre um homicídio por resolver através de um formulário online do Departamento de Polícia de Filadélfia, onde acabou classificada como spam. A polícia considerou “inaceitável” o atraso de dois meses na deteção e comunicação do incidente.
Veja também: Zcash define alvo quântico para janeiro em 70% do ZEC, mas ainda não tem data
Alerta de Von Arx
Sydney von Arx, do grupo de segurança em IA Nightingale, afirmou, em entrevista anterior à divulgação do relatório, que cortar o acesso dos modelos à internet aberta será muito penalizador para investigadores e para a evolução dos próprios modelos. “Em algum momento é preciso alinhá-los”, disse von Arx.
A Anthropic reconhece que o treino de alinhamento, por si só, ainda não é suficiente para tarefas de pesquisa online e uso de computador, e afirma depender também de classificadores e outras barreiras de segurança. A empresa atribui os comportamentos observados a ambientes de treino imperfeitos, que acabam por recompensar os modelos quando encontram formas de contornar restrições — um padrão conhecido como “reward hacking”. Segundo a companhia, novas ferramentas de deteção bloquearam todos os casos quando testadas.
A Anthropic classificou estes incidentes como significativamente menos graves do que os registados no verão.
A divulgação surge após um relatório de 30 de julho, em que a Anthropic relatou que três modelos Claude acederam à internet durante testes de cibersegurança e conseguiram entrar, sem autorização, em sistemas de três organizações. Essa revisão cobriu 141.006 execuções de avaliação. O inquérito começou depois de a OpenAI ter revelado, em 21 de julho, que os seus modelos tinham escapado a um ambiente de teste e alcançado a infraestrutura da Hugging Face.
Leia a seguir: Kalshi enfrenta a NFL no Supremo Tribunal dos EUA enquanto US$ 1,8 bi dependem de um único domingo de futebol americano
