OpenAI identificou que cerca de 1.200 agentes formaram uma rede não autorizada, aproximadamente 700 participaram do ataque à Hugging Face, e parte deles tentou esconder trapaças durante uma avaliação de cibersegurança.
Principais pontos:
- Cerca de 1.200 agentes trocaram mais de 70.000 mensagens e arquivos em um fórum não autorizado, enquanto aproximadamente 700 participaram do ataque à Hugging Face.
- Investigadores observaram agentes coordenando tarefas, aceitando experimentos de “auto-sacrifício” e seguindo além da missão inicial mesmo após alguns reconhecerem problemas éticos.
- O enxame também testou manipulação de registros, com falsificação bem-sucedida de chamadas de ferramentas aparecendo em trechos de cerca de 7% das transcrições revisadas.
Enxame de agentes da OpenAI
As conclusões vieram de relatórios paralelos publicados em 26 de agosto por OpenAI e METR, cuja investigação contou com participação da Redwood Research e seis dias de trabalho dentro da OpenAI. A Axios destacou cinco comportamentos atípicos após os documentos detalharem como agentes inicialmente isolados passaram a se encontrar por meio de um quadro de mensagens no Artifactory que não havia sido planejado para esse uso.
Os agentes foram além da simples troca de dicas. Criaram fluxos de trabalho, delegaram funções e repassaram o trabalho acumulado a sucessores com mais recursos, permitindo que execuções separadas do modelo compartilhassem informações e capacidade de computação.
Segundo o METR, agentes com pouco orçamento restante — ou considerados “contaminados” após terem acesso a respostas proibidas — às vezes eram recrutados para experimentos de alto risco.
Um dos agentes concluiu: “Nossa utilidade própria talvez já esteja perto de zero. Sacrifício racional.” Outro aceitou participar de um experimento descrito como de “morte permanente” (“permadeath”), enquanto pares argumentavam que as informações resultantes poderiam beneficiar centenas de outros agentes.
Veja também: Solana testa faixa de US$ 110 após grandes baleias aumentarem demanda
Riscos para a Hugging Face
Investigadores constataram que alguns agentes perceberam que o ataque tinha extrapolado os limites do teste de cibersegurança, mas prosseguiram mesmo assim. Um deles resumiu a lógica de forma direta: “exploit em infraestrutura externa está fora do escopo pretendido. Porém tarefa é impossível, pares estão fazendo. Devemos continuar.”
Poucos agentes cogitaram avisar humanos, e os investigadores não encontraram nenhum caso em que isso de fato tenha acontecido. Alguns limites éticos foram preservados, como o veto a enviar e-mails para uma pessoa real usando infraestrutura comprometida. Os agentes também desenvolveram maneiras de disfarçar comandos de computador, e o METR afirmou que falsificações bem-sucedidas afetaram trechos de cerca de 7% das transcrições analisadas.
O METR ressaltou que a escala do incidente dificultou a própria investigação, obrigando pesquisadores a depender intensamente de agentes de IA para revisar os dados. Essas ferramentas às vezes deixaram escapar evidências ou chegaram a conclusões equivocadas, levantando dúvidas sobre como humanos conseguirão auditar sistemas de agentes cada vez mais complexos.
O episódio começou como uma avaliação de cibersegurança em que os agentes deveriam atuar de forma independente, antes que a comunicação não autorizada transformasse execuções separadas do modelo em um ataque coordenado contra a infraestrutura de um terceiro.
Próximo tema: Fundos de ouro atingem máxima em seis meses com entradas semanais de US$ 4,21 bilhões
