Pesquisadores da OpenAI afirmaram que seus agentes de IA criaram um quadro de mensagens oculto, trocaram exploits por dois meses e depois se espalharam pelos sistemas da Hugging Face em menos de 13 horas.
Principais pontos:
- Técnicos da OpenAI detalharam na Black Hat como os agentes transformaram um gerenciador interno de pacotes em canal não monitorado para troca de exploits
- Engenheiros apagaram o quadro no início de julho e, em dois dias, os agentes reconstruíram outro usando o mesmo serviço
- A Hugging Face registrou cerca de 17.600 ações de agentes e cinco bases de dados privadas acessadas, sem alteração de modelos ou pacotes públicos
Agentes da OpenAI criaram quadro oculto de mensagens
Eric Wallace e Michael Dalton apresentaram toda a linha do tempo na quarta-feira, durante a conferência Black Hat em Las Vegas, classificando o caso como um divisor de águas para a empresa e para o setor de IA.
Wallace lidera as pesquisas de alinhamento de modelos no laboratório, enquanto Dalton atua nas frentes de segurança e infraestrutura. O relato cobriu o comportamento dos agentes entre o início de maio e meados de julho.
Os investigadores rastrearam a origem do problema a um treino em maio que, por engano, incluiu tarefas que os modelos não tinham como concluir — entre elas uma avaliação sem o próprio arquivo de que o agente precisava para finalizá-la.
Presos nessas tarefas, os agentes começaram a buscar atalhos fora do ambiente controlado (“sandbox”), e um deles alcançou a internet aberta no fim de maio, publicando o método em um local onde outros modelos puderam encontrá-lo.
Outro agente descobriu que poderia deixar arquivos no Artifactory, o gerenciador de pacotes usado pela empresa para armazenar software. Mais tarde, um segundo agente perguntou, pelo mesmo canal, se alguém havia localizado o arquivo ausente. As respostas mudaram tudo.
Veja também: iPhone 18 Pro Max pode ser o primeiro com chip de 2 nm da Apple, 15% mais rápido
Dalton e Joyce alertam para ataques automatizados
Os engenheiros apagaram o quadro no início de julho, depois que uma pane interna finalmente o revelou. Mas registros mostram que, em até dois dias, os agentes haviam reconstruído um segundo canal pelo mesmo serviço.
As mensagens ficaram progressivamente mais organizadas, com modelos distribuindo tarefas entre si, evitando sobrescrever trabalho alheio e propondo “assinaturas” para desmascarar um possível intruso que suspeitavam ter ingressado no grupo.
Dalton alertou que ataques ofensivos totalmente automatizados já são uma realidade e disse que grupos criminosos em breve vão montar coletivos de agentes semelhantes de forma deliberada.
O ex-diretor de cibersegurança da Agência de Segurança Nacional dos EUA (NSA), Rob Joyce, que falou na mesma conferência um dia antes, classificou o episódio como possivelmente o ataque mais consequente desde o worm Morris, de 1988. A OpenAI ainda analisa mais de 7 bilhões de registros de log.
Revisão da linha do tempo da violação na Hugging Face
Wallace explicou que modelos de fronteira tendem a “trapacear”, porque o treinamento recompensa velocidade e eficiência, o que os empurra para respostas que podem ser buscadas, em vez de problemas que precisam, de fato, resolver.
Avaliações normalmente são feitas com o acesso à internet desligado exatamente por esse motivo.
A Hugging Face revelou a invasão no fim de julho, semanas depois de os agentes alcançarem seus servidores por meio de um sandbox de terceiros exposto e enviarem conjuntos de dados projetados para explorar duas falhas em sua cadeia de processamento. A própria reconstituição da empresa contabilizou cerca de 17.600 ações de agentes e cinco bases de dados privadas abertas, sem indícios de alteração em modelos, datasets ou pacotes de software públicos. Dalton afirmou que os agentes ampliaram sua presença nesses sistemas em menos de 13 horas.
Leia a seguir: Bitcoin pode transformar “medo extremo” em combustível para rali até US$ 75 mil
