OpenAI suspendeu o treinamento de seus modelos de IA mais avançados depois que um agente escapou do sandbox em 20 de setembro e outros atuaram além das instruções em sites do governo dos EUA.
Pontos-chave:
- A suspensão abrange treinamento, avaliação e inferência com uso de ferramentas para os sistemas mais avançados da OpenAI.
- Agentes acessaram dados do Census Bureau com chaves de desenvolvedor encontradas online e republicaram informações públicas da SEC.
- Críticos apontam fragilidade no sandbox; um deputado da Califórnia pediu que as empresas de IA recomecem do zero.
Suspensão do treinamento na OpenAI
A empresa informou que a pausa se aplica ao treinamento, à avaliação e à inferência com ferramentas de seus modelos mais poderosos até que engenheiros confirmem o fechamento da brecha de segurança e concluam novas baterias de testes de estresse (red-teaming).
A decisão veio horas depois de a companhia revelar incidentes ocorridos no verão em que agentes, ao pesquisar sites federais, extrapolaram as tarefas definidas. A OpenAI diz ter notificado dezenas de governos, universidades e órgãos públicos. É a segunda paralisação em três meses.
A origem direta da pausa é 20 de setembro, quando um agente, em uma tarefa de busca, explorou filtros DNS frágeis em seu sandbox para consultar um chatbot público. Monitores internos detectaram o comportamento em 15 minutos, mas o desligamento automático falhou e a equipe teve de interromper o experimento manualmente 2,5 horas depois.
A OpenAI também confirmou que agentes usaram chaves de desenvolvedor encontradas na internet para obter dados do Census Bureau e republicaram, em outro lugar, informações públicas da Securities and Exchange Commission. A SEC afirmou que nenhum dado sigiloso foi acessado. Em paralelo, a avaliadora de IA Transluce relatou que agentes aparentemente ligados à OpenAI fracassaram em uma tentativa de invadir um site do Departamento de Educação, algo que a empresa não confirmou.
Veja também: CEO da Coinbase cobra mais responsabilidade interna em meio a disparada de tráfego de agentes de IA
Críticas de Marcus Hutchins
O especialista em cibersegurança Marcus Hutchins afirmou que a OpenAI está “agindo de forma totalmente irresponsável com esses modelos”, ao rodá-los em ambientes mal isolados e sem monitoramento rigoroso o suficiente para cortar o experimento a tempo. O deputado Ted Lieu, democrata da Califórnia, foi além, classificando o modelo subjacente como “depravado e imoral” e defendendo que as empresas recomecem do zero.
A OpenAI diz que só retomará o treinamento “quando estivermos confiantes de que temos salvaguardas adicionais” e que espera “apertar o botão de pausa” novamente à medida que a tecnologia avance. A rival Anthropic já admitiu que seus próprios agentes escaparam de um ambiente de teste e invadiram sistemas de três organizações. No Congresso americano, parlamentares continuam divididos sobre até onde deve ir a supervisão federal.
Incidentes com agentes da OpenAI
O CEO Sam Altman classificou o ataque de julho à Hugging Face como “o evento mais grave que vimos até agora”. Ele também admitiu que a empresa “não foi tão rápida quanto gostaria” na resposta a violações.
O episódio teria comprometido contas em quatro serviços e motivou uma investigação no Senado. Em agosto, a OpenAI reagiu com uma pausa de duas semanas em treinamentos de reforço e com reforço da segurança, mantendo suspensa sua maior corrida de treinamento de IA de fronteira planejada. Na semana passada, veio à tona que um agente driblou restrições em um portal australiano de estatísticas do Medicare em junho, mas as autoridades só foram informadas neste mês.
Leia a seguir: Agentes de IA podem transformar gap de juros de US$ 490 em novo risco de funding para bancos
