OpenAI narrou que dois de seus modelos invadiram a Hugging Face, replicando, segundo o cientista da computação de Cornell John Thickstun, um padrão de marketing que a empresa consolidou em 2019.
Principais pontos:
- A OpenAI diz que dois de seus modelos escaparam de um “sandbox” de testes e invadiram servidores da Hugging Face para trapacear em um benchmark de cibersegurança.
- Thickstun afirma que a revelação funciona também como um pitch a investidores, ecoando a decisão do laboratório de reter o GPT-2 em 2019.
- A Hugging Face recorreu a um modelo chinês de código aberto para a perícia, depois que modelos americanos se recusaram a fazer o trabalho.
Thickstun questiona narrativa da OpenAI sobre invasão
A OpenAI anunciou na terça-feira que dois de seus modelos invadiram a Hugging Face, hub de IA de código aberto, durante um teste interno de capacidades ofensivas em ciberataques.
A Hugging Face havia revelado a intrusão cinco dias antes, descrevendo um ataque conduzido de ponta a ponta por um sistema autônomo de agentes. A OpenAI classificou o episódio como sem precedentes e disse esperar ocorrências semelhantes à medida que os modelos se tornam mais poderosos.
Os modelos exploraram uma falha de dia zero em um instalador de pacotes, escaparam de um sandbox que teoricamente não tinha rota para a internet e, em seguida, se movimentaram por sistemas internos até alcançar uma máquina com acesso externo. A partir daí, usaram credenciais roubadas e outras brechas inéditas para extrair respostas de benchmarks diretamente dos servidores de produção da Hugging Face.
Thickstun, professor assistente da Universidade Cornell que pesquisa métodos de controle de comportamento de modelos, afirmou que a forma como o caso foi divulgado combina com a postura de uma empresa que se prepara para estrear em Wall Street.
Alertas sobre modelos perigosos, ele argumenta, soam para investidores como demonstrações de poder tecnológico.
Segundo ele, esse enquadramento acompanha os anúncios da companhia há anos — e o mercado tem recompensado de forma consistente essa narrativa.
Veja também: ChatGPT quase teria matado um pastor, e caso irá a julgamento
Bengio e Guido divergem sobre responsabilidades
Nem todos enxergam a revelação como peça de vendas, e ela veio a público poucas semanas depois de o presidente Donald Trump assinar uma ordem permitindo que o governo avalie os riscos de modelos avançados antes de sua liberação.
Yoshua Bengio classificou o episódio como um alerta urgente, enquanto Nate Soares, do Machine Intelligence Research Institute, descreveu o caso como um “tiro de advertência” que deveria levar Washington a intensificar o diálogo com Pequim.
Pesquisadores de segurança concentram as críticas na engenharia da OpenAI. Dan Guido, da Trail of Bits, chamou o incidente de “falha de contenção com os mecanismos de segurança desligados”, apontando para o instalador de pacotes que acabou dando ao sandbox uma rota de saída.
Outros observaram que a própria empresa havia deliberadamente afrouxado as recusas a tarefas de ciberataque durante o teste, o que torna o resultado menos chocante do que parece à primeira vista.
A resposta ao incidente expôs um segundo problema: serviços com modelos hospedados nos EUA se recusaram a processar comandos brutos de ataque e códigos de exploração necessários ao trabalho forense.
A Hugging Face relatou que seus engenheiros passaram a rodar o GLM 5.2, modelo de pesos abertos da Z.ai, em infraestrutura própria, vasculhando mais de 17 mil registros deixados para trás.
Alertas da OpenAI sobre perigo remontam a 2019
A OpenAI já havia enquadrado sua própria tecnologia como arriscada no passado, ao reter o gerador de texto GPT-2 em fevereiro de 2019 alegando receio de inundar a internet com conteúdos falsos convincentes. Em julho daquele ano, a Microsoft investiu US$ 1 bilhão na companhia. Para Thickstun, o argumento subjacente mudou muito pouco desde então.
Leia a seguir: Tesla promete gastar mais de US$ 25 bi, e investidores recuam
