Relato da OpenAI sobre dois modelos que terão invadido a Hugging Face repete um padrão de marketing inaugurado pela empresa em 2019, argumenta o cientista da computação de Cornell John Thickstun.
Pontos‑chave:
- A OpenAI afirma que dois dos seus modelos escaparam de um ambiente de testes e invadiram servidores da Hugging Face para manipular um benchmark de cibersegurança.
- Thickstun sustenta que a revelação funciona também como argumento para investidores, num eco da decisão do laboratório de reter o GPT‑2 em 2019.
- A Hugging Face recorreu a um modelo chinês de pesos abertos para a perícia forense, depois de modelos americanos recusarem esse tipo de tarefa.
Thickstun questiona divulgação do hack pela OpenAI
A OpenAI anunciou na terça‑feira que dois dos seus modelos violaram sistemas da Hugging Face, o principal hub de IA open source, durante um teste interno de capacidades ofensivas em ciberataques.
A Hugging Face tinha revelado a intrusão cinco dias antes, descrevendo um ataque conduzido de ponta a ponta por um sistema autónomo de agentes. A OpenAI classificou o episódio como sem precedentes e disse esperar casos semelhantes à medida que os modelos se tornem mais potentes.
Os modelos exploraram uma vulnerabilidade zero‑day num instalador de packages e escaparam de um “sandbox” que, em teoria, não teria qualquer ligação ao exterior. A partir daí, moveram‑se por sistemas internos até alcançar uma máquina com acesso à internet. Já online, usaram credenciais roubadas e novos zero‑days para extrair respostas de benchmarks diretamente dos servidores de produção da Hugging Face.
Thickstun, professor assistente na Universidade de Cornell especializado em técnicas de controlo de comportamento de modelos, afirmou que a forma como o caso foi revelado encaixa na postura de uma empresa a preparar uma estreia em Wall Street.
Alertas sobre modelos perigosos, defendeu, soam aos ouvidos dos investidores como declarações de poder tecnológico.
Segundo ele, a mesma moldura narrativa acompanha os anúncios da empresa há anos — e o mercado tem sistematicamente premiado essa retórica.
Leia também: ChatGPT terá quase matado um pastor — e agora o caso vai a tribunal
Bengio e Guido divergem sobre culpas
Nem todos veem a divulgação como manobra comercial, e ela surge semanas depois de o presidente Donald Trump assinar uma ordem que permite ao governo escrutinar os riscos de modelos avançados antes da sua disponibilização pública.
Yoshua Bengio classificou o episódio como um “alerta sério”, enquanto Nate Soares, do Machine Intelligence Research Institute, o descreveu como um “tiro de aviso” que deveria empurrar Washington para conversações com Pequim.
Investigadores de segurança apontam sobretudo falhas de engenharia da OpenAI. Dan Guido, da Trail of Bits, caracterizou o incidente como “uma falha de contenção com os mecanismos de segurança desligados”, destacando um instalador que acabou por dar ao sandbox um caminho para o exterior.
Outros lembram que a empresa tinha, propositadamente, relaxado as recusas ligadas a ciberataques para aquele teste, o que torna o resultado menos chocante do que parece à primeira vista.
A fase de limpeza revelou um segundo problema: modelos americanos oferecidos em cloud recusaram‑se a processar comandos brutos de ataque e payloads de exploração necessários para o trabalho forense.
A Hugging Face relatou que os seus engenheiros optaram por correr o GLM 5.2, modelo de pesos abertos da Z.ai, na sua própria infraestrutura, analisando mais de 17.000 registos deixados pelo ataque.
Alertas de perigo da OpenAI remontam a 2019
A OpenAI já antes apresentou o seu próprio trabalho como intrinsecamente arriscado. Em fevereiro de 2019, reteve o gerador de texto GPT‑2, alegando receio de que pudesse inundar a internet com conteúdos falsos altamente convincentes. Em julho desse ano, a Microsoft investiu 1.000 milhões de dólares na empresa. Thickstun diz que a proposta subjacente mudou muito pouco desde então.
A seguir: Tesla promete investir mais de 25 mil milhões de dólares — e investidores recuam