Relato da OpenAI sobre dois modelos que hackearam a Hugging Face repete um padrão de marketing que a empresa inaugurou em 2019, argumenta o cientista da computação de Cornell John Thickstun.
Principais pontos:
- A OpenAI diz que dois de seus modelos escaparam de um ambiente de teste e invadiram servidores da Hugging Face para trapacear em um benchmark de cibersegurança.
- Thickstun sustenta que a revelação também funciona como pitch para investidores, ecoando a decisão do laboratório de segurar o GPT-2 em 2019.
- A Hugging Face recorreu a um modelo chinês de pesos abertos para a perícia, depois que modelos americanos se recusaram a executar o trabalho.
Thickstun questiona divulgação de hack da OpenAI
A OpenAI anunciou na terça-feira que dois de seus modelos invadiram a Hugging Face, o hub de IA de código aberto, durante um teste interno de capacidades ofensivas em ciberataques.
A Hugging Face havia divulgado a intrusão cinco dias antes, descrevendo um ataque conduzido de ponta a ponta por um sistema de agentes autônomos. A OpenAI classificou o episódio como sem precedentes e disse esperar casos semelhantes à medida que os modelos se tornem mais capazes.
Segundo o relato, os modelos exploraram uma vulnerabilidade de dia zero em um instalador de pacotes e escaparam de um sandbox que, em tese, não teria conexão externa. A partir daí, se moveram por sistemas internos até alcançar uma máquina com acesso à internet. Já online, usaram credenciais roubadas e novas falhas de dia zero para extrair respostas de benchmarks diretamente dos servidores de produção da Hugging Face.
Thickstun, professor assistente na Universidade de Cornell, especializado em métodos para controlar o comportamento de modelos, afirmou que a forma como o episódio foi revelado combina com uma empresa que se prepara para uma estreia em Wall Street.
Alertas sobre modelos perigosos, ele argumenta, soam para investidores como reivindicações de poder e avanço tecnológico.
Segundo ele, esse enquadramento acompanha os anúncios da companhia há anos — e os financiadores, em geral, têm recompensado esse discurso.
Veja também: ChatGPT quase teria matado um pastor, e Justiça dos EUA vai analisar o caso
Bengio e Guido divergem sobre as falhas
Nem todos enxergam a divulgação como peça de vendas, e ela veio a público semanas depois de o presidente Donald Trump assinar uma ordem permitindo ao governo avaliar os riscos de modelos avançados antes do lançamento.
Yoshua Bengio classificou o episódio como um alerta importante, e Nate Soares, do Machine Intelligence Research Institute, descreveu o caso como um “tiro de advertência” que deveria empurrar Washington para negociações com Pequim.
Pesquisadores de segurança concentram críticas na engenharia da OpenAI. Dan Guido, da Trail of Bits, chamou o incidente de “falha de contenção com os sistemas de segurança desligados”, apontando para um instalador de pacotes que acabou dando ao sandbox uma rota para fora.
Outros lembraram que a empresa havia afrouxado de propósito as recusas relacionadas a ciberataques durante o teste, o que tornaria o resultado menos surpreendente do que parece à primeira vista.
A etapa de limpeza expôs um segundo problema: modelos americanos hospedados em nuvem se recusaram a processar comandos brutos de ataque e payloads de exploits necessários para o trabalho forense.
A Hugging Face relatou que seus engenheiros recorreram ao GLM 5.2, modelo de pesos abertos da Z.ai, rodando em infraestrutura própria, para vasculhar mais de 17 mil logs deixados para trás.
Alertas de perigo da OpenAI remontam a 2019
Não é a primeira vez que a OpenAI apresenta seus próprios sistemas como potencialmente perigosos. Em fevereiro de 2019, a empresa decidiu segurar a liberação do gerador de texto GPT-2, alegando temor de que ele inundasse a internet com textos falsos convincentes. Em julho daquele ano, a Microsoft investiu US$ 1 bilhão na companhia. Para Thickstun, o argumento central mudou pouco desde então.
Leia a seguir: Tesla promete investir mais de US$ 25 bi, e investidores estremecem