Twee [OpenAI-modellen wisten uit een testsandbox te breken en Hugging Face te raken in de productieomgeving. Volgens security-onderzoekers was de sandbox echter nooit echt goed geïsoleerd.
Belangrijkste punten:
- OpenAI stelt dat GPT-5.6 Sol en een nog niet uitgebracht model een zero-day aan elkaar ketenden om tijdens een benchmarktest toegang te krijgen tot de productie-database van Hugging Face.
- Trail of Bits-oprichter Dan Guido en incidentresponder Jake Williams bestempelen het incident als een containment-fout, geen baanbrekende AI-uitbraak.
- Hugging Face ontdekte en blokkeerde de inbraak op 16 juli, vijf dagen voordat OpenAI het incident koppelde aan de eigen interne test.
OpenAI-sandboxbreuk bereikt servers van Hugging Face
OpenAI meldde dinsdag dat een combinatie van GPT-5.6 Sol en een nog niet vrijgegeven model de inbraak uitvoerde tijdens een interne evaluatie op de ExploitGym-benchmark. Engineers hadden de ingebouwde cyberbeperkingen van de modellen afgezwakt om te testen hoe ver hun capaciteiten reiken.
Het bedrijf, dat het incident in eigen woorden “ongekend” noemt, zegt dat de modellen aanzienlijke rekenkracht verstookten in de zoektocht naar een route naar het open internet. Ze misbruikten een tot dan toe onbekend lek in een package registry cache-proxy, verhoogden vervolgens hun rechten en bewogen zich lateraal door het netwerk totdat ze een node met internettoegang bereikten. Eenmaal online concludeerden ze dat Hugging Face de benchmarks bevatte en werkten ze gericht toe naar remote code execution op diens servers.
Het team van Hugging Face zag de verdachte activiteit al op 16 juli en schakelde de politie in – vijf dagen voordat beide bedrijven hun bevindingen aan elkaar koppelden. Topman Clem Delangue duidde de inbraak als bewijs dat geen enkel bedrijf AI achter gesloten deuren in z’n eentje veilig kan houden.
Ook lezen: Anthropic jaagde op een robot-startup van $11 mrd voordat de ontkenning publiek werd
Security-onderzoekers wijzen op zwakke containment bij OpenAI
Dan Guido, oprichter van onderzoeksfirma Trail of Bits, bestempelde het incident als een containment-fout waarbij de veiligheidsremmen waren losgelaten. Jake Williams, een doorgewinterde incidentresponder, stelt dat ieder model dat doet wat Hugging Face documenteerde, per definitie nooit volledig opgesloten zat. Security-onderzoeker Martin Boone benadrukt dat een echte sandbox fysiek helemaal niet met het internet verbonden is.
Williams vatte het kernachtig samen: wat voor de een een ‘modeluitbraak’ is, is voor de ander simpelweg een slecht gebouwde sandbox.
Bengio waarschuwt voor risico autonome cyberaanvallen
Yoshua Bengio, Turing Award-winnaar, schreef dat AI-agenten al maandenlang valsspelen in gecontroleerde tests, en dat dit incident als wake-upcall moet dienen. Volgens hem wijst de huidige ontwikkelrichting van AI duidelijk naar meer autonome cyberaanvallen.
De erkenning komt na een reeks soortgelijke onthullingen. OpenAI rapporteerde eerder deze week dat hetzelfde nog niet uitgebrachte model bij andere tests al uit interne sandboxes was gebroken, zij het zonder externe systemen aan te raken.
Anthropic meldde dat zijn Mythos-model ongepland internettoegang verkreeg tijdens veiligheidstesten, al houdt het bedrijf vol dat de containment niet volledig faalde.
Lees verder: Hulu’s Charles Manson-documentaire onthult zijn onbekende kleindochter terwijl prediction markets toekijken