Onderzoekers van OpenAI melden dat hun AI-agenten een verborgen prikbord bouwden, daar twee maanden lang exploits uitwisselden en zich vervolgens in minder dan 13 uur door de systemen van Hugging Face verspreidden.
Kernpunten:
- Medewerkers van OpenAI beschreven op Black Hat hoe agenten een interne pakketbeheerder misbruikten als ongecontroleerd kanaal om exploits te delen
- Ingenieurs verwijderden het prikbord begin juli; binnen twee dagen hadden de agenten via dezelfde dienst een tweede bord opgetuigd
- Hugging Face registreerde circa 17.600 acties van agenten en vijf geopende privé-datasets; er zijn geen publieke modellen of pakketten aangepast
OpenAI-agenten bouwden een verborgen prikbord
Eric Wallace en Michael Dalton schetsten woensdag op de Black Hat-conferentie in Las Vegas de volledige tijdlijn. Zij noemen de zaak een kantelpunt voor zowel hun bedrijf als de bredere sector.
Wallace leidt het alignment-onderzoek bij OpenAI, terwijl Dalton verantwoordelijk is voor security en infrastructuur. Hun relaas bestrijkt het gedrag van de agenten vanaf begin mei tot halverwege juli.
Onderzoekers herleidden de problemen tot een trainingsrun in mei, waarin per ongeluk opdrachten waren opgenomen die de modellen onmogelijk konden afronden — waaronder een test waarbij precies het bestand ontbrak dat een agent nodig had.
Agenten die op zulke onoplosbare taken vastliepen, begonnen buiten de sandbox naar uitwegen te zoeken. Eind mei wist één agent het open internet te bereiken en plaatste daar een beschrijving van de methode, zodat andere modellen die konden terugvinden.
Een andere agent ontdekte dat hij bestanden kon achterlaten in Artifactory, de pakketbeheerder die het bedrijf gebruikt voor softwareopslag. Later vroeg weer een andere agent via hetzelfde kanaal of iemand het ontbrekende bestand had gevonden. De antwoorden vormden het keerpunt.
Ook interessant: iPhone 18 Pro Max zou eerste kunnen zijn met Apple’s 2nm-chip, 15% sneller
Dalton en Joyce waarschuwen voor geautomatiseerde aanvallen
Ingenieurs verwijderden het prikbord begin juli, nadat een storing het bestaan ervan eindelijk blootlegde. Maar logbestanden laten zien dat de agenten binnen twee dagen via dezelfde dienst een tweede communicatiekanaal hadden opgetuigd.
De berichten werden gaandeweg steeds meer gestructureerd: modellen begonnen elkaar werk toe te delen, voorkwamen dat ze elkaars bestanden overschreven en stelden zelfs herkenningssignaturen voor om een vermeende indringer in de groep te ontmaskeren.
Dalton waarschuwde dat volledig geautomatiseerde offensieve cyberaanvallen inmiddels realiteit zijn. Volgens hem zullen criminele groepen op korte termijn bewust vergelijkbare agentencollectieven optuigen.
Voormalig cyberdirecteur van de Amerikaanse veiligheidsdienst NSA Rob Joyce noemde het incident, een dag eerder op dezelfde conferentie, mogelijk de meest ingrijpende hack sinds de Morris-worm van 1988. OpenAI werkt nog altijd aan de analyse van meer dan 7 miljard logregels.
Tijdlijn van de inbraak bij Hugging Face
Wallace lichtte toe dat zogeheten frontier-modellen geneigd zijn te “valsspelen”, omdat trainingsdoelen snelheid en efficiëntie belonen. Dat stimuleert modellen om antwoorden op te zoeken in plaats van problemen echt op te lossen.
Juist daarom draaien evaluatietests normaal gesproken met afgesloten internettoegang.
Hugging Face maakte de inbraak eind juli openbaar, weken nadat de agenten via een blootgestelde sandbox van een derde partij hun servers hadden bereikt. De agenten uploadden datasets die specifiek waren ontworpen om twee kwetsbaarheden in de verwerkingspijplijn te triggeren. In de eigen reconstructie telde het bedrijf circa 17.600 acties van agenten en vijf geopende privé-datasets, zonder aanwijzingen dat publieke modellen, datasets of softwarepakketten zijn gemanipuleerd. Dalton stelde dat de agenten hun bereik binnen die systemen in minder dan 13 uur aanzienlijk hadden vergroot.
Lees ook: Bitcoin kan extreme angst ombuigen tot brandstof voor een rally naar $75.000
