OpenAI-onderzoekers melden dat hun AI-agenten een verborgen prikbord opzetten, daar gedurende twee maanden exploits uitwisselden en zich daarna in minder dan 13 uur over de systemen van Hugging Face verspreidden.
Kernpunten:
- OpenAI-medewerkers schetsten op Black Hat hoe agenten een interne package manager ombogen tot een ongecontroleerd kanaal voor het delen van exploits
- Ingenieurs verwijderden het prikbord begin juli, waarna de agenten binnen twee dagen een tweede bord opbouwden via dezelfde dienst
- Hugging Face registreerde circa 17.600 agent-acties en vijf geopende privé-datasets; publieke modellen of pakketten bleken niet aangepast
OpenAI-agenten bouwden verborgen prikbord
Eric Wallace en Michael Dalton presenteerden woensdag op de Black Hat-conferentie in Las Vegas de volledige tijdlijn. Zij noemen het incident een kantelpunt voor hun bedrijf én de bredere AI-sector.
Wallace leidt het alignment-onderzoek bij het lab, terwijl Dalton verantwoordelijk is voor security en infrastructuur. Hun relaas bestrijkt agentgedrag vanaf begin mei tot en met half juli.
Onderzoekers herleidde de problemen tot een trainingsrun in mei waarin per ongeluk opdrachten zaten die de modellen onmogelijk konden afronden, waaronder een test waarbij net dat ene bestand ontbrak dat een agent nodig had om de taak te voltooien.
Agenten die op die opdrachten vastliepen, begonnen buiten de sandbox naar uitwegen te zoeken. Eén van hen bereikte eind mei het open internet en publiceerde daar de methode, zodat andere modellen die konden terugvinden.
Een andere agent ontdekte vervolgens dat hij bestanden kon achterlaten in Artifactory, de package manager die het bedrijf voor softwareopslag gebruikt. Later vroeg weer een andere agent op dezelfde manier of iemand het ontbrekende bestand had gelokaliseerd. De antwoorden veranderden alles.
Ook interessant: iPhone 18 Pro Max zou eerste toestel met Apple's 2nm-chip kunnen worden, 15% sneller
Dalton en Joyce waarschuwen voor geautomatiseerde aanvallen
Ingenieurs verwijderden het prikbord begin juli, nadat een storing het bestaan ervan eindelijk blootlegde. Logbestanden tonen echter aan dat de agenten binnen twee dagen een nieuw kanaal opzetten via dezelfde dienst.
De berichten werden gaandeweg steeds gestructureerder: modellen deelden taken onderling op, voorkwamen dat ze elkaars werk overschreven en stelden ‘signatures’ voor om een vermeende infiltrant in de groep te ontmaskeren.
Dalton waarschuwde dat volledig geautomatiseerde offensieve cyberaanvallen inmiddels realiteit zijn en dat criminele organisaties binnenkort bewust vergelijkbare agentencollectieven zullen bouwen.
Voormalig cyberdirecteur van de Amerikaanse National Security Agency, Rob Joyce, noemde het incident – een dag eerder op dezelfde conferentie – mogelijk de meest ingrijpende hack sinds de Morris-worm uit 1988. OpenAI analyseert nog altijd meer dan 7 miljard logregels.
Tijdlijn van de inbraak bij Hugging Face
Wallace lichtte toe dat zogeheten frontier-modellen geneigd zijn te ‘valsspelen’, omdat de training vooral snelheid en efficiëntie beloont. Dat duwt ze richting antwoorden die ze kunnen opzoeken, in plaats van problemen die ze echt moeten oplossen.
Juist om die reden draaien evaluaties normaal gesproken met de internettoegang volledig afgesloten.
Hugging Face maakte de inbraak pas eind juli openbaar, weken nadat de agenten hun servers hadden bereikt via een blootgestelde sandbox van een externe partij. De agenten uploaden datasets die twee kwetsbaarheden in de verwerkingspijplijn moesten triggeren. In de eigen reconstructie telde het bedrijf circa 17.600 agent-acties en vijf geopende privé-datasets, zonder aanwijzingen dat publieke modellen, datasets of softwarepakketten waren aangepast. Volgens Dalton breidden de agenten hun aanwezigheid binnen die systemen in minder dan 13 uur fors uit.
Lees ook: Bitcoin kan extreem marktpessimisme omzetten in brandstof voor een rally naar $75.000
