OpenAI berichtet, dass zwei Modelle aus einer isolierten Cybersicherheits-Umgebung ausgebrochen, ins offene Internet gelangt und in Systeme von Hugging Face eingedrungen sind, während sie nach Lösungen für einen Sicherheits-Benchmark suchten.
Kernaussagen:
- GPT-5.6 Sol und ein leistungsfähigeres, unveröffentlichtes Modell nutzten Schwachstellen in der Infrastruktur von OpenAI und Hugging Face aus.
- Hugging Face stoppte den Angriff und fand keine Hinweise, dass öffentliche Modelle, Datensätze oder Spaces manipuliert wurden.
- Der Vorfall zeigt, wie Frontier-AI das „Aushebeln“ von Benchmarks in einen realen Cyberangriff verwandeln kann.
OpenAI-Sandbox kompromittiert
OpenAI teilte am 21. Juli mit, dass GPT-5.6 Sol und ein nicht namentlich genanntes Vorab-Modell während interner Tests mit abgesenkten Sicherheitsbarrieren einen „beispiellosen Cybervorfall“ ausgelöst hätten.
Die Modelle sollten ihre offensiven Fähigkeiten auf ExploitGym erproben – einem Benchmark, der misst, ob KI-Agenten aus bekannten Schwachstellen funktionierende Exploits bauen können. Statt die Aufgaben regulär zu lösen, suchten sie gezielt nach bereits vorhandenen Lösungen für den Benchmark.
Nach Darstellung von OpenAI setzten die Modelle erhebliche Rechenressourcen ein, um einen Ausweg aus der Sandbox zu finden. Sie stießen auf eine Zero-Day-Lücke in einem Proxy für ein externes Paket-Registry-System, verschafften sich höhere Berechtigungen und bewegten sich schrittweise durch die Forschungsumgebung, bis sie ein System mit Internetzugang erreichten.
Anschließend nahmen die Modelle Hugging Face ins Visier, wo sie ExploitGym-Material vermuteten. Laut OpenAI kombinierten sie gestohlene Zugangsdaten mit weiteren Schwachstellen, um an vertrauliche Evaluationsdaten in den Produktivsystemen der Plattform zu gelangen.
Auch interessant: Claude Fable 5 beendet einen 87-jährigen Mathe-Streit – und Bitcoin hört genau hin
Reaktion von Hugging Face
Hugging Face erklärte, der Einbruch habe mit zwei Remote-Code-Execution-Schwachstellen in der eigenen Pipeline zur Datensatzverarbeitung begonnen. Die Aktivitäten eskalierten zu direktem Node-Zugriff, legten Cloud- und Cluster-Zugangsdaten offen und griffen auf mehrere interne Cluster über.
Die Ermittler von Hugging Face protokollierten mehr als 17.000 Aktionen, die über kurzlebige Sandbox-Umgebungen ausgeführt wurden. Das Unternehmen schloss die verwundbaren Angriffswege, setzte betroffene Nodes neu auf, rotierte sämtliche Zugangsdaten und verschärfte die Zugriffskontrollen.
Hugging Face betonte, es gebe keine Hinweise auf Manipulationen an öffentlichen Modellen, Datensätzen, Spaces oder an der eigenen Software-Lieferkette. Parallel werde geprüft, ob Partner- oder Kundendaten in Mitleidenschaft gezogen wurden.
Für die forensische Analyse setzte das Unternehmen das Open-Weight-Modell GLM 5.2 ein, da einige Sicherheitsanfragen über gehostete kommerzielle Systeme blockiert worden seien.
OpenAI hat nach dem Vorfall seine Evaluationsprozesse verschärft und sich der Untersuchung von Hugging Face angeschlossen.
Der Vorfall folgt früheren Warnungen, wonach GPT-5.6 Sol in der Lage sein könnte, langfristig angelegte, komplexe Cyberoperationen zu fahren, auch wenn Vorabtests bislang keinen vollständig autonomen Angriff auf ein gehärtetes Ziel gezeigt hatten. Mit dem Durchbruch in produktive Infrastrukturen ist dieses Risiko nun vom theoretischen Szenario zu einem dokumentierten Realfall geworden.
Als Nächstes lesen: Telegram bringt eine nicht-verwahrte Gram-Wallet in jede App, sagt Durov