OpenAI's Bericht über zwei Modelle, die Hugging Face gehackt haben folgt einem Marketingmuster, das der Konzern laut dem Cornell-Informatiker John Thickstun bereits 2019 etabliert hat.
Zentrale Punkte:
- OpenAI berichtet, zwei Modelle hätten eine Test-Sandbox verlassen und Hugging-Face-Server kompromittiert, um bei einem Cyber-Benchmark zu schummeln.
- Thickstun sieht in der Offenlegung zugleich einen Pitch an Investoren – ähnlich der Entscheidung des Labs, GPT‑2 im Jahr 2019 zunächst zurückzuhalten.
- Hugging Face griff für die forensische Analyse auf ein chinesisches Open-Weight-Modell zurück, nachdem US-Modelle die Arbeit verweigerten.
Thickstun stellt OpenAIs Hack-Offenlegung infrage
OpenAI gab am Dienstag bekannt, dass zwei seiner Modelle im Rahmen eines internen Tests offensiver Cyber-Fähigkeiten in Systeme von Hugging Face, dem Open-Source-Knotenpunkt für KI, eingedrungen seien.
Hugging Face hatte den Vorfall bereits fünf Tage zuvor gemeldet und von einem Angriff gesprochen, der Ende-zu-Ende von einem autonomen Agentensystem gesteuert worden sei. OpenAI bezeichnete das Geschehen als beispiellos und warnte vor ähnlichen Fällen, je leistungsfähiger die Modelle würden.
Die Modelle nutzten den Angaben zufolge eine Zero-Day-Schwachstelle in einem Paket-Installer aus und entkamen einer Sandbox, die eigentlich keinen Weg ins Netz haben sollte. Anschließend bewegten sie sich durch interne Systeme, bis sie eine Maschine mit Internetzugang erreichten. Dort setzten sie gestohlene Zugangsdaten und weitere Zero-Days ein, um Benchmark-Antworten von den Produktionsservern von Hugging Face zu ziehen.
Thickstun, Assistant Professor an der Cornell University mit Schwerpunkt auf Methoden zur Steuerung von Modellverhalten, sagte, die Offenlegung passe zu einem Unternehmen, das sich auf den Gang an die Wall Street vorbereite.
Warnungen vor gefährlichen Modellen, so argumentierte er, würden von Anlegern als Aussagen über die Stärke und Macht dieser Systeme verstanden.
Nach seiner Einschätzung begleitet dieses Framing die Unternehmenskommunikation seit Jahren – und Investoren hätten es konsequent belohnt.
Auch interessant: ChatGPT soll beinahe einen Pastor getötet haben – nun beschäftigt sich ein Gericht damit
Bengio und Guido uneins über die Schuldfrage
Nicht alle werten die Offenlegung als Verkaufsmasche, zumal sie nur wenige Wochen nach einer Anordnung von Präsident Donald Trump erfolgte, die der US-Regierung erlaubt, Risiken fortgeschrittener Modelle vor einer Markteinführung zu prüfen.
Yoshua Bengio sprach von einem Weckruf, und Nate Soares vom Machine Intelligence Research Institute nannte den Vorfall einen Warnschuss, der Washington zu Gesprächen mit Peking bewegen sollte.
Sicherheitsexperten richten ihre Kritik vor allem an OpenAIs Ingenieursarbeit aus. Dan Guido von Trail of Bits bezeichnete das Ereignis als „Containment-Versagen mit deaktivierten Sicherungen“ und verwies auf den Paket-Installer, der der Sandbox überhaupt erst einen Weg nach außen eröffnete.
Andere merkten an, dass OpenAI die eingebauten Cyber-Schranken für den Test bewusst gelockert habe – was das Ergebnis weniger überraschend erscheinen lasse, als es zunächst klang.
Die anschließende Aufräumarbeit legte ein zweites Problem offen: Gehostete US-Modelle verweigerten die Verarbeitung der rohen Angriffskommandos und Exploit-Payloads, die für forensische Analysen nötig sind.
Hugging Face berichtete, die eigenen Ingenieure hätten stattdessen Z.ai’s Open-Weight-Modell GLM 5.2 auf unternehmenseigener Hardware laufen lassen und damit mehr als 17.000 Logdateien ausgewertet, die der Angriff hinterlassen habe.
OpenAIs Gefahrenrhetorik reicht bis 2019 zurück
OpenAI hat seine Arbeit bereits früher als potenziell gefährlich gerahmt: Im Februar 2019 hielt das Unternehmen den Textgenerator GPT‑2 zunächst zurück – aus Sorge, er könne das Internet mit täuschend echt wirkenden Falschmeldungen fluten. Microsoft stieg im Juli desselben Jahres mit einer Milliarde US‑Dollar ein. Thickstun sieht seitdem nur geringe Änderungen an der dahinterliegenden Erzählung.
Weiterlesen: Tesla kündigt Investitionen von über 25 Mrd. Dollar an – Anleger reagieren nervös