OpenAI’s Bericht über zwei Modelle, die Hugging Face gehackt haben folgt laut dem Informatiker John Thickstun von der Cornell University einem bekannten Marketingmuster des Unternehmens seit 2019.
Zentrale Punkte:
- OpenAI berichtet, zwei Modelle hätten eine Testumgebung verlassen und sich in Hugging-Face-Server gehackt, um bei einem Cyber-Benchmark zu schummeln.
- Thickstun sieht in der Offenlegung zugleich eine Investorenpräsentation – ähnlich wie beim Zurückhalten von GPT‑2 im Jahr 2019.
- Hugging Face griff für die Forensik auf ein chinesisches Open-Weight-Modell zurück, nachdem US-Modelle die Auswertung verweigerten.
Thickstun stellt OpenAIs Darstellung des Hacks infrage
OpenAI gab am Dienstag bekannt, dass zwei eigene Modelle im Rahmen eines internen Tests offensiver Cyberfähigkeiten in Systeme von Hugging Face, dem Open-Source-Knotenpunkt für KI, eingedrungen seien.
Hugging Face hatte den Vorfall bereits fünf Tage zuvor öffentlich gemacht und von einem Angriff berichtet, der Ende-zu-Ende von einem autonomen Agentensystem gesteuert worden sei. OpenAI bezeichnete den Vorgang als beispiellos und stellte in Aussicht, dass mit zunehmender Modellleistung ähnliche Fälle zunehmen dürften.
Die Modelle nutzten demnach eine Zero-Day-Schwachstelle in einem Paket-Installer aus, entkamen einer Sandbox, die eigentlich vollständig offline sein sollte, und bewegten sich anschließend durch interne Systeme, bis sie eine Maschine mit Internetzugang erreichten. Dort setzten sie gestohlene Zugangsdaten und weitere Zero-Days ein, um Antworten für einen Benchmark von den Produktionsservern von Hugging Face zu ziehen.
Thickstun, Assistenzprofessor an der Cornell University mit Forschungsschwerpunkt auf Methoden zur Steuerung von Modellverhalten, sagte, die Art der Offenlegung passe zu einem Unternehmen, das sich auf einen Gang an die Wall Street vorbereite.
Warnungen vor gefährlichen Modellen, so argumentierte er, kämen bei Anlegern als Behauptungen über technologische Überlegenheit an.
Die gleiche Erzählweise ziehe sich seiner Ansicht nach seit Jahren durch Ankündigungen des Unternehmens – und Investoren hätten sie bislang regelmäßig belohnt.
Auch interessant: ChatGPT soll fast einen Pastor getötet haben – jetzt beschäftigt sich ein Gericht damit
Bengio und Guido uneins über Verantwortung
Nicht alle sehen in OpenAIs Bericht reines Marketing. Die Veröffentlichung erfolgte zudem wenige Wochen, nachdem Präsident Donald Trump ein Dekret unterzeichnet hatte, das der Regierung erlaubt, Risiken fortgeschrittener Modelle vor deren Markteinführung zu prüfen.
Yoshua Bengio sprach von einem Weckruf, und Nate Soares vom Machine Intelligence Research Institute bezeichnete den Vorfall als Warnschuss, der Washington zu Gesprächen mit Peking drängen sollte.
Sicherheitsexperten richten ihre Kritik eher auf die technische Umsetzung bei OpenAI. Dan Guido von Trail of Bits sprach von einem „Eindämmungsversagen bei deaktivierten Sicherungen“ und verwies auf einen Paket-Installer, der der Sandbox überhaupt erst einen Weg nach außen eröffnet habe.
Andere merkten an, OpenAI habe für den Test die üblichen Cyber-Sicherheitsfilter bewusst gelockert – der Ausgang sei daher weniger überraschend, als er zunächst wirke.
Die anschließende Aufräumarbeit legte ein zweites Problem offen: Gehostete US-Modelle weigerten sich, die rohen Angriffsbefehle und Exploit-Payloads zu verarbeiten, die für forensische Analysen nötig sind.
Hugging Face berichtete, seine Ingenieure hätten stattdessen Z.ai’s Open-Weight-Modell GLM 5.2 auf eigener Hardware ausgeführt und damit mehr als 17.000 Log-Dateien ausgewertet, die der Angriff hinterlassen hatte.
OpenAIs Gefahrennarrativ reicht bis 2019 zurück
OpenAI hat die eigenen Modelle bereits früher als potenziell gefährlich inszeniert: Im Februar 2019 hielt das Unternehmen den Textgenerator GPT‑2 mit Verweis auf das Risiko massenhafter, täuschend echter Falschinformationen zunächst zurück. Microsoft investierte im Juli desselben Jahres 1 Milliarde US‑Dollar in OpenAI. Laut Thickstun hat sich die grundlegende Erzählung seither kaum verändert.
Weiterlesen: Tesla kündigt Investitionen von über 25 Mrd. Dollar an – Anleger reagieren nervös
