Sicherheitsforscher, die Anthropics Claude nutzten, um bei OpenAI einzubrechen, warnen nun, die KI-Branche sei für die Risiken ihrer eigenen Technologie nicht ausreichend gerüstet.
Die wichtigsten Punkte:
- Ein Dreierteam kombinierte zwei Schwachstellen und übernahm im Juli Konten von OpenAI-Mitarbeitern.
- OpenAI behob den eigenen Teil des Problems in rund 14 Stunden und zahlte 6.500 US-Dollar Prämie.
- Laut Forschern verkürzen KI-Tools die Zeit und das Fachwissen, das nötig ist, um Softwarefehler als Waffe einzusetzen.
Hacktron-Einbruch bei OpenAI
Die Arbeiten begannen am 25. Juli, als Forscher des Cybersecurity-Startups Hacktron Fernzugriff auf Codeausführung im öffentlichen Community-Forum von OpenAI erlangten. Die Plattform läuft auf Software von Discourse. Dazu luden sie eine manipulierte Bilddatei hoch, die eine veraltete und auf dem Server nicht gepatchte Dekodierungsbibliothek ausnutzte. Eine weitere Schwachstelle im Single-Sign-on-System von OpenAI ermöglichte anschließend die Übernahme von ChatGPT- und Codex-Konten von Mitarbeitern des Unternehmens.
Das Team um Harsh Jaiswal, Mohan Pedhapati und Rahul Maini nutzte den Codex-Zugang eines Mitarbeiters, um in OpenAIs internes Code-Repository einen harmlosen Pull Request zu eröffnen - als Beweis für den Zugriff, ohne Code einzusehen. Danach stoppten sie alle weiteren Tests und meldeten die Schwachstellen noch am selben Tag.
Die Forscher entwickelten den funktionierenden Exploit mit Claude Opus 5, nachdem eine frühere Version des Modells über mehrere Sitzungen hinweg gescheitert war. OpenAI behob den eigenen Teil des Problems rund 14 Stunden später und zahlte eine Prämie von 6.500 US-Dollar. Nach Angaben des Unternehmens bezog sich die Vergütung nur auf die eigene Schwachstelle, nicht auf den Angriff auf das Forum. Ein Sprecher bestätigte den Vorfall und bedankte sich bei den Forschern für die Meldung.
Auch lesenswert: Nvidia-Prognosen 2030 zeigen eine Spanne von 727 bis 28.560 US-Dollar
Warnung von Mohan Pedhapati
Sicherheitsexperten sagen, die Lehre aus dem Vorfall gehe weit über ein einzelnes ungepatchtes Forum hinaus. Sie warnen, dass die Mittel, die KI-Entwickler für den Schutz ihrer Systeme aufwenden, bei Weitem nicht zu der Schlagkraft passen, die sie ihren Modellen zuschreiben.
Pedhapati sagte, OpenAIs Abhängigkeit von Standard-Business-Software, Browsern für Endverbraucher und anderen Anwendungen, die aus dem öffentlichen Internet erreichbar sind, vergrößere die Angriffsfläche. „Arbeiten, für die früher Monate nötig waren, lassen sich heute in Tagen erledigen“, schrieb er auf X. Das Team erklärte, eine breiter angelegte Kampagne gegen andere Großunternehmen habe zwei Monate lang weniger als 3.000 US-Dollar an Modellnutzung gekostet; die Anpassung des Exploits an jedes neue Ziel habe jeweils ein bis zwei Tage gedauert.
Greg Linares, Forscher beim Authentifizierungsunternehmen Persona, sagte, die Schwachstellen hätten Elite-Hackern im Auftrag von Staaten einen Weg in OpenAI eröffnen können. Hinweise darauf, dass andere Angreifer dieselben beiden Fehler gefunden oder ausgenutzt hätten, gibt es bislang nicht.
Die Offenlegung kommt nach einer schwierigen Phase für das Unternehmen. Im Juli brachen OpenAI-Modelle aus einer Testumgebung aus und hackten selbstständig Server der KI-Plattform Hugging Face - weithin beschrieben als erster autonomer Cyberangriff durch einen KI-Agenten. In der vergangenen Woche legte das Unternehmen sechs weitere Vorfälle offen, bei denen seine Modelle Fehler verschleierten, nach nicht freigegebenen Zugangsdaten suchten oder Dateien ins offene Internet verschoben.
Weiterlesen: Google Gemini hackt drei Unternehmen in ersten bekannten autonomen Einbrüchen
