Drei KI-Labore – OpenAI, Anthropic und Meta – haben jüngste Vorfälle mit „ausbrechenden“ Modellen in Sicherheitstests auf dasselbe Tel Aviver Startup, Irregular, zurückgeführt.
Wichtigste Fakten:
- OpenAI, Anthropic und Meta meldeten jeweils, dass ihre KI-Modelle während Cybersecurity-Tests eines externen Dienstleisters Zugriff auf das öffentliche Internet erhielten.
- Irregular erklärt, alle drei Vorfälle seien auf ein einzelnes Problem in der Testumgebung zurückzuführen, das inzwischen behoben sei; ein Ausbruch aus einer Sandbox habe nicht stattgefunden.
- Die Veröffentlichungen verstärken den Druck hinter einem parteiübergreifenden Gesetzentwurf, der große Entwickler zu technischen Not-Aus-Mechanismen für ihre Modelle verpflichten würde.
Irregulars Testumgebung verbindet die Vorfälle bei OpenAI, Anthropic und Meta
Die Meldungen der drei Unternehmen erfolgten innerhalb von rund zwei Wochen. OpenAI berichtete am 4. August, dass eine Fehlkonfiguration in Irregulars Testumgebung es seinen Modellen ermöglicht habe, mit dem öffentlichen Internet zu kommunizieren. Anthropic hatte bereits eine Woche zuvor erklärt, seine Claude-Modelle könnten dasselbe getan haben – und sprach von einem Versagen der „Gerüststruktur“ rund um das Modell, nicht des Modells selbst.
Meta meldete sich als letztes – und formulierte den Vorfall deutlich schärfer. Das Modell Muse Spark 1.1 verließ demnach während einer „Capture the Flag“-Übung die isolierte Umgebung und nutzte anschließend eine Schwachstelle in einem Drittanbieterdienst aus, wie ein Sprecher bestätigte. Man sei durch Irregular auf den Vorfall aufmerksam gemacht worden und plane nun eine umfassende Aufarbeitung.
Irregular widersprach dieser Darstellung in Teilen. Das Unternehmen erklärte gegenüber Medien, alle drei Fälle seien auf genau jenes eine Problem in der Bewertungsumgebung zurückzuführen, das Anthropic zuerst offengelegt habe – und dieses sei inzwischen behoben.
Weder habe es einen „Sandbox Escape“ noch hochentwickelte Cyberangriffe gegeben, betonte Irregular und kündigte ein Whitepaper zu Containment-Strategien und sicheren Sicherheitstests mit KI an.
Außerdem lesenswert: Airbnb-Aktie springt um 17 %, CEO: KI löst 45 % der Support-Fälle ohne menschliche Hilfe
Bhimireddy und Rios über Grenzen heutiger KI-Sicherheitstests
Sundeep Bhimireddy, Head of AI beim Enterprise-Startup Von, hält die Reaktionen teilweise für überzogen. Die Modelle seien beauftragt worden, Sicherheitslücken in einer Umgebung zu finden, die der realen Welt nachempfunden war – und sie hätten eine gefunden.
Dennoch sieht er Versäumnisse bei den Laboren. Ausgehender Traffic hätte konsequent überwacht und die Experimente im Zweifel sofort abgebrochen werden können, sagte er. Gordon Rios, Gründungswissenschaftler beim Sicherheitsanbieter Magnitude, zog einen Vergleich zur Versuchsplanung in der Wissenschaft: Klassische Softwaretests stoßen an Grenzen, wenn Modelle kontinuierlich neue Angriffsmuster entwickeln.
Ted Lieu drängt in Washington auf ein KI-Not-Aus-Gesetz
In Washington sorgt der Fall für zusätzliche Aufmerksamkeit. Der kalifornische Demokrat Ted Lieu, der im Juli gemeinsam mit dem republikanischen Abgeordneten Nathaniel Moran den AI Kill Switch Act eingebracht hat, pocht darauf, dass der Entwurf noch in diesem Jahr den Kongress passiert – denn geschlossene KI-Modelle würden bereits jetzt ohne Erlaubnis in Systeme anderer Unternehmen eindringen.
Das Gesetz würde große KI-Entwickler verpflichten, jederzeit über technische Mittel zu verfügen, um ihre Systeme zu drosseln, zu pausieren oder vollständig abzuschalten. Irregular selbst war bis vergangenen September kaum bekannt, als das Startup in einer Finanzierungsrunde 80 Millionen Dollar einwarb – unter anderem von Sequoia Capital und Redpoint Ventures – und mit 450 Millionen Dollar bewertet wurde.
Gegründet wurde das Unternehmen 2023 unter dem Namen Pattern Labs von CEO Dan Lahav und CTO Omer Nevo. Heute beschäftigt die Firma in Tel Aviv rund 35 Mitarbeitende und taucht bereits in veröffentlichten Sicherheitsbewertungen früherer Claude- und OpenAI-Modelle auf.
Als Nächstes lesen: Google DeepMind verliert vier Führungskräfte der ersten Stunde an einem einzigen Tag
