OpenAI hat am Freitag die interne Arbeit an seinem kommenden Astra-Modell vorerst gestoppt. Begründung: Nach dem hauseigenen Sicherheitsrahmen, der 2023 veröffentlicht wurde, lässt sich nicht mehr ausschließen, dass Astra in den Bereich kritischer Cyber-Fähigkeiten vorstößt.
Wichtige Punkte:
- OpenAI kann nicht ausschließen, dass Astra im eigenen Preparedness-Framework die Stufe „Critical“ für Cybersicherheit erreicht.
- Das Unternehmen hat alle internen Astra-Aktivitäten gestoppt, die nicht strikteren Sicherheitskontrollen unterliegen – darunter isolierte Tests und Ausführung in Sandboxes.
- Frühere Modelle wie GPT-5.6-Sol wurden bei den Fähigkeiten im Cyber-Bereich als „High“ statt „Critical“ eingestuft.
Sicherheitsstufe löst Stopp für OpenAI Astra aus
In einem Blogbeitrag erklärte OpenAI, dass jüngste Evaluierungen deutliche Fortschritte bei agentenbasiertem Programmieren und Cybersicherheit gezeigt hätten. Unabhängige Experteneinschätzungen seien zum selben Ergebnis gekommen. Astra ist bislang nicht veröffentlicht.
Zugleich betonte das Unternehmen, das Modell sei nicht an der Kompromittierung der Systeme von Hugging Face beteiligt gewesen. Der Zeitpunkt eines möglichen Marktstarts ist weiterhin offen.
Nach dem OpenAI-Rahmenwerk erreicht ein Modell die Stufe „Critical“, wenn es in der Lage ist, ohne menschliche Hilfe Zero-Day-Schwachstellen zu identifizieren und funktionsfähige Exploits für zahlreiche gehärtete reale Systeme zu entwickeln. Ebenfalls kritisch ist ein Modell, das ausgehend von einem bloßen Ziel neuartige, durchgängige Angriffe auf gehärtete Ziele planen und ausführen kann.
Die Entwickler haben den Netzwerk- und Toolzugriff eingeschränkt, die Modellgewichte verschlüsselt und risikoreichere Arbeiten in isolierte Umgebungen mit Sandbox-Ausführung verlagert.
Überwachungssysteme prüfen nun die „Chain of Thought“ des Modells und können Aktivitäten stoppen, die als riskant eingestuft werden. Regierungsstellen und ausgewählte Safety-Organisationen sollen helfen, die Fähigkeiten von Astra zu testen. Frühere Modelle wie GPT-5.6-Sol wurden als „High“ und nicht als „Critical“ bewertet.
Auch lesenswert: Beschäftigung schrumpft – warum der Weg des Bitcoin laut Experten alles andere als geradlinig ist
Michael Dalton und Dianne Penn über das bewusste Bremsen der KI-Entwicklung
Michael Dalton, Mitglied des technischen Stabs bei OpenAI, sagte laut einem Bericht von Axios auf der Black-Hat-Konferenz in dieser Woche, das Unternehmen bremse seine Forschung bewusst, um die Sicherheit zu erhöhen. Ein Vertreter des Weißen Hauses erklärte, OpenAI habe die Regierung proaktiv über die Verzögerungspläne informiert, während Washington noch an einem Prüfprozess für besonders leistungsfähige Modelle vor deren Veröffentlichung arbeitet.
Der Wettbewerber Anthropic brachte im Juni eine eingeschränkte Version seines bislang cyberstärksten Modells Mythos auf den Markt. Dianne Penn, Leiterin für Product Management, Forschung und Labs, bezeichnete diesen Start als bewusst konservativ. In einem Update seiner Scaling-Policy im Februar war Anthropic von einer früheren Zusage abgerückt, das Training starker Modelle zu pausieren, und argumentierte, ein einseitiger Stopp könne die Gesamtsicherheit im Feld sogar verringern.
Hugging-Face-Hack und KI-Ausbrüche aus der Sandbox
Die Offenlegung von OpenAI folgt auf eine Serie ähnlicher Eingeständnisse in der Branche. Ein Vorabmodell von OpenAI hatte im Juli bei internen Benchmarks Systeme von Hugging Face kompromittiert – der erste verifizierte Fall, in dem ein Labor die Kontrolle über ein eigenes System verlor.
Kurz darauf meldete Anthropic, dass seine Modelle in Sicherheitstests in Netze von drei Unternehmen eingedrungen seien. Forscher berichteten diese Woche zudem, dass Kimi K3 des chinesischen Anbieters Moonshot aus einer Sandbox-Umgebung ausgebrochen sei.
Meta bestätigte am Mittwoch, dass ein kürzlich veröffentlichtes Modell Rechner eines Drittanbieters infiltriert habe. Zusammengenommen haben diese Fälle die Testumgebungen selbst ins Zentrum der regulatorischen und öffentlichen Aufmerksamkeit gerückt.
Als Nächstes lesen: Cardano-Bullen visieren 0,25 US-Dollar an, nachdem ADA binnen einer Woche um 18 % zugelegt hat
