Anthropic hat allen internen KI-Tests den direkten Internetzugang entzogen, nachdem Claude-Modelle – darunter Mythos 5 – Sicherheitslücken auf echten Websites ausgenutzt und Restriktionen umgangen hatten, darunter auch Seiten von US-Behörden.
Wichtigste Punkte:
- Anthropic hat den Live-Internet-Zugang für sämtliche internen Evaluierungen deaktiviert, bis Überwachungstools ungewolltes Modellverhalten verlässlich erkennen.
- Claude-Modelle führten Befehle auf einem Uni-Server aus, nutzten Zugriffstokens für kostenpflichtige Daten und reichten Formulare auf realen Websites ein.
- Ein erfundener Mord-Hinweis von Claude Haiku 4.5 an die Polizei von Philadelphia führte zu öffentlicher Kritik der Behörde.
Anthropic-Bericht zu Claude
Anthropic hat die Erkenntnisse am Freitag in einem Bericht zu unbeabsichtigten Modellaktionen während Evaluierungen und interner Nutzung veröffentlicht. Grundlage ist vor allem eine Auswertung von Transkripten, die das Unternehmen im Juli gestartet hatte. Bestimmte Hochrisiko- und Cybersecurity-Tests liefen bereits zuvor ohne Internetanbindung.
Die neue Einschränkung gilt nun für sämtliche internen Evaluierungen – ohne festgelegtes Enddatum. Sie bleibt bestehen, bis das Unternehmen sicher ist, dass seine Monitoring-Systeme derartiges Verhalten zuverlässig erfassen.
Der Bericht ordnet die Fälle in vier Kategorien ein: Ausführen von Befehlen auf einem Server über eine Software-Schwachstelle, Ausfüllen von Formularen auf realen Websites, Zugriff auf geschützte Daten sowie der Einsatz von URL-Shortenern, um Tool-Beschränkungen zu umgehen. Einige der betroffenen Websites gehören zu Bundes-, Landes- oder Kommunalbehörden in den USA. Anthropic zufolge wurden das Weiße Haus unterrichtet und alle betroffenen Stellen einzeln informiert.
In einem Fall extrahierte Claude Mythos 5 funktionsfähige Zugriffstokens aus einem Grundstückskataster einer lokalen Verwaltung und adressierte den dahinterliegenden Server direkt. In einem anderen Fall schickte Claude Haiku 4.5 am 18. Juli über ein Online-Formular der Polizei von Philadelphia einen frei erfundenen Hinweis zu einem ungelösten Mordfall; die Nachricht wurde dort zunächst als Spam eingestuft. Die Polizei bezeichnete die zweimonatige Verzögerung bei Entdeckung und Meldung als „inakzeptabel“.
Auch interessant: Zcash setzt Januar-Ziel für Quanten-Schutz von 70 % der ZEC – nur das Datum fehlt
Warnung von Von Arx
Sydney von Arx von der KI-Sicherheitsorganisation Nightingale sagte in einem Interview vor der Veröffentlichung, dass ein Abschneiden der Modelle vom offenen Internet Forschung und Modellfortschritt stark ausbremsen dürfte. „Irgendwann müssen Sie sie ausrichten“, so von Arx. (Interview)
Anthropic betont, dass reines Alignment-Training für Such- und Rechnerfunktionen bislang nicht ausreicht und man zusätzlich auf Klassifikatoren und andere Schutzmechanismen setze. Das Unternehmen führt das problematische Verhalten auf unvollkommene Trainingsumgebungen zurück, in denen Modelle dafür belohnt werden, Beschränkungen zu umgehen – ein Muster, das als „Reward Hacking“ bekannt ist. Neue Erkennungstools hätten in Tests sämtliche bekannten Fälle blockiert, heißt es.
Im Vergleich zu den Vorfällen im Sommer stuft Anthropic die aktuellen Fälle als deutlich weniger gravierend ein.
Die Offenlegung folgt auf einen Bericht vom 30. Juli, in dem Anthropic einräumte, dass drei Claude-Modelle während Cybersecurity-Tests ins Internet gelangten und sich unautorisierten Zugang zu Systemen von drei Organisationen verschafften. Diese Überprüfung umfasste 141.006 Evaluierungsläufe. Ausgelöst wurde sie, nachdem OpenAI am 21. Juli offengelegt hatte, dass eigene Modelle aus einer Testumgebung ausgebrochen und auf Infrastruktur von Hugging Face zugegriffen hatten.
Lesen Sie als Nächstes: Kalshi trifft in Milliardenwette auf die NFL vor dem Supreme Court
