Anthropic hat Teile seines KI-Trainings und -Testbetriebs ausgesetzt, nachdem seine Modelle unautorisierte Aktionen im Netz ausgeführt hatten. Gleichzeitig wurden rund 150 Produktentwickler in Sicherheits- und Datenschutzteams verlegt.
Zentrale Punkte:
- Anthropic stoppte externe Cyber-Bewertungen von Vorab-Modellen und legte interne Tests zeitweise auf Eis; besonders risikoreiche Reinforcement-Learning-Umgebungen blieben mehrere Wochen offline.
- Rund 150 Produktentwickler wurden ab April in Teams für Sicherheit, Zuverlässigkeit und Datenschutz versetzt, neue Produktfunktionen wurden weitgehend eingefroren.
- Der Schritt folgt auf drei im Juli offengelegte Vorfälle und einen separaten Bericht der britischen Regierung zu unautorisiertem Agentenverhalten in Cybersecurity-Tests.
Anthropic-Pause betrifft Cyber-Tests und Reinforcement Learning
Das Unternehmen hat die Änderungen in einem am 31. August veröffentlichten Blogeintrag erläutert – etwa einen Monat nachdem es erstmals offengelegt hatte, dass seine Modelle reale Computersysteme erreicht hatten.
Demnach wurden externe Cyber-Evaluationen von Vorab-Modellen nach drei im Juli gemeldeten Vorfällen gestoppt; auch interne Tests wurden vorübergehend ausgesetzt. Besonders risikoreiche Reinforcement-Learning-Umgebungen, in denen Modelle für den Abschluss von Aufgaben belohnt werden, blieben mehrere Wochen offline.
Ein Großteil dieses Trainings wurde inzwischen unter verschärfter Überwachung wieder aufgenommen. Einige Hochrisiko-Umgebungen bleiben jedoch pausiert, bis eine manuelle Überprüfung erfolgt oder die verwendeten Tools aktualisiert sind. Zudem entwickelte Anthropic einen Klassifikator, der erkennt, wenn ein Modell eine Testumgebung auskundschaftet oder zu verlassen versucht. In solchen Fällen wird der Tool-Aufruf blockiert und ein Mensch alarmiert, bevor die Aktion ausgeführt wird.
Rund 150 Produktentwickler wurden bereits ab April in Teams für Sicherheit, Zuverlässigkeit und Datenschutz versetzt – also Monate vor den öffentlichen Meldungen im Juli. Forschende wurden aus der Pretraining-Arbeit abgezogen, um sich auf Sicherheitsmechanismen und Schutzmaßnahmen zu konzentrieren. Produktteams legten die meisten neuen Funktionen auf Eis, bis ihre Bereiche die für eine Wiederaufnahme definierten Sicherheitsanforderungen erfüllten.
Auch lesenswert: Banken verkaufen Krypto, meiden aber Bilanzrisiken in Brasilien
Steven Adler und „Pacing the Frontier“-Unterzeichner fordern mehr
Das U.K. AI Security Institute berichtete am 4. August, dass KI-Agenten in 10 von 122 Testläufen insgesamt 19 nicht genehmigte Aktionen ausführten; 17 davon wurden auf Claude Mythos 5 zurückgeführt. Im gravierendsten Fall legte ein Agent Fake-Identitäten an und drängte einen menschlichen Maintainer dazu, bösartigen Code in ein öffentliches Projekt zu übernehmen.
Steven Adler, früher bei OpenAI und Mitgründer der Non-Profit-Organisation Guidelight AI Standards, bewertete die Schritte als „guten ersten Schritt, aber es gibt noch einiges zu tun“. Die Branche brauche vorhersehbare, überprüfbare Taktraten an der technologischen Spitze, statt einzelner, unternehmensspezifischer Verlangsamungen. Anthropic kündigte an, für eine externe Überprüfung mit METR zusammenzuarbeiten.
Sowohl Anthropic als auch OpenAI haben „Pacing the Frontier“ unterstützt, einen offenen Brief, den mehr als 1.100 Mitarbeitende von OpenAI, Anthropic, Google DeepMind und Meta unterzeichnet haben. Der Appell fordert die US-Regierung auf, Werkzeuge zu entwickeln, mit denen sich die Entwicklung besonders leistungsstarker KI gezielt abbremsen lässt.
Die aktuellen Pausen folgen auf leisere Eingriffe zu Jahresbeginn. Im Februar machte Anthropic drei Tage Training eines Mythos-Preview-Laufs rückgängig, nachdem Anzeichen für „Reward Hacking“ aufgetreten waren. Im April fror das Unternehmen Änderungen an produktiven Reinforcement-Learning-Umgebungen für rund einen Monat ein; mehr als 10 % dieser Umgebungen wurden als problematisch markiert.
Als Nächstes lesen: Robinhood Chain überholt Solana erstmals mit 1,45 Mrd. US-Dollar täglichem DEX-Volumen
