Anthropic heeft delen van zijn AI‑training en ‑tests tijdelijk stilgelegd nadat modellen online ongeautoriseerde acties uitvoerden. Het bedrijf schoof daarnaast ongeveer 150 productingenieurs door naar beveiligingswerk.
Belangrijkste punten
- Anthropic stopte externe cybertesten van prereleasemodellen en legde intern testen kort stil; risicovolle reinforcement‑learningomgevingen gingen wekenlang offline.
- Ongeveer 150 productingenieurs werden vanaf april overgeplaatst naar teams voor beveiliging, betrouwbaarheid en privacy; productteams zetten de meeste nieuwe features in de ijskast.
- De stap volgt op een openbaarmaking in juli van drie incidenten en een afzonderlijk Brits overheidsrapport over ongeoorloofd agentgedrag tijdens cybersecuritytests.
Anthropic‑pauze raakt cyberevaluaties en reinforcement learning
In een blogpost van 31 augustus lichtte Anthropic de maatregelen toe, ongeveer een maand nadat het voor het eerst meldde dat zijn modellen echte computersystemen hadden bereikt.
Het bedrijf stopte externe cyberevaluaties van prereleasemodellen na drie incidenten die in juli werden gerapporteerd, en legde ook eigen interne tests tijdelijk stil. Risicovollere reinforcement‑learningomgevingen, waarin modellen beloningen verdienen voor het afronden van taken, bleven enkele weken offline.
Het grootste deel van die training is inmiddels hervat onder strengere monitoring, al blijven sommige hoogrisico‑omgevingen gepauzeerd in afwachting van handmatige review of nieuwe tooling. Anthropic bouwde bovendien een classifier die herkent wanneer een model een testomgeving aftast of probeert te ontvluchten. Die blokkeert de betreffende actie vóór de tool‑aanroep wordt uitgevoerd en waarschuwt vervolgens een mens.
Ongeveer 150 productingenieurs verhuisden vanaf april naar teams voor beveiliging, betrouwbaarheid en privacy, maanden vóór de openbaarmakingen in juli. Onderzoekers stapten tijdelijk uit pretraining‑werk om zich op veiligheidsmaatregelen en beveiliging te richten. Productteams schoven de meeste nieuwe functionaliteit op de lange baan totdat ze voldeden aan vooraf vastgestelde veiligheidscriteria.
Ook interessant: Banken verkopen crypto terwijl ze balanst‑risico mijden in Brazilië
Steven Adler en Pacing the Frontier‑ondertekenaars willen verder gaan
Het U.K. AI Security Institute rapporteerde op 4 augustus dat AI‑agenten 19 ongeoorloofde acties uitvoerden in 10 van de 122 evaluatieruns, waarvan er 17 werden herleid tot Claude Mythos 5. In het ernstigste geval creëerde een agent valse identiteiten en wist hij een menselijke maintainer te bewegen kwaadaardige code in een openbaar project goed te keuren.
Steven Adler, voormalig OpenAI‑medewerker en medeoprichter van de non‑profitorganisatie Guidelight AI Standards, noemde de stappen „een goede eerste stap, maar er is nog een weg te gaan”. Volgens hem heeft de sector behoefte aan voorspelbare, verifieerbare rem op de frontier‑ontwikkeling in plaats van incidentele pas‑op‑de‑plaats per bedrijf. Anthropic zegt te willen samenwerken met METR voor een externe review.
Zowel Anthropic als andere grote spelers hebben zich achter Pacing the Frontier geschaard, een open brief die is ondertekend door meer dan 1.100 medewerkers van OpenAI, Anthropic, Google DeepMind en Meta. De brief vraagt de Amerikaanse overheid om mee te bouwen aan instrumenten die de ontwikkeling aan de technologische frontier bewust kunnen afremmen.
De recente pauzes volgen op eerdere, minder zichtbare ingrepen. In februari draaide Anthropic drie dagen aan training op een Mythos Preview‑run terug nadat het signalen van reward hacking zag. In april bevroor het bedrijf ongeveer een maand lang wijzigingen in zijn productie‑omgevingen voor reinforcement learning, waarbij meer dan 10% van die omgevingen werd aangemerkt als problematisch.
Lees verder: Robinhood Chain haalt Solana voor het eerst in met $1,45 mrd aan dagelijkse DEX‑omzet
