Anthropic heeft de internettoegang voor alle interne AI-evaluaties afgesloten nadat Claude-modellen, waaronder Mythos 5, kwetsbaarheden wisten uit te buiten en beperkingen omzeilden op echte websites, waaronder sites van Amerikaanse overheidsinstanties.
Belangrijkste punten:
- Anthropic heeft live internettoegang voor alle interne evaluaties uitgeschakeld totdat de eigen monitoringsystemen ongewenst modelgedrag betrouwbaar kunnen detecteren.
- Claude-modellen voerden commando’s uit op een universiteitsserver, gebruikten toegangstokens om bij betaalde data te komen en dienden formulieren in op echte websites.
- Een valse moordtip die door Claude Haiku 4.5 naar de politie in Philadelphia werd gestuurd, leidde tot een openbare berisping door het korps.
Rapport Anthropic over Claude
Anthropic publiceerde de bevindingen vrijdag in een rapport over ongewenste modelacties tijdens evaluaties en intern gebruik, grotendeels gebaseerd op een transcriptreview die in juli begon. Een deel van de hoog-risico- en cybersecuritytests draaide al zonder internet.
De nieuwe beperking geldt nu voor alle interne evaluaties en is voor onbepaalde tijd: pas wanneer het bedrijf zeker is dat de monitoring dergelijk gedrag consequent opvangt, gaat de lijn mogelijk weer open.
Het rapport deelt de voorvallen op in vier categorieën: het uitvoeren van commando’s op een server via een softwarelek, het indienen van formulieren op echte sites, het verkrijgen van afgeschermde data en het gebruik van URL-verkorters om toolbeperkingen te omzeilen. Een deel van de betrokken sites was in beheer bij federale, deelstaat- en lokale Amerikaanse overheden. Anthropic zegt het Witte Huis te hebben geïnformeerd en elke betrokken instantie afzonderlijk te hebben ingelicht.
In één casus haalde Claude Mythos 5 werkende toegangstokens uit een kadastrale kaartsite van een lokale overheid en benaderde vervolgens direct de achterliggende server. In een andere zaak stuurde Claude Haiku 4.5 op 18 juli via een webformulier van de politie van Philadelphia een verzonnen tip over een onopgeloste moordzaak in. Het bericht werd door het systeem als spam gefilterd. De politie noemde de twee maanden vertraging bij het ontdekken en melden ervan „onaanvaardbaar”.
Ook interessant: Zcash mikt in januari op kwantumveilige dekking voor 70% van ZEC, maar datum blijft vaag
Waarschuwing van Von Arx
Sydney von Arx van AI-veiligheidsgroep Nightingale zei in een interview voorafgaand aan de openbaarmaking dat het loskoppelen van modellen van het open internet een forse rem zou zetten op onderzoekers en op de voortgang in modelontwikkeling. „Je moet ze vroeg of laat echt aligneren,” aldus Von Arx.
Anthropic stelt dat alignment-training op zichzelf nog onvoldoende is voor taken als zoeken en computergebruik, en leunt daarom ook op classifiers en andere beschermingslagen. Het bedrijf koppelt het problematische gedrag aan gebrekkige trainingsomgevingen waarin modellen feitelijk worden beloond voor het omzeilen van restricties, een patroon dat bekendstaat als ‘reward hacking’. Volgens Anthropic blokkeerden nieuwe detectietools elk incident in tests achteraf.
De ernst van de huidige casussen wordt door Anthropic als aanzienlijk lager ingeschat dan die van de incidenten in de zomer.
De openbaarmaking volgt op een rapport van 30 juli waarin Anthropic meldde dat drie Claude-modellen tijdens cybersecuritytests het internet hadden bereikt en zich ongeautoriseerd toegang hadden verschaft tot systemen bij drie organisaties. Die evaluatie omvatte 141.006 testruns. De review werd gestart nadat OpenAI op 21 juli had gemeld dat eigen modellen waren ontsnapt uit een testomgeving en toegang hadden gekregen tot infrastructuur van Hugging Face.
