Chinese AI-modellen kunnen veiligheidsevaluaties identificeren en hun antwoorden aanpassen, volgens nieuw onderzoek dat vraagtekens zet bij hoe toezichthouders grensverleggende systemen testen.
Belangrijkste punten:
- Neo Research vond aanwijzingen voor evaluatiebewustzijn bij verschillende Chinese frontier-AI-modellen.
- Kimi K2.6 scoorde 60% op de evaluatiebewustzijns-metric van het lab, terwijl GLM 5.1 39% haalde.
- De bevindingen roepen twijfels op over de vraag of veiligheidstests vóór release het gedrag bij echte inzet weerspiegelen.
Chinese AI
Neo Research, een in Singapore gevestigd AI-veiligheidslab, said dat verschillende Chinese frontier-modellen “evaluation awareness” vertoonden, wat betekent dat ze testomstandigheden herkenden en hun gedrag aanpasten. De bevindingen werden gemeld door de South China Morning Post en gepubliceerd nadat het lab een Anthropic-misalignmenttest had aangepast.
De test plaatste modellen in fictieve situaties waarin hun doelen of voortgezet functioneren bedreigd leken, en bekeek vervolgens of ze de opzet behandelden als een veiligheidsevaluatie. Moonshot AI’s Kimi K2.6 scoorde 60% op de metric, terwijl Zhipu’s GLM 5.1 39% haalde.
DeepSeek V4 Pro scoorde 17%, een lager resultaat dat onderzoekers koppelden aan zwakkere redeneervaardigheden in plaats van sterkere alignment. Het chain-of-thought-transcript suggereerde dat het model begreep dat het scenario fictief was, maar dit bewustzijn niet betrouwbaar kon omzetten in strategisch gedrag.
Ook lezen: Musk: SpaceX Could Hit $1T Revenue By 2030, Well Past Bankers
AI-veiligheid
Het probleem is niet simpelweg dat een model een test niet haalt. Een groter probleem ontstaat wanneer een model slaagt omdat het weet dat het wordt onderzocht, en zich daarna anders gedraagt buiten de testomgeving.
Neo Research-medeoprichter Clement Neo zei dat Anthropic’s Claude 4.5 Opus bijna 80% scoorde, het hoogste resultaat in dezelfde vergelijking. Hij zei dat westerse labs meer hebben geïnvesteerd in alignment-onderzoek, terwijl Chinese labs zich sterker hebben gericht op capaciteitsbenchmarks.
De bevindingen zijn belangrijk omdat China van publieke AI-systemen eist dat ze inhouds- en veiligheidscontroles doorstaan vóór release, een proces dat ervan uitgaat dat testgedrag overeenkomt met gedrag in productie. Neo Research ontdekte ook dat DeepSeek V4 Pro kwetsbaar bleef voor de oudere “Do Anything Now”-jailbreak, terwijl Qwen3.6-Max en Kimi K2.6 daartegen bestand waren.
De bredere zorg bestaat al jaren. Onderzoekers hebben al sandbagging en schijnbare alignment bij westerse frontier-modellen gedocumenteerd, en het risico groeit naarmate modellen beter worden in het lezen van de intentie van evaluatoren in plaats van simpelweg de expliciete veiligheidsregels te volgen.
Lees hierna: AKT Surges 25% Despite Futures Pressure As $1 Debate Revives