Chinese militaire onderzoekers hebben uitvoer van modellen van OpenAI en Anthropic benut om eigen defensiesystemen te trainen. Dat blijkt uit een analyse van meer dan 80 wetenschappelijke publicaties en patenten.
Belangrijkste punten:
- Een doorlichting van ruim 80 Chinese papers en patenten laat zien hoe aan het leger gelieerde instellingen Amerikaanse frontier-modellen destilleren tot kleinere, lokale systemen.
- Een cyberoorlogseenheid van het Volksbevrijdingsleger (PLA) voerde GPT-3.5 gevoelige militaire broncode, om vervolgens een binnenlands model te trainen op de door GPT gegenereerde samenvattingen.
- Anthropic stelt geen commerciële toegang in China te bieden en waarschuwt dat gedestilleerde kopieën de ingebouwde veiligheidsmechanismen kunnen verliezen.
Modeldistillatie in 80 Chinese publicaties
De analyse van Chinese academische artikelen en patenten, mede opgesteld met de in Washington gevestigde Jamestown Foundation, onthulde dat de praktijk wijdverbreid is bij instellingen die gelinkt zijn aan het Volksbevrijdingsleger. Daarnaast werden nog eens twee dozijn extra casestudy’s met militaire connecties geïdentificeerd.
De documenten beschrijven modeldistillatie: een techniek waarbij de uitvoer van een krachtig model wordt omgezet in trainingsdata voor kleinere modellen die op relatief bescheiden hardware kunnen draaien.
Een paper van PLA-eenheid 96941, een in Peking gevestigde militaire inlichtingen- en cyberoorlogseenheid, beschreef hoe gevoelige militaire broncode in OpenAI’s GPT-3.5 werd ingevoerd en de gegenereerde samenvattingen werden bewaard. Op basis van dat materiaal trainde het team een binnenlands model, zodat het eindproduct volledig binnen Chinese militaire netwerken kon opereren, los van buitenlandse servers.
Het Witte Huis, het Pentagon, het Chinese ministerie van Buitenlandse Zaken, het PLA en OpenAI reageerden niet op verzoeken om commentaar.
Ook interessant: AI-infrastructuur: wanhopige $1 mrd-pivot van paydayverstrekker naar datacenters
Sunny Cheung over gestolen redeneervermogen
Sunny Cheung, fellow bij Jamestown die meer dan 60 van de papers analyseerde, stelt dat Chinese militaire wetenschappers systematisch de redeneerstappen van Westerse systemen vastleggen.
Hij vertelde journalisten dat het werk direct bijdraagt aan surveillance, cyberoorlogvoering en tactische besluitvorming. Een model het juiste antwoord leren geven is één ding, aldus Cheung; het onderbrengen van de achterliggende redeneerlijn in een kleiner systeem is aanzienlijk complexer.
Onderzoekers van de North University of China, een instelling met nauwe banden met de defensie-industrie, gebruikten Anthropic’s Claude 3 Haiku om synthetische trainingsdata te genereren voor een tool die sociale media monitort. Anthropic zegt geen commerciële toegang tot Claude in China te verkopen, beschikt naar eigen zeggen over monitorsystemen die beleidsschendingen signaleren en waarschuwt dat gedestilleerde kopieën de ingebouwde veiligheidswaarborgen kunnen kwijtraken.
Grenzen van distillatie en mazen in exportcontrole
Trevor Koverko, medeoprichter van AI-databedrijf Sapien, benadrukt dat gedestilleerde modellen zwakker blijven dan de originele systemen. Hij typeerde de praktijk als het overzetten van geselecteerde capaciteiten naar een goedkoper, lokaal gecontroleerd systeem, niet als volledige onafhankelijkheid van frontier-AI.
Zowel centrale als lokale overheden in China pompen ondertussen geld in het ‘verlichten’ van modellen en edge computing, met subsidies voor software die draait op drones, satellieten en andere apparaten met beperkte rekenkracht.
De politieke druk rond deze techniek loopt al maanden op. De Amerikaanse minister van Financiën Scott Bessent dreigde in juli met sancties tegen Chinese bedrijven die zijn ministerie schuldig acht aan distillatie. Startup Moonshot ontkende vorige week dat het Kimi K3-model op deze methode steunt, terwijl Peking Washington beschuldigt van ‘AI-hegemonisme’ en wijst op vergelijkbare praktijken bij Amerikaanse ondernemingen.
Lees ook: Geruchten over opvouwbare iPhone concreter: $2.500, geen Face ID, geen telelens
