Ricercatori militari cinesi hanno utilizzato gli output dei modelli di OpenAI e Anthropic per addestrare sistemi di difesa nazionali, secondo una review di oltre 80 articoli accademici e brevetti.
Punti chiave:
- Una review di oltre 80 studi e brevetti cinesi ha rilevato che istituzioni legate ai militari distillano modelli statunitensi d’avanguardia in sistemi locali più piccoli.
- Un’unità di cyberwarfare dell’EPL ha fornito a GPT-3.5 codice sorgente militare sensibile, per poi addestrare un modello domestico sui relativi riassunti.
- Anthropic afferma di non vendere accesso commerciale in Cina e avverte che le copie distillate possono perdere le salvaguardie originarie.
Distillazione di modelli in oltre 80 studi cinesi
La review di pubblicazioni e brevetti cinesi, realizzata in parte con la Jamestown Foundation di Washington, ha messo in luce l’uso sistematico della distillazione di modelli in istituzioni legate all’Esercito Popolare di Liberazione. I revisori hanno individuato inoltre una ventina di casi studio aggiuntivi con connessioni militari.
I documenti descrivono la cosiddetta distillazione di modelli, una tecnica che trasforma gli output di un sistema molto potente in dati di training per modelli più leggeri, eseguibili su hardware relativamente modesto.
Un paper dell’Unità 96941 dell’EPL, struttura di intelligence militare e cyberwarfare con sede a Pechino, ha descritto come il modello GPT-3.5 di OpenAI sia stato alimentato con codice sorgente militare sensibile, trattenendo solo i riassunti prodotti. Su quel materiale il team ha poi addestrato un modello domestico, così che lo strumento finale potesse operare interamente all’interno delle reti militari cinesi, senza dipendere da server esteri.
La Casa Bianca, il Pentagono, il ministero degli Esteri cinese, l’EPL e OpenAI non hanno risposto alle richieste di commento.
Da leggere anche: Infrastrutture IA, la disperata svolta da 1 mld di un payday lender per dominare i data center
Sunny Cheung: “Così si cattura il ragionamento rubato dell’IA”
Sunny Cheung, fellow della Jamestown che ha analizzato oltre 60 dei lavori esaminati, sostiene che gli scienziati militari cinesi stiano catturando in modo sistematico i passaggi di ragionamento dei modelli occidentali.
Ha spiegato ai media che questi progetti alimentano applicazioni di sorveglianza, cyberwarfare e supporto alle decisioni tattiche. Insegnare a un modello la risposta corretta è una cosa, ha detto Cheung; trasferire in un sistema più piccolo la catena di ragionamento che porta a quella risposta è molto più complesso.
Ricercatori della North University of China, ateneo collegato all’industria bellica nazionale, hanno utilizzato Claude 3 Haiku di Anthropic per generare dati sintetici di training destinati a uno strumento di monitoraggio dei social media. Anthropic ha ribadito di non fornire accesso commerciale a Claude in Cina, di gestire sistemi di monitoraggio per intercettare violazioni di policy e ha avvertito che le copie distillate possono perdere le barriere di sicurezza incorporate nel modello originario.
Limiti della distillazione e buchi nei controlli all’export
Trevor Koverko, cofondatore della società di dati per l’IA Sapien, sostiene che i modelli distillati restano comunque inferiori rispetto ai sistemi da cui derivano. Ha definito la pratica un trasferimento selettivo di capacità in un modello più economico e sotto controllo locale, piuttosto che una vera autonomia rispetto all’IA di frontiera.
Nel frattempo, governi centrali e locali in Cina hanno finanziato programmi di “lightweighting” dei modelli e di edge computing, convogliando sussidi verso software in grado di girare su droni, satelliti e altri dispositivi con risorse limitate.
La pressione su queste tecniche è cresciuta negli ultimi mesi: il segretario al Tesoro statunitense Scott Bessent ha minacciato a luglio sanzioni contro le aziende cinesi che, a giudizio del Dipartimento, fanno ricorso alla distillazione. La startup Moonshot ha smentito la scorsa settimana che il suo modello Kimi K3 utilizzi questo approccio, mentre Pechino accusa Washington di perseguire un’“egemonia dell’IA” e indica pratiche analoghe in aziende americane.
Prossimo articolo: Rumor sul primo iPhone pieghevole: 2.500 dollari, niente Face ID, niente teleobiettivo