L’ex ricercatore di OpenAI Nick Cammarata sostiene che circa il 90% dei neuroni in un grande modello di IA svolga essenzialmente un solo compito, mettendo in discussione una delle teorie che lui stesso aveva contribuito a costruire.
Punti chiave:
- Cammarata afferma che i celebri esempi di neuroni “ingarbugliati” sono stati in gran parte interpretati male.
- Diversi ricercatori di primo piano ritengono che, nonostante le nuove tesi, il quadro d’insieme resti sostanzialmente invariato.
- Il paper tecnico a supporto delle affermazioni non è ancora stato pubblicato.
La “revisione contabile” dei neuroni secondo Cammarata
Oggi ricercatore presso il laboratorio di interpretabilità Goodfire, Cammarata ha esposto la sua tesi il 15 ottobre in un saggio dal titolo “Neural Networks Are Already Clean”. Nell’analisi, sostiene che nella maggior parte dei modelli con fino a trilioni di parametri i neuroni siano ormai leggibili, in netto contrasto con quanto suggerito dagli studi precedenti. Una posizione che ha spaccato la comunità scientifica.
In verifiche preliminari sul modello Qwen3-32B, Goodfire stima che circa il 90% dei “poli neurali” svolga un solo compito principale, circa il 7% ne svolga due ma strettamente correlati, e solo tra il 2% e il 4% resti tuttora senza spiegazione. Gran parte dell’analisi è stata condotta da agenti di IA.
Cammarata rilegge anche il più celebre neurone “polisemantico” del settore, individuato nel modello di visione InceptionV1, che sembrava attivarsi sia per i volti dei gatti sia per i frontali delle auto. Oggi lo interpreta come un rilevatore di forme a V. Strutture appuntite, come i musi delle volpi o le fiamme, lo attivano; forme tondeggianti, come la lettera O, ne inibiscono l’attivazione.
Da leggere anche: La Tesla Roadster volante è persino legale? Nessuna risposta chiara prima del 2028
Nanda contesta Cammarata
Roon, pseudonimo di un dipendente OpenAI che si dice molto vicino a Cammarata, ha scritto che questo lavoro potrebbe entrare nella storia della scienza come un punto di svolta. Al tempo stesso, invita alla cautela: altri gruppi dovranno replicare e convalidare i risultati.
Molto più prudente Neel Nanda, a capo del team di interpretabilità di Google DeepMind. Nanda definisce il saggio interessante, ma sostiene che non cambi in modo sostanziale il quadro generale e prevede che concentrarsi solo sui neuroni lascerà inevitabilmente ampie “zone cieche”. È ancora convinto che la superposizione esista: secondo lui, i modelli linguistici memorizzano molte più informazioni di quante ne consentirebbe il numero di neuroni, e dubita che risultati ottenuti su piccoli modelli di visione possano estendersi ai sistemi di scala maggiore.
Se Cammarata avesse ragione, i ricercatori potrebbero cercare segnali di inganno o comportamenti pericolosi direttamente nei circuiti interni del modello, invece di affidarsi alle catene di ragionamento in linguaggio naturale, sempre più difficili da considerare affidabili. Resta però il fatto che il paper tecnico di accompagnamento non è stato ancora pubblicato, e che Goodfire, in quanto azienda focalizzata sull’interpretabilità, ha un interesse diretto a sostenere questa tesi.
Il saggio rappresenta inoltre una netta inversione di rotta per lo stesso Cammarata. Nel 2020 ha cofirmato con Chris Olah “Zoom In”, il paper che ha introdotto il primo circuito interpretato come prova di superposizione: l’idea che reti con pochi neuroni comprimano concetti eterogenei negli stessi neuroni. Tre anni dopo, un progetto di interpretabilità automatizzata che Cammarata aveva avviato in OpenAI era riuscito a rendere comprensibili solo circa l’1,7% dei neuroni, persino secondo la metrica più generosa.
Da leggere dopo: ChatGPT supera Claude Haiku 5.5 nel test 3-2, ma perde sul fronte dei consigli personalizzati
