El exinvestigador de OpenAI Nick Cammarata sostiene que alrededor del 90% de las neuronas en un gran modelo de IA cumple esencialmente una sola función, lo que cuestiona una teoría que él mismo ayudó a impulsar.
Puntos clave:
- Cammarata afirma que los ejemplos célebres de neuronas «enredadas» se interpretaron mal.
- Algunos investigadores de peso creen que el panorama general cambia poco.
- El artículo técnico que respalda estas afirmaciones aún no se ha publicado.
La auditoría de neuronas de Cammarata
Cammarata, hoy investigador en el laboratorio de interpretabilidad Goodfire, expuso sus argumentos el 15 de octubre en el ensayo «Neural Networks Are Already Clean», publicado en este análisis. Allí defiende que la mayoría de las neuronas en modelos con hasta billones de parámetros ya es legible, en contra de lo sugerido por estudios previos. La tesis ha dividido a la comunidad investigadora.
En auditorías preliminares del modelo Qwen3-32B, Goodfire estima que cerca del 90% de los “polos de neuronas” tiene una tarea principal, aproximadamente un 7% realiza dos tareas relacionadas, y solo entre un 2% y un 4% permanece sin explicación. Agentes de IA hicieron la mayor parte del análisis.
Cammarata también revisita la neurona «polisemántica» más famosa del campo, hallada en el modelo de visión InceptionV1, que parecía activarse tanto con caras de gato como con frontales de coche. Ahora la interpreta como un detector de formas en V. Figuras puntiagudas como hocicos de zorro o llamas la encienden, mientras que formas redondeadas, como la letra O, empujan su activación a valores negativos.
También te puede interesar: ¿Es legal el Roadster volador de Tesla? No habrá una respuesta clara antes de 2028
Nanda cuestiona a Cammarata
Roon, un empleado seudónimo de OpenAI que afirma ser amigo cercano de Cammarata, escribió que este trabajo podría pasar a la historia como un hito científico. Aun así, advierte que otros equipos deberán replicar y validar los resultados.
Neel Nanda, responsable del equipo de interpretabilidad en Google DeepMind, se muestra bastante más cauto. Considera que el ensayo es interesante, pero que apenas altera la visión de conjunto, y anticipa que centrarse solo en neuronas dejará ángulos muertos importantes sin cubrir. Nanda sigue convencido de que la superposición es real: sostiene que los modelos de lenguaje almacenan muchos más hechos de los que tienen neuronas, y duda de que resultados obtenidos en pequeños modelos de imagen se trasladen a sistemas de mayor escala.
Si Cammarata acierta, los investigadores podrían rastrear directamente en los circuitos del modelo señales de engaño o conductas peligrosas, en lugar de apoyarse en cadenas de razonamiento, cada vez menos fiables. Con todo, el artículo técnico que debería respaldar el ensayo sigue inédito, y Goodfire, como empresa centrada en interpretabilidad, tiene un interés directo en que esta tesis prospere.
El ensayo supone un giro notable para el propio Cammarata. En 2020 coescribió con Chris Olah «Zoom In», un trabajo que presentó el primer circuito interpretado como un caso de superposición: la idea de que, cuando faltan neuronas, las redes empaquetan conceptos no relacionados en los mismos recursos. Tres años después, un proyecto de interpretabilidad automatizada que inició en OpenAI solo logró considerar comprensible alrededor de un 1,7% de las neuronas, incluso con sus criterios más generosos.
Próximo artículo: ChatGPT supera a Claude Haiku 5.5 en pruebas 3-2, pero pierde en asesoría personalizada
