O ex-pesquisador da OpenAI Nick Cammarata defende que cerca de 90% dos neurônios em um grande modelo de IA têm uma função principal, o que enfraquece uma teoria que ele próprio ajudou a construir.
Pontos-chave:
- Cammarata afirma que exemplos famosos de neurônios “embolados” foram amplamente interpretados de forma errada.
- Pesquisadores de peso dizem que, apesar dos achados, o quadro geral quase não muda.
- O artigo técnico que embasa as alegações ainda não foi divulgado.
A “auditoria” de neurônios de Cammarata
Hoje pesquisador do laboratório de interpretabilidade Goodfire, Cammarata expôs seus argumentos em 15 de outubro, em um ensaio intitulado “Neural Networks Are Already Clean”, publicado no site da empresa. No texto, ele sustenta que a maior parte dos neurônios em modelos com até trilhões de parâmetros já é legível, em contraste com o que estudos anteriores sugeriam. A tese vem dividindo a comunidade acadêmica.
Em auditorias preliminares do modelo Qwen3-32B, a Goodfire estima que cerca de 90% dos “pólos” de neurônios exercem uma função principal, aproximadamente 7% acumulam duas funções relacionadas e apenas entre 2% e 4% seguem sem explicação. A maior parte da análise foi conduzida por agentes de IA.
Cammarata também revisita o neurônio “polissemântico” mais famoso da área, identificado no modelo de visão InceptionV1, que parecia disparar tanto para rostos de gatos quanto para a dianteira de carros. Agora, ele interpreta esse neurônio como um detector de formas em V: contornos pontiagudos, como focinhos de raposa e chamas, o ativam, enquanto formas arredondadas, como a letra O, empurram sua ativação para valores negativos.
Veja também: O Roadster voador da Tesla é sequer legalizado? Não deve haver resposta clara antes de 2028
Nanda faz contrapontos a Cammarata
Roon, funcionário anônimo da OpenAI que se diz amigo próximo de Cammarata, escreveu que o trabalho pode entrar para a história da ciência. Ainda assim, ele ressalva que os resultados precisam ser replicados por outros grupos.
Neel Nanda, que lidera a equipe de interpretabilidade na Google DeepMind, adotou um tom bem mais cauteloso. Ele avaliou que o ensaio é interessante, mas não altera substancialmente o panorama atual, e prevê que estudar apenas neurônios deixará pontos cegos importantes. Nanda segue convencido de que a superposição é real, argumentando que modelos de linguagem armazenam muito mais fatos do que o número de neurônios disponível, e duvida que resultados de pequenos modelos de visão se estendam para sistemas de grande porte.
Se Cammarata estiver certo, pesquisadores poderiam buscar sinais de enganação ou comportamentos perigosos diretamente nos circuitos internos dos modelos, em vez de depender tanto de cadeias de raciocínio em linguagem natural, que se tornam cada vez menos confiáveis. Ainda assim, o artigo técnico que acompanha o ensaio não foi divulgado, e a própria Goodfire, como empresa de interpretabilidade, tem interesse direto em sustentar essa tese.
O ensaio representa uma guinada para Cammarata. Em 2020, ele coassinou com Chris Olah o artigo “Zoom In”, que apresentou o primeiro circuito interpretado como superposição — a ideia de que redes com poucos neurônios comprimem conceitos não relacionados nos mesmos elementos. Três anos depois, um projeto automatizado de interpretabilidade que ele iniciou na OpenAI encontrou apenas cerca de 1,7% dos neurônios como “compreensíveis”, mesmo adotando um critério bastante generoso.
Leia a seguir: ChatGPT supera Claude Haiku 5.5 em teste por 3 a 2, mas perde em recomendações personalizadas
