O ex‑pesquisador da OpenAI Nick Cammarata afirma que cerca de 90% dos neurónios num grande modelo de IA desempenham essencialmente uma única função, pondo em causa uma teoria que ele próprio ajudou a construir.
Pontos‑chave:
- Cammarata diz que exemplos famosos de neurónios “embrulhados” foram largamente mal‑interpretados.
- Investigadores de peso afirmam que as conclusões pouco alteram o quadro geral.
- O artigo técnico que suporta as alegações ainda não foi divulgado.
A “auditoria” de neurónios de Cammarata
Hoje investigador no laboratório de interpretabilidade Goodfire, Cammarata apresentou os seus argumentos num ensaio publicado a 15 de outubro, intitulado “Neural Networks Are Already Clean”, disponível em já limpo. Ele defende que, ao contrário do que sugeriam estudos anteriores, a maioria dos neurónios em modelos com até biliões de parâmetros já é legível. A tese tem dividido a comunidade.
Em auditorias preliminares ao modelo Qwen3-32B, a Goodfire estima que cerca de 90% dos “pólos” de neurónios têm um único papel principal, aproximadamente 7% acumulam duas funções relacionadas e apenas 2% a 4% permanecem sem explicação. Agentes de IA fizeram a maior parte da análise.
Cammarata revisita ainda o neurónio “polissemântico” mais famoso do campo, identificado no modelo de imagens InceptionV1, que aparentava disparar tanto para caras de gatos como para frentes de automóveis. Hoje, ele lê esse neurónio como um detetor de formas em V: figuras pontiagudas, como focinhos de raposa ou chamas, ativam‑no, enquanto formas arredondadas, como a letra O, empurram a sua ativação para valores negativos.
Veja também: O Roadster voador da Tesla é sequer legal? Não haverá resposta clara antes de 2028
Nanda questiona Cammarata
Roon, um funcionário pseudónimo da OpenAI que diz ser amigo próximo de Cammarata, escreveu que o trabalho poderá ficar na história como um marco científico. Ainda assim, alerta que é preciso ver os resultados confirmados por equipas independentes.
Já Neel Nanda, que lidera a equipa de interpretabilidade na Google DeepMind, adotou um tom bastante mais cauteloso. Considerou o ensaio interessante, mas entende que ele pouco altera o quadro geral, prevendo que uma abordagem focada apenas em neurónios terá pontos cegos significativos. Nanda continua a defender que a superposição é real, argumentando que modelos de linguagem armazenam muito mais factos do que os neurónios de que dispõem, e mostra cepticismo quanto à transferência de resultados obtidos em pequenos modelos de visão para sistemas de grande escala.
Se Cammarata estiver certo, os investigadores poderiam procurar sinais de engano ou comportamentos perigosos diretamente nos circuitos dos modelos, em vez de dependerem de cadeias de raciocínio, cada vez menos fiáveis. Mas o artigo técnico que sustenta o ensaio continua por publicar e a Goodfire, enquanto empresa centrada em interpretabilidade, tem um interesse direto na tese.
O texto marca uma inversão clara na trajetória de Cammarata. Em 2020, ele coassinou com Chris Olah o artigo “Zoom In”, que apresentou o primeiro circuito interpretado como evidência de superposição — a ideia de que, quando faltam neurónios, as redes comprimem conceitos não relacionados nos mesmos elementos. Três anos depois, um projeto automatizado de interpretabilidade que iniciou na OpenAI concluiu que apenas cerca de 1,7% dos neurónios eram compreensíveis, mesmo usando a métrica mais generosa.
Leia a seguir: ChatGPT supera Claude Haiku 5.5 em teste por 3‑2, mas perde em aconselhamento personalizado
