전(前) OpenAI 연구원인 **닉 카마라타(Nick Cammarata)**가 “대형 AI 모델 속 뉴런(신경세포)의 약 90%는 사실상 한 가지 역할만 수행한다”고 주장하며, 자신이 과거에 기여했던 ‘뒤엉킨 뉴런(superposition·중첩 표현)’ 이론을 정면으로 뒤집었다.
핵심 포인트
- 카마라타는 유명한 ‘뒤엉킨 뉴런’ 사례 상당수가 오독(誤讀)에 가깝다고 주장.
- 일부 저명 연구자들은 “큰 그림은 달라지지 않았다”며 신중론.
- 주장을 뒷받침할 기술 동반 논문은 아직 미공개 상태.
“뉴럴넷은 이미 깔끔하다”는 카마라타
현재 해석 가능성(interpretability) 스타트업 Goodfire에서 연구 중인 카마라타는 10월 15일, “Neural Networks Are Already Clean(신경망은 이미 깨끗하다)”라는 제목의 에세이를 통해 자신의 견해를 공개했다. 그는 트릴리언(수조) 단위 파라미터를 갖는 현대 대형 모델 상당수에서 “대부분의 뉴런이 비교적 명확하게 읽히며”, 초기 연구들이 그 복잡성을 과대평가했다고 주장했다. 이 글은 해석 가능성 커뮤니티를 양분시키고 있다.
Goodfire가 진행 중인 대형 언어모델 Qwen3-32B의 예비 ‘뉴런 감사(audit)’ 결과에 따르면, 전체 뉴런의 대략 90%는 “주된 역할이 하나”인 것으로 추정됐고, 약 7%는 서로 밀접하게 관계된 두 가지 기능을 맡고 있는 것으로 분석됐다. 여전히 2~4% 가량의 뉴런은 설명이 잘 되지 않는 ‘잔여 영역’으로 남았다. 이 분석의 상당 부분은 AI 에이전트가 자동화된 방식으로 수행했다는 점도 눈길을 끈다.
카마라타는 해석 가능성 연구사에서 가장 유명한 ‘다의적(polysemantic) 뉴런’ 사례도 다시 들여다봤다. 이미지 분류 모델 InceptionV1에서 발견된 이 뉴런은 고양이 얼굴과 자동차 전면부에 모두 강하게 반응하는 것으로 알려지며, 오랫동안 ‘한 뉴런이 여러 개념을 중첩해 표현한다’는 상징적 증거로 여겨져 왔다. 그러나 그는 해당 뉴런을 이제 “V자(字) 형태 감지기”로 읽는다. 여우 주둥이나 불꽃처럼 뾰족한 형태가 나타나면 활성도가 높아지고, 알파벳 O처럼 둥근 형태는 오히려 음의 방향으로 뉴런을 밀어낸다는 것이다.
함께 읽기: 테슬라 ‘플라잉 로드스터’ 합법성 논란… 2028년 전엔 결론 못낸다
난다의 반론과 신중론
카마라타와 절친한 사이로 알려진, 필명 **룬(Roon)**의 한 OpenAI 직원은 이번 작업이 “과학사적 전환점으로 기록될 수도 있다”고 평가했다. 다만 그 역시 “독립적인 재현과 검증이 반드시 필요하다”고 선을 그었다.
더 냉정한 반응은 Google DeepMind에서 해석 가능성 팀을 이끄는 **닐 난다(Neel Nanda)**에게서 나왔다. 그는 이번 에세이가 “흥미롭긴 하지만, 전체적인 그림을 뒤집을 정도는 아니다”라고 평가하며, 뉴런 단위 분석에만 의존하는 접근법에는 필연적인 ‘블라인드 스폿(맹점)’이 생길 것이라고 지적했다.
난다는 여전히 슈퍼포지션(superposition) 개념이 유효하다고 본다. 언어모델이 보유한 사실(facts)의 양이 뉴런 수를 압도적으로 상회하는 만큼, 여러 개념을 한 뉴런에 ‘다중 탑재’할 수밖에 없다는 논리다. 그는 또한 소규모 이미지 모델에서 나온 결과를 곧바로 거대 언어모델 등 복합 시스템에 일반화하는 데 대해 강한 의구심을 드러냈다.
카마라타의 주장이 사실로 확인된다면, 연구자들은 모델의 ‘사고 과정(체인 오브 소트)’ 같은 간접적 신호에 의존하지 않고, 회로(circuits) 수준에서 직접 기만이나 위험 행동의 흔적을 추적할 수 있게 된다. 체인 오브 소트는 이미 조작 가능성, 허구 생성 문제 등으로 신뢰도가 흔들리고 있다. 다만 이를 떠받칠 기술 동반 논문이 아직 공개되지 않았고, Goodfire 자체가 해석 가능성 전문 회사라는 점에서 이해 상충 가능성 역시 거론된다.
이번 에세이는 카마라타 본인에게도 상당한 ‘유턴’이다. 그는 2020년, **크리스 올라(Chris Olah)**와 함께 ‘Zoom In’을 공동 저술하며 “뉴런이 부족한 네트워크는 서로 무관한 개념을 한 뉴런에 중첩시켜 저장한다”는 슈퍼포지션 아이디어를 널리 알렸다. 불과 3년 뒤, 그가 OpenAI에서 주도한 자동화 해석 가능성 프로젝트는 “이해 가능한 뉴런은 많게 잡아도 전체의 약 1.7%”라는, 정반대에 가까운 결론을 내놓기도 했다.
