Бывший исследователь OpenAI Ник Каммарата утверждает, что порядка 90% нейронов в крупных моделях искусственного интеллекта выполняют одну основную функцию — и тем самым фактически опровергает теорию, к созданию которой сам же приложил руку.
Ключевые моменты:
- Каммарата считает, что знаменитые примеры «запутанных» нейронов в прошлом в значительной степени интерпретировали неверно.
- Ряд ведущих исследователей полагает, что новые результаты мало меняют общую картину.
- Техническая статья, которая должна обосновать выводы, пока не опубликована.
«Аудит» нейронов от Каммараты
Сейчас Каммарата работает исследователем в лаборатории интерпретируемости Goodfire и 15 октября в эссе «Neural Networks Are Already Clean» изложил свои аргументы. По его словам, большинство нейронов в моделях с числом параметров до триллиона сегодня уже «читаемы» — вопреки ранним работам в области интерпретируемости. Эти выводы уже успели разделить сообщество.
В предварительном анализе модели Qwen3-32B в Goodfire оценили, что примерно у 90% нейронных «полюсов» есть одна основная функция, около 7% выполняют две взаимосвязанные задачи, а лишь 2–4% остаются необъяснимыми. Значительную часть работы по разбору структуры модели проводили сами ИИ-агенты.
Каммарата также возвращается к, пожалуй, самому известному «полисемантическому» нейрону в отрасли — в архитектуре InceptionV1 для обработки изображений. Ранее казалось, что он одновременно реагирует и на морды кошек, и на передние части автомобилей. Теперь исследователь трактует его как детектор V‑образных форм: заострённые контуры, вроде лисьих морд или языков пламени, активируют нейрон, тогда как округлые формы, например буква O, уводят его активацию в минус.
Материал по теме: Законен ли летающий Roadster Tesla? Чёткого ответа не будет до 2028 года
Нанда ставит под сомнение выводы Каммараты
Псевдонимный сотрудник OpenAI Roon, который называет себя близким другом Каммараты, написал, что эта работа может войти в историю науки как веха. При этом он подчёркивает: результаты ещё предстоит независимо подтвердить.
Гораздо более сдержанно высказался Нил Нанда, глава команды по интерпретируемости в Google DeepMind. По его мнению, эссе любопытно, но мало меняет общую картину. Нанда ожидает, что фокус только на отдельных нейронах неизбежно оставит «слепые зоны». Он по‑прежнему считает феномен суперпозиции реальным: языковые модели, полагает он, хранят существенно больше фактов, чем имеют нейронов, а выводы из небольших моделей для изображений вряд ли напрямую переносятся на куда более крупные системы.
Если Каммарата окажется прав, исследователи потенциально смогут искать признаки обмана или опасного поведения непосредственно в «цепях» модели, а не полагаться на рассуждения в формате chain-of-thought, которым всё сложнее доверять. Но пока сопутствующая техническая статья так и не опубликована, а сама Goodfire, как компания, встроенная в рынок интерпретируемости, очевидно заинтересована в подтверждении собственной гипотезы.
Эссе стало для Каммараты резким разворотом. В 2020 году он совместно с Крисом Олахом опубликовал работу «Zoom In», где описал первый «контур», который исследователи трактовали как суперпозицию — идею о том, что нейросети с дефицитом нейронов «упаковывают» в один нейрон несколько несвязанных концепций. Спустя три года автоматизированный проект по интерпретируемости, запущенный Каммаратой в OpenAI, смог распознать лишь около 1,7% нейронов, если использовать наиболее мягкий критерий понятности.
Читать далее: ChatGPT обошёл Claude Haiku 5.5 со счётом 3:2, но уступил в персонализированных рекомендациях
