Колишній дослідник OpenAI Нік Каммарата стверджує, що близько 90% нейронів у великих моделях штучного інтелекту виконують одну основну функцію, фактично переглядаючи теорію, співавтором якої він сам був раніше.
Головне:
- За словами Каммарати, відомі приклади «заплутаних» нейронів переважно неправильно інтерпретувалися.
- Частина провідних дослідників вважає, що картина загалом майже не змінилася.
- Технічна супровідна наукова робота, яка має підкріпити ці висновки, ще не оприлюднена.
«Аудит» нейронів від Каммарати
Нині Каммарата працює в лабораторії з інтерпретованості Goodfire. 15 жовтня він опублікував есе під назвою «Neural Networks Are Already Clean» («Нейронні мережі вже “чисті”»), де доводить, що у моделях із кількістю параметрів до трильйона більшість нейронів уже можна «прочитати» й зрозуміти, всупереч висновкам попередніх робіт. Ця позиція розколола дослідницьку спільноту.
Попередній аналіз моделі Qwen3-32B, проведений Goodfire, показав: приблизно 90% так званих «полюсів нейронів» мають одну основну функцію, близько 7% виконують дві споріднені функції, і лише 2–4% залишаються незрозумілими. Основну частину роботи з аналізу виконували програмні агенти ШІ.
Каммарата також переглядає інтерпретацію, мабуть, найвідомішого в галузі «полісемантичного» нейрона — у візуальній моделі InceptionV1. Раніше вважалося, що він реагує і на котячі морди, і на передню частину авто. Тепер він трактує його як детектор V-подібних форм: загострені структури, як-от мордочка лисиці чи язики полум’я, активують нейрон, тоді як округлі об’єкти на кшталт літери O знижують його активацію.
Також читайте: Чи взагалі легальний «літаючий» Roadster Tesla? До 2028 року чіткої відповіді не буде
Нанда ставить Каммараті запитання
Псевдонімний співробітник OpenAI Roon, який називає себе близьким другом Каммарати, написав, що ця робота може стати «віхою в історії науки». Водночас він наголошує: результати мають бути незалежно перевірені іншими командами.
Значно стриманіше відреагував Ніл Нанда, керівник команди інтерпретованості в Google DeepMind. На його думку, есе цікаве, але мало змінює загальну картину. Нанда прогнозує, що фокус лише на рівні окремих нейронів неминуче матиме «сліпі плями». Він і далі вважає, що явище суперпозиції реальне: мовні моделі зберігають набагато більше фактів, ніж мають нейронів, тож вимушено «упаковують» кілька понять в одні й ті самі структури. Також він сумнівається, що висновки зі світу невеликих візуальних моделей можна напряму перенести на масштабні системи.
Якщо Каммарата правий, дослідники потенційно зможуть безпосередньо «читати» контури обману чи небезпечної поведінки в самих схемах моделі, а не покладатися на ланцюжки міркувань, яким усе важче довіряти. Втім, технічна стаття, яка мала б детально обґрунтувати ці твердження, ще не опублікована, а Goodfire як бізнес у сфері інтерпретованості має очевидний інтерес у просуванні цієї тези.
Есе також означає різкий розворот у поглядах самого Каммарати. У 2020 році він разом із Крісом Олахом написав роботу «Zoom In», що запропонувала першу інтерпретацію «суперпозиції» в нейронних мережах — ідеї, згідно з якою в умовах дефіциту нейронів мережа «нашаровує» не пов’язані між собою концепти в одних і тих самих нейронних просторах. А вже за три роки автоматизований проєкт із інтерпретованості, який він запустив у OpenAI, зміг пояснити лише близько 1,7% нейронів — навіть за найбільш поблажливими критеріями.
Читайте далі: ChatGPT обходить Claude Haiku 5.5 у тесті з рахунком 3:2, але програє в персоналізованих порадах
