Исследователь Anthropic Джейкоб Коксон на этой неделе ушёл из компании из‑за страха перед неконтролируемым ИИ. Руководитель по науке о согласовании моделей (alignment) в Anthropic ответил на это заявлением, что риск полного вымирания человечества из‑за ИИ в ближайшее десятилетие превышает 10%.
Главное
- Джейкоб Коксон покинул Anthropic после трёх лет исследований предобучения моделей в Anthropic и OpenAI, заявив, что обе компании ведут гонку к системам, которыми не смогут управлять.
- Руководитель направления alignment в Anthropic Ивэн Хабингер оценил личную вероятность того, что ИИ уничтожит всё человечество, более чем в 10% в течение ближайших десяти лет.
- Хабингер считает нынешние модели относительно малорискованными и концентрирует опасения на сценарии рекурсивного самосовершенствования ИИ.
Джейкоб Коксон уходит из Anthropic из‑за гонки вооружений в ИИ
27‑летний Коксон провёл около трёх лет, занимаясь предобучением моделей в OpenAI и Anthropic, прежде чем объявил об уходе в серии сообщений в X ранним утром в среду. Он написал, что ни одна из компаний не ведёт себя ответственно и что обе мчатся к самоулучшающемуся суперинтеллекту, играя жизнями людей. Стартовое сообщение набрало более 19 млн просмотров за несколько часов.
В отдельном интервью он предупредил, что реализуется один из самых агрессивных сценариев развития ИИ и что ситуация может выйти из‑под контроля уже к концу следующего года. По его словам, коллеги всё чаще используют термины вроде «crunchtime» и «endgame», описывая текущую траекторию индустрии.
Коксон имеет математическое образование и перешёл к обучению крупных моделей после университета. Ранее в этом году он покинул OpenAI ради Anthropic, рассчитывая на более жёсткий акцент компании на безопасности. Однако, по его мнению, компромиссы по безопасности неизбежны, как только между лабораториями начинается гонка. Теперь он утверждает, что ни одна компания не может ответственно создавать ИИ уровня человека без вмешательства государства или согласованного замедления темпов разработок по всей отрасли.
Также по теме: Цена XRP нацелилась на $1,46 на фоне возобновления накопления «китов» в сентябре
Ивэн Хабингер оценивает риск вымирания более чем в 10%
Ивэн Хабингер, возглавляющий направление научных исследований по согласованию моделей в Anthropic и проводящий стресс‑тесты систем компании, заявил в ответ, что Коксон «точно описал ситуацию». Он оценил, что вероятность полного уничтожения людей ИИ превышает 10% в горизонте ближайших десяти лет.
По словам Хабингера, Anthropic «делает всё возможное», однако у компании нет готового плана по решению проблемы alignment для суперинтеллекта, и нет уверенности, что она движется к такому решению. Позже он уточнил, что в отношении нынешних моделей риски относительно невелики. Основная же его тревога связана с появлением суперинтеллекта через рекурсивное самосовершенствование — когда системы начинают обучать и улучшать собственных преемников.
Оценка Хабингера — его личное мнение, а не официальный прогноз Anthropic. Подобные цифры опираются на целый ряд спорных допущений о будущих возможностях ИИ и сценариях его внедрения. При этом Anthropic публично заявляла, что рекурсивное самосовершенствование не является гарантированным исходом, однако оно может наступить быстрее, чем институты успеют подготовиться, и резко увеличить вероятность потери людьми контроля над системами.
Уходы из команды безопасности Anthropic набирают обороты
Коксон — не первый специалист по безопасности, который покидает Anthropic. Ранее в этом году компанию оставил Мринанк Шарма, возглавлявший одну из команд, отвечающих за защитные механизмы. Он заявил, что мир находится «под угрозой», и сообщил, что намерен заняться изучением поэзии в Великобритании.
Anthropic, основанная в 2021 году выходцами из OpenAI, выстроила репутацию вокруг исследований безопасности ИИ. По состоянию на утро среды компания публично не комментировала уход Коксона.
Читайте далее: Bitget добавляет уроки по блокчейну в программу ЮНИСЕФ, охватывающую более 642 000 участников
