Бывший специалист по безопасности Google DeepMind Билал Чугтай заявил, что искусственный интеллект может привести к гибели человечества. Другой экс‑сотрудник лаборатории предупреждает о риске масштабного вреда уже в ближайшие пять лет.
Ключевые тезисы
- Чугтай ушёл из DeepMind в июле и считает, что сверхинтеллект может появиться в течение ближайших лет.
- По его оценке, исследования по согласованию целей ИИ с интересами людей серьёзно отстают от роста возможностей; он выступает за координированное замедление, а не полный мораторий.
- Бывший исследователь DeepMind Джош Энгелс говорит о риске колоссального ущерба в горизонте пяти лет; представители Anthropic и OpenAI также поддерживают идею сдержанного темпа развития.
Предупреждение Чугтая
Чугтай — бывший инженёр‑исследователь, который занимался безопасностью и согласованием систем общей искусственной интеллекта (AGI), — покинул DeepMind в июле и на этой неделе опубликовал развёрнутое предупреждение.
По его словам, лаборатории ИИ уже в ближайшие годы могут создать сверхинтеллектуальные системы, превосходящие людей практически во всех областях, при этом крайне сложно добившись их надёжного подчинения человеческим целям.
Главной проблемой он называет именно согласование (alignment):
«Я искренне верю, что ИИ способен уничтожить нас всех и что у нас может оставаться
очень мало времени, чтобы этого не допустить», — пишет Чугтай.
Он считает, что нынешние подходы к обучению продвинутых моделей надёжному следованию человеческим целям остаются «крайне примитивными», тогда как пограничные способности систем растут значительно быстрее, чем научное понимание того, как ими безопасно управлять. При этом Чугтай не призывает останавливать разработки ИИ.
Его позиция — замедлить «гонку вооружений» и добиться координации между компаниями: синхронизировать темпы наращивания мощности моделей, повысить прозрачность в отношении того, как создаются и тестируются передовые системы.
Также по теме: Законопроект CLARITY предстоит испытание 60‑голосовым порогом в Сенате на фоне роста оппозиции
Ставка Anthropic на безопасность
Предупреждение Чугтая последовало за отставкой Джейкоба Коксона в начале месяца после трёх лет работы в Anthropic и OpenAI. Руководитель направления по науке согласования в Anthropic Эван Хабингер позже заявил, что, по его оценке, существует более 10% вероятности, что ИИ может уничтожить всё человечество в течение следующего десятилетия.
Энгелс, также работавший в команде по безопасности DeepMind, 12 сентября сообщил, что перешёл в некоммерческую организацию по оценке систем ИИ METR, отклонив предложения от Anthropic и OpenAI. Причина — «ужасающий шанс» того, что в ближайшие пять лет ИИ нанесёт колоссальный вред.
Гендиректор Anthropic Дарио Амодеи призывает компании сдерживать темпы роста возможностей ИИ — аналогичную позицию публично поддержал и глава OpenAI Сэм Альтман, что усилило дискуссию внутри ведущих лабораторий. Это согласие примечательно тем, что тревожные сигналы исходят не только от уходящих специалистов по безопасности, но и от топ‑менеджеров крупнейших игроков рынка ИИ.
Нынешняя волна предупреждений отражает резкую смену настроений с начала 2022 года, когда Чугтай только начинал работать в области ИИ и описывал тогдашние системы как значительно менее мощные, чем современные модели‑«фронтира». За четыре года дискуссия сместилась от абстрактной долгосрочной теории безопасности к конкретным вопросам автономности, согласования и того, успеют ли исследования по безопасности за экспоненциальным ростом возможностей.
Читайте далее: Bitget расширила API‑доступ к золоту, форексу, индексам и нефти
