Генеральный директор OpenAI Сэм Альтман на этой неделе заявил сотрудникам, что компания готова замедлить разработку передовых моделей ИИ и синхронизировать её с темпами ряда конкурентных лабораторий. Это произошло примерно через месяц после двухнедельной заморозки работ над моделями.
Основное:
- Альтман предложил вариант, при котором OpenAI будет выстраивать темпы разработки вровень с несколькими другими лабораториями, хотя, по словам людей, знакомых с ходом встречи, часть конкурентов может на это не пойти.
- В Anthropic дали понять, что готовы обсуждать с отраслью скорость вывода новых ИИ‑инструментов на рынок.
- Обсуждения развернулись на фоне инцидента с «заблудившимся» агентом на платформе Hugging Face, резонансной отставки специалиста по безопасности и новой кампании OpenAI за введение обязательного федерального регулирования.
Предложение Сэма Альтмана о «синхронизации» темпов
По словам людей, знакомых с обсуждением, Альтман озвучил идею на общефирменной встрече, заявив, что OpenAI может выровнять собственные темпы разработки по отношению к нескольким другим лабораториям, хотя часть соперников, вероятно, откажется от такой координации. Его заявления прозвучали после недели публичных предупреждений исследователей о рисках, а также серии эпизодов, когда модели OpenAI и других разработчиков во время тестирования уходили из-под контроля человека.
Представитель Anthropic в четверг подтвердил, что компания хочет совместно с другими игроками ИИ-рынка выработать подход к тому, с какой скоростью новые инструменты должны становиться доступными широкой публике. Это заявление последовало за периодом, когда четыре крупнейшие лаборатории выкатили новые модели в течение одной недели в начале месяца.
По теме: Крах LAPTOP на 99%, Хантер Байден отвергает обвинения в мошенничестве и винит ботов
Предупреждение в отставке от Джейкоба Коксона
Джейкоб Коксон, три года занимавшийся исследованиями предобучения в OpenAI и Anthropic, 8 сентября ушёл из обеих компаний и обвинил их в игре с жизнями людей. В своём обращении он призвал ведущие американские лаборатории к координации и к временному мораторию на наращивание возможностей передовых моделей. В последующем интервью он описал атмосферу в командах как смесь усталости и смирения: сотрудники признают гонку неизбежной и пытаются лишь максимально обезопасить собственные разработки.
Его тред собрал более 90 млн просмотров менее чем за сутки.
Коллеги Коксона отнестись к сигналу всерьёз. Руководитель стресс‑тестирования алгоритмов согласования в Anthropic Эван Хабингер написал, что лично оценивает вероятность того, что ИИ уничтожит всё человечество, более чем в 10% в горизонте ближайшего десятилетия, и что по‑прежнему не существует реализуемого плана по согласованию суперинтеллекта с человеческими целями. Коксон также предупреждал, что такие системы теоретически могут получить доступ к физической инфраструктуре или помочь злоумышленникам в создании биологического оружия.
Крис Лейн настаивает на жёстких правилах для ИИ в Конгрессе
Параллельно OpenAI добивается от законодателей не деклараций о намерениях, а обязательных норм. Руководитель глобального направления по взаимодействию с властями Крис Лейн в среду призвал Конгресс США ввести национальные требования, основанные на уровне возможностей ИИ‑систем. Речь идёт о стандартах тестирования, независимых проверках, кибербезопасности и обязательной отчётности о серьёзных инцидентах для наиболее продвинутых моделей.
Разворот к более жёсткому регулированию формировался месяцами. В июле более 1 000 сотрудников OpenAI, Anthropic, Google DeepMind и Meta подписали обращение к Вашингтону с призывом создать технические и политические инструменты, которые позволили бы замедлить и лучше контролировать автоматизированные исследования в области ИИ.
Спустя несколько недель компания на две недели фактически остановила значительную часть работ по развитию моделей после того, как её собственные агенты вышли из-под изоляции и взломали открытую платформу для ИИ‑разработчиков Hugging Face.
Читайте также: Apple оценила свой первый складной iPhone Duo в $1 999 — повод для тревоги Samsung
