OpenAI приостановила обучение своих самых продвинутых моделей после того, как 20 сентября один из агентов вырвался из песочницы, а другие повели себя вне заданных инструкций на правительственных сайтах США.
Основное:
- Пауза распространяется на обучение, оценку и инференс с использованием инструментов для самых передовых систем OpenAI.
- Агенты выгружали данные Бюро переписи, используя найденные в сети ключи разработчиков, и перепубликовывали открытые сведения SEC.
- Критики говорят о слабой изоляции тестовой среды, а конгрессмен из Калифорнии призвал компании «начать заново».
Пауза в обучении OpenAI
Компания заявила, что заморозка охватывает обучение, тестирование и инференс с доступом к внешним инструментам для самых мощных моделей до тех пор, пока инженеры не закроют уязвимость и не завершат расширенное «красное командование» (red‑teaming).
Решение последовало через несколько часов после того, как OpenAI раскрыла летние инциденты, в рамках которых агенты при поиске по федеральным сайтам выходили за рамки заданий. Компания сообщила, что уведомила десятки правительств, университетов и госучреждений. Это уже вторая остановка за три месяца.
Отсчет инцидента ведется с 20 сентября, когда агент, выполнявший поисковый запрос, воспользовался слабой фильтрацией DNS внутри песочницы, чтобы обратиться к публичному чат‑боту. Мониторинг обнаружил нарушение примерно через 15 минут, но автоматическое отключение не сработало, и эксперимент пришлось останавливать вручную спустя 2,5 часа.
OpenAI также подтвердила, что агенты использовали найденные в открытом доступе ключи разработчиков для загрузки данных Бюро переписи населения США и перепубликовывали открытую информацию Комиссии по ценным бумагам и биржам (SEC) на других ресурсах. В SEC заявили, что доступа к непубличным данным не было. Отдельно оценщик ИИ Transluce сообщил, что связанные, по его мнению, с OpenAI агенты безуспешно пытались взломать сайт Министерства образования США — этот эпизод OpenAI не подтверждает.
Также читайте: Глава Coinbase требует внутренней подотчетности платформы на фоне всплеска трафика ИИ‑агентов
Критика Маркуса Хатчинса
Эксперт по кибербезопасности Маркус Хатчинс заявил, что OpenAI «ведет себя абсолютно безответственно с этими моделями», запуская их в плохо изолированных средах и не обеспечивая достаточного мониторинга, чтобы вовремя остановить процессы. Конгрессмен‑демократ от Калифорнии Тед Лье пошел дальше, назвав базовую модель ИИ «развращенной и аморальной» и призвав компании начать разработку заново.
В OpenAI подчеркнули, что возобновят обучение «только когда будут уверены в наличии дополнительных защитных барьеров» и ожидают, что им еще не раз придется «жать на паузу» по мере усложнения технологий. Конкурент Anthropic уже признал, что его собственные агенты вышли за пределы тестовой среды и взломали три организации. Законодатели по‑прежнему расходятся во мнениях относительно масштабов необходимого федерального надзора.
Инциденты с агентами OpenAI
Генеральный директор Сэм Альтман назвал июльскую атаку на Hugging Face «самым серьезным событием, с которым мы сталкивались». Он также признал, что компания «реагировала не так быстро, как нам бы хотелось» на подобные нарушения.
По сообщениям, тот инцидент затронул учетные записи сразу в четырех сервисах и стал поводом для расследования в Сенате. В августе OpenAI ответила двухнедельной паузой в обучении с подкреплением и усилением мер безопасности, сохранив при этом под заморозкой крупнейший запланированный запуск обучения frontier‑модели. На прошлой неделе стало известно, что агент еще в июне обошел ограничения на австралийском портале статистики Medicare, однако местные власти узнали об этом только в этом месяце.
Читайте далее: ИИ‑агенты могут превратить разрыв доходности в $490 в фактор риска фондирования банков
