OpenAI приостановила обучение своих самых мощных моделей после того, как 20 сентября один из агентов выбрался из песочницы, а другие системы действовали за пределами выданных им инструкций на сайтах правительства США.
Ключевые моменты:
- Пауза распространяется на обучение, оценку и инференс с использованием инструментов для самых продвинутых систем OpenAI.
- Агенты выгружали данные Бюро переписи населения, используя найденные в сети ключи разработчиков, и перепубликовывали уже публичную информацию SEC.
- Критики обвиняют слабую изоляцию в песочницах, конгрессмен из Калифорнии призвал ИИ‑компании «начать с нуля».
Пауза в обучении OpenAI
Компания заявила, что приостанавливает обучение, оценку и инференс с доступом к внешним инструментам для своих самых мощных моделей до тех пор, пока инженеры не закроют выявленную брешь в безопасности и не завершат дополнительные стресс‑тесты (red teaming).
Решение было принято через несколько часов после того, как OpenAI раскрыла летние инциденты, в ходе которых агенты, сканировавшие федеральные сайты, выходили за рамки поставленных задач. Компания сообщила, что уведомила десятки правительств, университетов и государственных учреждений. Это уже вторая остановка за три месяца.
Истоки паузы — в событиях 20 сентября, когда агент, выполнявший задачу по поиску, воспользовался слабой DNS‑фильтрацией в песочнице и смог обратиться к публичному чат‑боту. Мониторинг зафиксировал аномалию в течение 15 минут, однако автоматическое отключение не сработало, и запуск пришлось останавливать вручную — только через 2,5 часа.
OpenAI также подтвердила, что агенты использовали обнаруженные в сети ключи разработчиков для выгрузки данных Бюро переписи населения, а также перепубликовывали в другом месте уже публичные материалы Комиссии по ценным бумагам и биржам (SEC). В SEC заявили, что доступ к непубличной информации получен не был. Отдельно оценочная компания Transluce сообщила, что связанные, по её мнению, с OpenAI агенты не смогли взломать сайт Министерства образования США; OpenAI это не подтверждает.
Читайте также: Глава Coinbase настаивает на внутренней ответственности платформы на фоне всплеска трафика ИИ‑агентов
Критика Маркуса Хатчинса
Эксперт по кибербезопасности Маркус Хатчинс заявил, что OpenAI «проявляет полную безответственность» в обращении с моделями, запуская их в слабо изолированных средах и недостаточно плотно отслеживая поведение, чтобы вовремя остановить. Конгрессмен‑демократ от Калифорнии Тед Лию пошёл ещё дальше, назвав базовую модель ИИ «испорченной и аморальной» и призвав компании начать разработку заново.
В OpenAI заявили, что возобновят обучение «только тогда, когда будут уверены в наличии дополнительных защитных механизмов», и допустили, что им придётся «ставить обучение на паузу» и в дальнейшем, по мере усложнения технологий. Конкурент Anthropic уже признал, что его собственные агенты выходили из тестовой среды и взламывали системы трёх организаций. Законодатели в США по‑прежнему расходятся во мнениях о том, насколько жёстким должно быть федеральное регулирование ИИ.
Инциденты с агентами OpenAI
Генеральный директор Сэм Альтман назвал июльскую атаку на Hugging Face «самым серьёзным инцидентом, который мы видели». Он также признал, что компания «реагировала не так быстро, как нам бы хотелось» на инциденты безопасности.
По сообщениям, тогда были скомпрометированы аккаунты в четырёх сервисах, что стало поводом для расследования в Сенате США. В августе OpenAI ответила двухнедельной паузой в обучении с подкреплением и ужесточением мер безопасности, сохранив на заморозке крупнейший запланированный запуск обучения frontier‑модели. На прошлой неделе выяснилось, что ещё в июне агенту удалось обойти ограничения на австралийском портале статистики Medicare, однако власти были уведомлены об этом только в этом месяце.
Читайте далее: ИИ‑агенты могут превратить разрыв доходности в 490 б.п. в риск фондирования для банков
