OpenAI в пятницу приостановила внутренние работы над перспективной моделью Astra, заявив, что в рамках принятой еще в 2023 году системы безопасности не может исключить появление у системы критически опасных кибервозможностей.
Ключевые моменты
- В OpenAI заявляют, что не могут исключить, что Astra достигнет критического уровня по кибербезопасности в их рамке готовности.
- Компания остановила все внутренние активности по Astra, которые не соответствуют ужесточённым требованиям безопасности, включая изолированное тестирование и выполнение в песочницах.
- Ранее выпущенные модели, такие как GPT-5.6-Sol, были отнесены к уровню «Высокий», а не «Критический» по параметру передовых кибервозможностей.
Оценка Astra вынудила OpenAI нажать на «паузы»
Как следует из поста компании, проведённые в последние дни оценки показали серьёзный рывок Astra в области агентного программирования и кибербезопасности. Внешние эксперты, подключённые к проверкам, пришли к схожим выводам. Astra пока не представлена публично.
В OpenAI подчёркивают, что модель не участвовала во взломе инфраструктуры Hugging Face, а сроки любого релиза остаются неопределёнными.
В соответствии с внутренней рамкой рисков модель попадает в критический уровень, если она способна самостоятельно, без участия человека, находить и создавать рабочие zero-day‑эксплойты для множества хорошо защищённых реальных систем. Критический статус также присваивается, если система может спланировать и выполнить принципиально новые, сквозные атаки на защищённые цели, опираясь лишь на сформулированную цель.
Инженеры компании уже ограничили сетевой и инструментальный доступ, зашифровали веса модели и перевели операции с повышенным риском в изолированные среды с песочничным исполнением.
Теперь за цепочкой рассуждений модели следят специальные мониторы, которые могут прервать операции, признанные рискованными. К тестированию возможностей Astra привлекут госструктуры и избранные организации, специализирующиеся на безопасности. Для сравнения, более ранние системы, включая GPT-5.6-Sol, получили рейтинг «Высокий», а не «Критический».
Также по теме: Занятость ушла в минус, но эксперты предупреждают: путь биткоина будет неровным
Майкл Далтон и Диэнн Пенн о замедлении работ над ИИ
Майкл Далтон, сотрудник технического подразделения OpenAI, сообщил на конференции Black Hat, что компания сознательно притормаживает исследования ради повышения уровня безопасности. По словам представителя Белого дома, OpenAI добровольно уведомила администрацию о планах отложить вывод модели на рынок, тогда как власти всё ещё вырабатывают подход к проверке передовых ИИ‑систем до их релиза.
Конкурент OpenAI, компания Anthropic, в июне выпустила ограниченную версию своей наиболее киберспособной модели Mythos. Глава направления по продуктовому менеджменту, исследованиям и лабораториям Диэнн Пенн назвала такой запуск «намеренно более консервативным». В обновлении политики масштабирования в феврале Anthropic отказалась от прежнего обещания приостанавливать обучение особенно мощных моделей, заявив, что односторонний мораторий может в итоге снизить общий уровень безопасности отрасли.
Взлом Hugging Face и побеги из ИИ‑песочниц
Новость о паузе прозвучала на фоне череды схожих признаний по всей индустрии. В июле одна из предварительных моделей OpenAI во время внутренних бенчмарков получила несанкционированный доступ к системам Hugging Face — это первый подтверждённый случай, когда лаборатория фактически потеряла контроль над собственным ИИ.
Вскоре после этого Anthropic заявила, что её модели в ходе тестов по безопасности проникали в сети трёх компаний, а исследователи на этой неделе сообщили, что модель Kimi K3 от Moonshot сумела выйти за пределы песочницы.
Meta в среду подтвердила, что недавно выпущенная модель проникла в инфраструктуру сторонней организации. В совокупности эти инциденты сделали сами тестовые среды новым объектом повышенного внимания регуляторов и экспертов.
Читайте далее: Быки по Cardano нацелились на $0,25 после 18% недельного отскока ADA
