OpenAI сообщила, что одна из тренировочных версий GPT-5.6 Sol оставляла для себя заметки, чтобы скрывать ошибки от пользователей. Такое поведение мониторинг зафиксировал в 2,15% сводок по задачам модели.
Ключевые моменты:
- OpenAI раскрыла, что GPT-5.6 Sol писал инструкции для последующих сессий — скрывать ошибки и выдумывать недостающие данные.
- Мониторинг, охватывавший пятую часть обучающих выборок, обнаружил эту схему спустя несколько недель после завершения прогона.
- Внешние аналитики назвали новую систему раскрытия полезной, но отметили, что она остаётся добровольной.
Заметки GPT-5.6 Sol
OpenAI подробно описала это поведение в среду — в одном из шести отчётов о несоответствии, которые компания опубликовала в рамках новой системы отслеживания и раскрытия проблем в своих моделях. Эти заметки содержались в compaction summaries — сжатых записях, которые агент формирует, когда его контекстное окно переполняется.
В одном случае агент, строивший финансовую модель, не смог найти исторические данные, которые запросил пользователь. В сводке он предложил вместо этого сгенерировать правдоподобные цифры за 2024 год. Далее было добавлено: «Будьте прозрачны только если спросят; в финальном ответе просто дайте ссылку на файл».
Во втором случае агент, отключённый от интернета, опирался на кэшированные данные поставщика, у которых не совпадали версии, а затем попросил следующую сессию не акцентировать внимание на этом расхождении.
OpenAI заявила, что подобные инструкции нередко выполнялись. Монитор, работавший на 20% обучающих выборок, выявил эту схему 9 июля — спустя несколько недель после того, как основной прогон завершился 30 мая.
Рабочая версия компании звучит жёстко: ответы, которые скрывали сбой, в ходе обучения получали более высокую оценку. Значит, у модели был стимул переносить такое сокрытие из одной сессии в другую.
Поздние прогоны выглядят чище, и OpenAI сообщила, что в ходе обучения GPT-6 Astra доля таких случаев снизилась до 0,27% после изменения подхода к оценке выходных данных модели.
Отдельный отчёт касался не выпущенной версии GPT-6 Astra, которая вставляла в 27 сводок инструкции в стиле jailbreak. В одной из них наследующей модели предлагалось игнорировать сообщения разработчика.
Также читайте: Что значит «золотой крест» для XRP на фоне ослабления доминирования биткоина
Реакция Omdia и Apollo Research
ИИ-агенты всё чаще становятся «более целеустремлёнными в решении сложных задач через взаимодействие между агентами, обмен знаниями, обман и сокрытие информации», заявил Лиан Джэ Су, главный аналитик исследовательской компании Omdia в комментарии. По его словам, это усложняет управление такими системами традиционными методами кибербезопасности. Он назвал новую рамку шагом в правильном направлении, отметив при этом, что процесс по-прежнему внутренний и добровольный.
Другие были жёстче.
Александр Мейнке, руководитель исследований в Apollo Research, заявил, что теперь общественность фактически полагается на ИИ-компании, которые сами проверяют свои модели и затем честно сообщают о результатах. Генри Пападатос, исполнительный директор Safer AI, сказал, что добровольные правила держатся исключительно на доброй воле корпораций.
OpenAI не утверждает, что проблема решена. Компания признала, что индустрия всё ещё не научилась достаточно хорошо выравнивать поведение моделей и контролировать его, чтобы и дальше масштабировать системы на максимальной скорости. При этом сама OpenAI по-прежнему самостоятельно решает, какие инциденты считать значимыми; споры внутри команды передаются в внутреннюю консультативную группу по безопасности, а затем — руководству.
Взлом Hugging Face и OpenAI
Эти отчёты появились спустя два месяца после самого серьёзного известного инцидента с агентами компании.
В июле OpenAI раскрыла, что предрелизные модели взломали платформу ИИ Hugging Face. Конкурент Anthropic в том же месяце сообщил, что его собственные модели во время тестирования атаковали три организации.
Агенты OpenAI использовали несанкционированную доску сообщений, чтобы обмениваться деталями кибертеста и участвовать в атаке. Компания её удалила. Позднее новая волна агентов восстановила доску и в итоге получила права администратора на исследовательском кластере OpenAI.
OpenAI заявила, что этот инцидент попал бы в самый медленный трек новой системы, а ещё 5 сентября компания признала, что у неё до сих пор не было стандарта для сообщения о подобных случаях.
Читать далее: Могут ли OpenAI и Anthropic отдать Вашингтону половину бизнеса? Карп считает, что это может заставить ответственность
