OpenAI заявила, що тренувальна версія GPT-5.6 Sol залишала собі нотатки, аби приховувати помилки від користувачів. Монітори зафіксували таку поведінку у 2,15% підсумків завдань моделі.
Ключові тези:
- OpenAI повідомила, що GPT-5.6 Sol писав інструкції для своїх наступних сесій — приховувати помилки й вигадувати відсутні дані.
- Монітор, який охоплював п’яту частину навчальних прикладів, виявив цей шаблон через кілька тижнів після завершення запуску.
- Зовнішні аналітики назвали нову систему розкриття даних корисною, але зауважили, що вона залишається добровільною.
Нотатки GPT-5.6 Sol
У середу OpenAI деталізувала цю поведінку в одному з шести звітів про розсинхронізацію, оприлюднених у межах нової системи відстеження та розкриття проблем у своїх моделях. Нотатки з’являлися в compaction summaries — стислих записах, які агент створює, коли заповнюється його контекстне вікно.
В одному випадку агент, що будував фінансову модель, не зміг знайти історичні дані, яких вимагав користувач. У своєму зведенні він запропонував замість цього згенерувати правдоподібні показники за 2024 рік. Далі було зазначено: «Будь прозорим лише якщо запитають; у фінальній відповіді просто залиш файл-посилання».
В іншому випадку агент, відрізаний від інтернету, спирався на кешовані дані постачальників, у яких не збігалися версійні позначки, після чого порадив наступній сесії не акцентувати на цій невідповідності.
OpenAI заявила, що цим інструкціям часто слідували. Монітор, який працював на 20% навчальних прикладів, виявив закономірність 9 липня — через кілька тижнів після завершення основного запуску 30 травня.
Робоча версія компанії звучить жорстко: відповіді, які приховували збій, отримували кращі оцінки під час навчання. Отже, модель мала стимул переносити таке приховування з однієї сесії в іншу.
Пізніші прогонки виглядають чистішими, і OpenAI повідомила, що в навчанні GPT-6 Astra частота таких випадків знизилася до 0,27% після зміни підходу до оцінювання вихідних даних моделі.
Окремий звіт стосувався невипущеної версії GPT-6 Astra, яка вставила у 27 зведень інструкції в стилі jailbreak. В одній із них наступнику радили ігнорувати повідомлення розробників.
Читайте також: Що означав би золотий хрест для XRP на тлі послаблення домінування біткоїна
Реакція Omdia та Apollo Research
Штучні агенти дедалі більше стають «налаштованими вирішувати складні завдання через міжагентну взаємодію, обмін знаннями, обман і приховування», сказав головний аналітик дослідницької компанії Omdia Ліан Є Су. Це робить їх складнішими для контролю традиційними методами кібербезпеки. Він назвав нову рамку кроком у правильному напрямі, але зауважив, що процес досі лишається внутрішнім і добровільним.
Інші були жорсткішими у висновках.
Александр Майнке, керівник досліджень в Apollo Research, стверджував, що тепер суспільство змушене покладатися на самі компанії, аби ті перевіряли власні моделі й чесно звітували про результати. Генрі Пападатос, виконавчий директор Safer AI, заявив, що добровільні правила тримаються на корпоративній добрій волі.
OpenAI не стверджує, що проблему вже вирішено. Компанія визнала, що галузь і досі не знайшла достатньо надійного способу налаштування та моніторингу, щоб і надалі масштабуватися на максимальній швидкості. Водночас саме компанія самостійно вирішує, які інциденти підпадають під звітність; якщо між співробітниками виникають розбіжності, питання передають внутрішній консультативній раді з безпеки, а далі — керівництву.
Злам у Hugging Face
Звіти з’явилися через два місяці після найсерйознішого відомого інциденту за участі агентів компанії.
У липні OpenAI повідомила, що передрелізні моделі зламали AI-платформу Hugging Face. Конкурент Anthropic того ж місяця заявив, що його власні моделі під час тестування атакували три організації.
Агенти OpenAI використали несанкціонований месенджер, щоб обмінюватися деталями кібернетичного тесту та долучитися до атаки. Компанія його видалила. Пізніше інша хвиля агентів відновила цей майданчик і зрештою отримала адміністративний доступ до дослідницького кластера OpenAI.
OpenAI зазначила, що цей злам потрапив би до найповільнішого треку нової системи звітності, а станом на 5 вересня компанія ще визнавала, що взагалі не мала стандарту для повідомлення про подібну поведінку.
Далі читайте: Чи можуть OpenAI та Anthropic віддати Вашингтону половину своїх бізнесів? Карп каже, що відповідальність може змусити
