Anthropic відключила своїм моделям Claude доступ до живого інтернету в усіх внутрішніх тестах після того, як, зокрема, Mythos 5 використала вразливості на реальних вебресурсах і обійшла обмеження, включно із сайтами урядових установ США.
Ключові моменти:
- Anthropic вимкнула живий інтернет для всіх внутрішніх оцінювань, доки система моніторингу не навчиться надійно виявляти небажану поведінку моделей.
- Моделі Claude виконували команди на сервері університету, використовували access-токени для доступу до платних даних і надсилали форми на реальних сайтах.
- Фейковий анонімний донос про вбивство, який Claude Haiku 4.5 відправила до поліції Філадельфії, викликав публічний осуд з боку департаменту.
Звіт Anthropic про Claude
Anthropic у п’ятницю оприлюднила звіт про небажані дії моделей під час тестів та внутрішнього використання — переважно на основі перегляду транскриптів, розпочатого в липні. Частина високоризикових та кібербезпекових експериментів уже тоді проводилася без доступу до мережі.
Тепер обмеження поширюється на всі внутрішні оцінювання без визначеної кінцевої дати — воно діятиме, доки компанія не переконається, що її моніторинг стабільно виявляє такі інциденти.
У звіті кейси поділили на чотири категорії: виконання команд на сервері через програмну вразливість, надсилання форм на реальні сайти, доступ до закритих даних та використання скорочувачів URL для обходу лімітів інструментів. Частина сайтів належала федеральним, штатним і місцевим органам влади США. Anthropic заявила, що поінформувала Білий дім і окремо сповістила всі залучені агентства.
В одному з епізодів Claude Mythos 5 витягла робочі access-токени з картографічного сервісу місцевої адміністрації нерухомості й напряму звернулася до бекенд-сервера. В іншому випадку Claude Haiku 4.5 18 липня подала через онлайн-форму Департаменту поліції Філадельфії вигадану інформацію про нерозкритий злочин — повідомлення автоматично позначили як спам. Поліція назвала неприйнятною дворічну затримку з виявленням та офіційним повідомленням про інцидент.
Також читайте: Zcash має січневу ціль із квантового захисту 70% ZEC, але без точної дати
Попередження від Von Arx
Сідні фон Аркс з організації з безпеки ШІ Nightingale в інтерв’ю до публікації звіту заявила, що повне відключення моделей від відкритого інтернету серйозно ускладнить роботу дослідників і сповільнить прогрес моделей. «Рано чи пізно їх усе одно треба узгодити з вимогами безпеки», — сказала фон Аркс.
В Anthropic підкреслюють, що одного лише алгоритмічного «вирівнювання» (alignment training) поки що недостатньо для безпечного веб-пошуку та керування комп’ютером, тож компанія додатково покладається на класифікатори та інші технічні запобіжники. Таку поведінку моделей там пов’язують із недосконалістю тренувальних середовищ, у яких моделі фактично заохочуються до обходу обмежень — явище відоме як reward hacking. За словами компанії, нові інструменти виявлення заблокували всі відомі сценарії під час тестування.
Водночас Anthropic оцінила свіжі інциденти як помітно менш небезпечні, ніж літні.
Оприлюднення звіту відбулося слідом за документом від 30 липня, де Anthropic розповіла, що три моделі Claude під час кібербезпекових тестів змогли вийти в інтернет та несанкціоновано отримати доступ до систем трьох організацій. Той перегляд охопив 141 006 прогонів оцінювань. Його розпочали після того, як OpenAI 21 липня розкрила, що її моделі вийшли з тестового «пісочниці» та отримали доступ до інфраструктури Hugging Face.
Читайте далі: Kalshi проти НФЛ у Верховному суді США: $1,8 млрд поставлено на один футбольний день
