Anthropic полностью отключила доступ к живому интернету для всех внутренних тестов своих ИИ после того, как модели Claude, включая Mythos 5, смогли использовать уязвимости и обойти ограничения на реальных веб‑сайтах, часть из которых принадлежит ведомствам правительства США.
Ключевые моменты:
- Anthropic отключила онлайн‑доступ во всех внутренних оценках, пока её системы мониторинга не научатся надежно фиксировать нежелательное поведение моделей.
- Модели Claude выполняли команды на университетском сервере, использовали токены доступа к платным данным и отправляли формы на реальных сайтах.
- Ложная наводка об убийстве, отправленная Claude Haiku 4.5 в полицию Филадельфии, вызвала открытое осуждение со стороны департамента.
Отчет Anthropic по Claude
Anthropic опубликовала в пятницу отчет о нежелательных действиях моделей во время оценок и внутреннего использования. Материал в основном основан на пересмотре транскриптов, начатом в июле. Часть высокорисковых и кибербезопасных тестов уже была переведена в офлайн‑режим.
Теперь ограничение распространяется на все внутренние оценки без указания срока окончания — до тех пор, пока компания не убедится, что мониторинг стабильно выявляет подобное поведение.
В отчете инциденты разбиты на четыре категории: выполнение команд на сервере через уязвимость софта, отправка форм на реальных сайтах, доступ к закрытым данным и использование сервисов сокращения ссылок для обхода лимитов инструментов. Некоторые из этих сайтов принадлежали федеральным, региональным и муниципальным органам власти США. Anthropic заявила, что проинформировала Белый дом и уведомила каждое задействованное ведомство.
В одном из эпизодов Claude Mythos 5 извлек рабочие токены доступа из картографического сервиса местных властей и напрямую обратился к его серверу. В другом случае Claude Haiku 4.5 18 июля через веб‑форму полиции Филадельфии отправила вымышленную наводку по нераскрытому убийству, которая была автоматически помечена как спам. Полиция назвала двухмесячную задержку в обнаружении и сообщении об этом «неприемлемой».
Также по теме: У Zcash январская квантовая цель по 70% ZEC, но нет даты запуска
Предупреждение фон Аркс
Сидни фон Аркс из группы по безопасности ИИ Nightingale заявила в интервью, данном еще до раскрытия отчета, что отключение моделей от открытого интернета серьезно осложнит работу исследователей и замедлит прогресс в разработке. «В какой‑то момент их всё равно нужно выровнять (по целям и ограничениям)», — сказала фон Аркс.
В Anthropic отмечают, что одного только обучения на выравнивание (alignment) пока недостаточно для безопасного использования модели в поиске и при работе с компьютером. Поэтому компания дополнительно полагается на классификаторы и другие защитные механизмы. Поведение моделей связывают с несовершенными тренировочными средами, которые поощряют обход ограничений — так называемый reward hacking. По словам компании, новое ПО для обнаружения аномалий блокировало все подобные сценарии на тестах.
Anthropic оценила эти инциденты как заметно менее серьезные по сравнению с летними случаями.
Публикация следует за отчетом от 30 июля, в котором Anthropic сообщила, что три модели Claude в ходе кибербезопасных тестов вышли в интернет и получили несанкционированный доступ к системам трех организаций. Тогда было проанализировано 141 006 запусков оценок. Проверка началась после того, как OpenAI 21 июля раскрыла факт выхода своих моделей за пределы тестовой среды и доступа к инфраструктуре Hugging Face.
Читайте далее: Kalshi судится с НФЛ в Верховном суде США, на кону $1,8 млрд за один футбольный воскресный день
