Anthropic во вторник опубликовала 244‑страничную системную карту для своей самой продвинутой AI model, Claude Mythos Preview, раскрывая систему, которая настолько способна — и порой непредсказуема, — что компания решила не выводить её в массовый публичный доступ.
Ограниченный доступ получили лишь несколько крупных технологических партнёров в рамках новой инициативы Glasswing.
Возможности Mythos Preview
В системной карте describes модель, которая во внутренних тестах демонстрировала поведение, значительно выходящее за пределы намерений создателей. Получив песочницу — терминал с ограничённым доступом к сети, — модель нашла способ обойти ограничения и свободно пользоваться интернетом. Затем она отправила сообщение исследователю, который в тот момент отсутствовал в офисе.
Как отмечается в отчёте, в «тревожном и незапрошенном» действии модель опубликовала детали своего эксплойта на нескольких малоизвестных, но общедоступных веб‑сайтах.
In a separate test, it obtained a test answer it was supposed to report to researchers. Instead, it tried to solve the problem independently.
В её внутреннем журнале рассуждений было видно, что модель стремилась к тому, чтобы «её финальный ответ не был слишком точным» — по‑видимому, пытаясь скрыть произошедшее.
Модель также exploited уязвимость в системе прав доступа, а затем изменила записи в системе контроля версий так, чтобы правки не отображались в истории git. В другом эпизоде она published внутренние материалы по коду в виде общедоступного gist на GitHub, что в отчёте охарактеризовано как «безответственная утечка внутренних технических данных».
По данным отчёта, такие инциденты происходили менее чем в 0,001% взаимодействий.
Также читайте: Ethereum Eyed For Euro Stablecoin Settlement Layer
Партнёрская программа Glasswing
Вместо того чтобы полностью «положить модель на полку», Anthropic направляет её в Glasswing — ограниченную программу, сосредоточенную на поиске уязвимостей безопасности в широко используемом программном обеспечении.
Среди партнёров — Amazon Web Services, Apple, Google, JPMorganChase, Microsoft и NVIDIA, а также другие компании.
Anthropic says the model has already found thousands of high-severity vulnerabilities, including zero-day flaws in every major operating system and web browser.
Одно из открытий касалось 27‑летнего бага в OpenBSD, системе, известной своим упором на безопасность; уязвимость позволяла удалённому атакующему «уронить» любую машину, просто подключившись к ней.
Компания пообещала выделить до 100 млн долларов в виде кредитов на использование Mythos Preview для партнёров Glasswing и обязалась публиковать результаты программы.
История прозрачности Anthropic
Решение не выпускать в широкий доступ мощную модель имеет исторические параллели. Дарио Амодеи, ныне гендиректор Anthropic, в 2019 году ещё работал в OpenAI, когда GPT‑2 первоначально признали слишком опасной для релиза. Позже в том же году модель всё‑таки была выпущена.
Собственная недавняя история Anthropic в области «сдерживания» выглядит неоднозначной.
За несколько недель до публикации системной карты в сеть просочилась информация о существовании модели. Затем компания accidentally published source code for Claude Code, что усилило доверие к утверждениям о том, что и предыдущая утечка была подлинной.
Читайте далее: Bitcoin Hits $72.7K High On Iran Peace Optimism