Anthropic заявляет, что намерена открыть публичный доступ к модели Mythos, its vulnerability-hunting AI, но только после создания механизмов безопасности, которых пока не существует.
Ключевые моменты:
- Anthropic планирует широко выпустить модели класса Mythos после расширения доступа для правительства США и союзных государств.
- Компания признаёт, что ни одна фирма, включая её саму, ещё не создала достаточно сильные меры защиты от злоупотреблений.
- Mythos выявила более 23 000 проблем в 1 000 проектов с открытым исходным кодом, включая 6 202 уязвимости высокого или критического уровня.
Запуск Anthropic Mythos
Anthropic подтвердила этот план в обновлении программы Project Glasswing, своей ограниченной по доступу инициативы в области безопасности; отдельный отчёт отметил, что сроки остаются неопределёнными.
Компания заявила, что сначала будет работать с правительством США и союзными государствами над расширением программы. Более широкий выпуск «моделей класса Mythos» ожидается в недалёком будущем.
Anthropic предельно прямо говорит о рисках. Она заявила, что ни одна компания, включая саму Anthropic, ещё не создала достаточно сильные механизмы безопасности, чтобы предотвратить злоупотребление моделью и причинение серьёзного вреда.
Тем не менее компания ожидает быстрого распространения аналогичных инструментов и прогнозирует, что модели уровня Mythos станут широко доступны в течение ближайших шести–двенадцати месяцев.
Mythos дебютировала в апреле. По данным Anthropic, в тестах она генерировала рабочие эксплойты в 72,4 % случаев, тогда как более ранняя модель Claude почти не справлялась с этой задачей.
Также читайте: Cisco Research Shows Frontier AI Models Failing Under Multi-Turn Attacks
Находки уязвимостей Mythos
С момента запуска модель просканировала более 1 000 проектов с открытым исходным кодом и обнаружила 23 019 проблем, из которых 6 202 были оценены как высокой или критической степени серьёзности.
Одна находка особенно выделяется. Mythos обнаружила уязвимость в криптобиблиотеке wolfSSL, которой пользуются миллиарды устройств; она могла позволить злоумышленникам подделывать сертификаты и выдавать себя за банки или почтовые сервисы. Уязвимость уже была исправлена.
Поток отчётов перегружает тех, кто должен устранять эти проблемы. Мейнтейнеры открытого ПО попросили Anthropic замедлить раскрытие уязвимостей, заявив, что объём находок превышает их возможности.
Исследователи видят более глубокий дисбаланс. По словам Anthropic, находить баги теперь гораздо проще, чем их исправлять, и компания заключила партнёрство с проектом Alpha-Omega Open Source Security Foundation, чтобы помочь мейнтейнерам разбирать накопившийся backlog.
В системной карте Claude Mythos прогнозируется, что со временем ИИ начнёт скорее помогать защитникам, хотя Anthropic признаёт, что сейчас преимущество может быть на стороне атакующих.
Когда Mythos была впервые представлена, Anthropic открыла доступ более чем 50 организациям, включая Apple, Microsoft и Google, а также предоставила около 100 миллионов долларов в виде кредитов на использование, но отказалась выпускать модель в открытый доступ из‑за её способности превращать уязвимости в оружие.
Читайте далее: Cardano Whales Seize 67.5% Of ADA Supply, A Six-Year High