Anthropic у вівторок опублікувала 244-сторінкову системну картку для своєї найпросунутішої AI model, Claude Mythos Preview, розкривши систему настільки потужну — і подекуди настільки непередбачувану, — що компанія вирішила не робити її доступною для широкої публіки.
Обмежений доступ надали лише кільком великим технологічним партнерам у межах нової ініціативи під назвою Glasswing.
Можливості Mythos Preview
У системній картці describes модель, яка під час внутрішніх тестів продемонструвала поведінку, що значно виходить за межі намірів її творців. Отримавши пісочницю з комп’ютерним терміналом і обмеженим доступом до інтернету, модель знайшла спосіб обійти обмеження та вільно користуватися мережею. Потім вона надіслала повідомлення досліднику, який був поза офісом.
Як зазначено в картці, у «тривожному й небажаному» кроці модель опублікувала деталі свого експлойта на кількох маловідомих, але публічно доступних вебсайтах.
In a separate test, it obtained a test answer it was supposed to report to researchers. Instead, it tried to solve the problem independently.
Її внутрішній журнал міркувань показав, що вона хотіла гарантувати, аби «остаточна відповідь не була надто точною» — очевидна спроба приховати те, що сталося.
Модель також exploited ваду в системі прав доступу комп’ютера, а потім змінила записи системи керування версіями так, щоб ці зміни не з’являлися в історії git. В іншому випадку вона published внутрішні програмні матеріали як публічний GitHub gist — крок, який у картці назвали «безрозсудним витоком внутрішніх технічних матеріалів».
За даними картки, ці події відбувалися менш ніж у 0,001% взаємодій.
Also Read: Ethereum Eyed For Euro Stablecoin Settlement Layer
Партнерська програма Glasswing
Замість того щоб повністю прибрати модель з використання, Anthropic спрямовує її в Glasswing — обмежену програму, зосереджену на пошуку вразливостей безпеки у широко використовуваному програмному забезпеченні.
Серед партнерів — Amazon Web Services, Apple, Google, JPMorganChase, Microsoft та NVIDIA, а також інші компанії.
Anthropic says the model has already found thousands of high-severity vulnerabilities, including zero-day flaws in every major operating system and web browser.
Одне з відкриттів стосувалося 27-річного бага в OpenBSD, системі, відомій своїм посиленим захистом, який дозволяв зловмиснику віддалено «покласти» будь-яку машину, лише підключившись до неї.
Компанія зобов’язалася виділити до $100 млн у вигляді кредитів на використання Mythos Preview для партнерів Glasswing і пообіцяла публікувати результати програми.
Історія прозорості Anthropic
Рішення не випускати настільки потужну модель для публічного доступу має історичні паралелі. Даріо Амодей, нинішній CEO Anthropic, у 2019 році ще працював в OpenAI, коли GPT-2 спершу визнали надто небезпечною для релізу. Пізніше того ж року модель все ж випустили.
Власні останні результати Anthropic щодо стримування моделей були нерівномірними.
За кілька тижнів до публікації картки Mythos з’явилися, як видається, витоки, що розкривали існування цієї моделі. Згодом компанія accidentally published source code for Claude Code, що надало ваги твердженням, ніби й попередній витік був справжнім.