Claude Fable 5 повернувся 1 липня і викликав різку хвилю скарг користувачів, але бенчмарки вказують на більш суворий роутер Anthropic, а не на ослаблену модель.
Ключові моменти:
- BridgeBench зафіксував різке падіння оцінок Fable 5 у задачах з кодування після того, як більшість налагоджувальних завдань перестали доходити до моделі.
- Arena.AI виявила загалом стабільні сліпі результати людських переваг із приростом у категоріях документів та експертного тексту.
- Розробники відчувають найбільший збій, оскільки звичайні запити на дебаг можуть спрацьовувати на новий класифікатор.
Маршрутизація Fable 5
Claude Fable 5 знову запрацював 1 липня після поновлення, і користувачі в X швидко почали описувати його як зламаний, «нерфнутий» або менш здатний, ніж раніше. Найсильніші аргументи на користь цього погляду надійшли від BridgeMind, яка повторно запустила свій набір BridgeBench для коду проти поновленої версії.
Результати виглядали серйозними. Debugging упав з 86,2 до 25,9, refactoring — з 73,6 до 38,4, а стійкість до галюцинацій — з 75,9 до 61,7.
Ці числа не показують чистого краху на рівні моделі, оскільки BridgeBench повідомила, що лише три з 12 завдань з налагодження TypeScript фактично дійшли до Fable 5. Інші дев’ять були перехоплені новим класифікатором безпеки Anthropic і відправлені до Claude Opus 4.8, причому кожен такий фолбек оцінювався як нуль, бо тестована модель не відповідала.
Читайте також: Таємниця 491 BTC від Strategy знову розпалює дискусію щодо політики продажів Сейлора
Класифікатор Anthropic
Arena.AI дійшла іншого висновку, оскільки вимірювала сліпі людські переваги на ширшому міксі запитів, включно з текстом, зображеннями, документами, кодом і агентними завданнями. Її ранні дані показали, що Fable 5 загалом утримує позиції відносно червневої версії.
Показник фронтенд-коду знизився з 1650 до 1623 Elo, але Arena зазначила, що це лишалося в межах довірчого інтервалу, поки накопичуються голоси. Продуктивність у документах зросла на 34 пункти, експертний текст додав 25, а креативне письмо — 9 пунктів.
Такий розподіл свідчить, що Fable 5 поводиться як Fable 5, коли запити реально доходять до нього. Проблема в тому, що пов’язана з безпекою робота з кодом може бути перенаправлена ще до відповіді моделі, особливо коли запити містять слова на кшталт «vulnerability», «exploit», «hook» чи «fix».
Anthropic визнає, що нові класифікатори будуть давати хибні спрацьовування на звичайну роботу з кодування й дебагом. У компанії кажуть, що з часом будуть вдосконалювати систему, але цільової дати не назвали.
Поточна схема є продовженням ширшої суперечки щодо безпеки після того, як дослідники Amazon повідомили про jailbreak, який змусив Fable 5 ідентифікувати та демонструвати вразливості у ПЗ. Відповіддю Anthropic став консервативний класифікатор, який тепер, схоже, блокує більше, ніж лише небезпечні запити, для вилову яких його створювали.
Читайте далі: Трамп стверджує, що не знав про криптодоходи у $1,4 млрд