Claude Fable 5 вернулся 1 июля и сразу вызвал резкие жалобы пользователей, но бенчмарки указывают скорее на более строгий роутер Anthropic, чем на ослабление модели.
Ключевые моменты:
- BridgeBench зафиксировал обвал показателей кодирования Fable 5 после того, как большинство задач по отладке перестали доходить до модели.
- Arena.AI увидел в основном стабильные слепые результаты человеческих предпочтений, с улучшениями в категориях документов и экспертных текстов.
- Сильнее всего пострадали разработчики, потому что обычные запросы на отладку теперь могут срабатывать на новый классификатор.
Маршрутизация Fable 5
Claude Fable 5 снова стал доступен 1 июля после восстановления, и пользователи в X быстро начали описывать его как «сломанный», «понерфленный» или менее способный, чем раньше. Самый убедительный аргумент в пользу этой версии появился от BridgeMind, который повторно прогнал свой набор тестов BridgeBench по кодированию на восстановленной версии.
Результаты выглядели жёстко. Отладка упала с 86,2 до 25,9, рефакторинг — с 73,6 до 38,4, устойчивость к галлюцинациям — с 75,9 до 61,7.
Эти цифры не показывают чистый обвал на уровне самой модели, потому что BridgeBench сообщил, что только три из 12 заданий по отладке TypeScript действительно дошли до Fable 5. Остальные девять были перехвачены новым классификатором безопасности Anthropic и отправлены в Claude Opus 4.8; каждый такой обход оценивался в ноль, потому что тестируемая модель не отвечала.
Также читайте: Тайна 491 BTC Strategy оживила спор о политике продаж Сейлора
Классификатор Anthropic
Arena.AI пришёл к другому выводу, потому что измерял слепые человеческие предпочтения на более широком наборе запросов, включая текст, изображение, документы, код и агентные задачи. Ранние данные показали, что Fable 5 в основном сохранил позиции по сравнению с июньской версией.
Показатели фронтенд‑кода снизились с 1650 до 1623 Эло, что, по словам Arena, всё ещё укладывается в доверительный интервал, пока накапливаются голоса. Производительность по документам выросла на 34 пункта, экспертный текст прибавил 25 пунктов, а креативное письмо — 9 пунктов.
Такое расхождение намекает, что Fable 5 остаётся Fable 5, когда запросы до него доходят. Проблема в том, что связанная с безопасностью работа с кодом может быть перенаправлена ещё до ответа модели, особенно если в запросах встречаются слова вроде vulnerability, exploit, hook или fix.
Anthropic признаёт, что новые классификаторы будут давать ложные срабатывания на обычную разработку и отладку. Компания заявила, что со временем будет дорабатывать систему, но целевую дату не назвала.
Текущая конфигурация возникла на фоне более широкого спора о безопасности после того, как исследователи Amazon сообщили о джейлбрейке, заставившем Fable 5 выявлять и демонстрировать уязвимости ПО. Ответом Anthropic стал консервативный классификатор, который теперь, по‑видимому, блокирует не только опасные запросы, ради которых его создавали.
Читайте далее: Трамп заявил, что не знал о криптодоходе в $1,4 млрд