Claude Fable 5 вернулась 1 июля и сразу столкнулась с резкими жалобами пользователей, но бенчмарки указывают скорее на более строгий роутер Anthropic, чем на ослабление самой модели.
Ключевые моменты:
- BridgeBench зафиксировал обвал кодировочных оценок Fable 5 после того, как большинство задач по отладке перестали доходить до модели.
- Arena.AI увидела в основном стабильные слепые результаты человеческих предпочтений, с ростом в категориях документов и экспертного текста.
- Разработчики сталкиваются с наибольшими сбоями, поскольку обычные запросы на отладку могут срабатывать на новый классификатор.
Маршрутизация Fable 5
Claude Fable 5 снова вышла в онлайн 1 июля после восстановления, и пользователи в X быстро описали её как сломанную, занерфленную или менее способную, чем раньше. Наиболее веские аргументы в пользу этой версии появились от BridgeMind, которая повторно прогнала свой набор тестов BridgeBench для кодирования по восстановленной версии.
Результаты выглядели серьёзными. Отладка упала с 86,2 до 25,9, рефакторинг — с 73,6 до 38,4, устойчивость к галлюцинациям снизилась с 75,9 до 61,7.
Эти числа не показывают чистый обвал на уровне модели, потому что BridgeBench сообщила: только три из 12 задач по отладке TypeScript вообще дошли до Fable 5. Остальные девять были перехвачены новым классификатором безопасности Anthropic и отправлены в Claude Opus 4.8, причём каждый такой фолбэк оценивался в ноль, поскольку оцениваемая модель не отвечала.
Также читайте: Таинственные 491 BTC Strategy возобновили споры о политике продаж Сейлора
Классификатор Anthropic
Arena.AI пришла к другому выводу, поскольку измеряла слепые человеческие предпочтения на более широком наборе промптов, включая текст, визуальные задачи, документы, код и агентные задачи. Ранние данные показали, что Fable 5 в основном удерживает позиции по сравнению с июньской версией.
Фронтенд‑код просел с 1650 до 1623 по Эло, что, по словам Arena, оставалось в пределах доверительного интервала, пока накапливались голоса. Производительность по документам выросла на 34 пункта, экспертный текст прибавил 25 пунктов, а креативное письмо — 9 пунктов.
Такое расхождение говорит о том, что Fable 5 всё ещё ведёт себя как Fable 5, когда промпты доходят до неё. Проблема в том, что работа с кодом, связанная с безопасностью, может быть перехвачена до того, как модель ответит, особенно если запросы содержат термины вроде vulnerability, exploit, hook или fix.
Anthropic признала, что новые классификаторы будут давать ложные срабатывания на обычные задачи по программированию и отладке. Компания заявила, что со временем улучшит систему, но не назвала целевой срок.
Текущая схема возникла на фоне более широкой дискуссии о безопасности после того, как исследователи Amazon сообщили о джейлбрейке, который заставил Fable 5 выявлять и демонстрировать уязвимости ПО. Ответом Anthropic стал консервативный классификатор, который теперь, по‑видимому, блокирует больше, чем только те опасные промпты, для перехвата которых его создавали.
Читайте далее: Трамп заявляет, что не знал о криптодоходе в $1,4 млрд