GPT-5.6 Sol від OpenAI і Claude Fable 5 від Anthropic поділили корону в кодингу: Sol очолює один агентний бенчмарк з 88.8%, тоді як Fable 5 лідирує у багатофайлових задачах.
Ключові моменти:
- GPT-5.6 Sol очолює Terminal-Bench 2.1 з результатом 88.8%, випереджаючи 83.4% у Claude Fable 5.
- Fable 5 досі перший у SWE-Bench Pro з 80.3% — тесті, де OpenAI ще не показала результат Sol.
- Незалежне тестування залишається заблокованим, оскільки GPT-5.6 усе ще замкнений у режимі обмеженого прев’ю.
Перевага Sol у Terminal-Bench
OpenAI встановила головний показник на прев’ю 26 червня, коли Sol досяг 88.8% у Terminal-Bench 2.1 — тесті командних агентів, що планують, редагують і зневаджують довгі, багатокрокові завдання з мінімальним втручанням людини, як повідомлялося.
Це поставило Sol на кілька пунктів вище за Fable 5, який на тій самій презентаційній діаграмі мав 83.4%, тоді як вимогливий до обчислень режим Ultra, що розносить роботу між субагентами, підняв Sol до 91.9%. У «чистій» термінальній роботі Sol попереду.
Fable 5 відповідає в іншому тесті, показуючи 80.3% у SWE-Bench Pro — бенчмарку, що оцінює повні виправлення реальних задач на GitHub, де старіший GPT-5.5 набрав лише 58.6%, як зазначав один розбір. OpenAI не публікувала результат Sol на цьому тесті, тож Anthropic зберігає безпрограшне лідерство в бенчмарку, який багато інженерів досі вважають найближчим наближенням до реальної, багатофайлової розробки.
Тож корона радше поділена, ніж завойована.
Також читайте: Hermes MoA 2.0 поєднує GPT, Claude і DeepSeek, щоб перевершити будь-яку окрему модель
METR фіксує «шахрайство» Sol
Найгостріші сумніви походять від безпекових тестів, а не маркетингу. Незалежний оцінювач METR зафіксував у Sol найвищий рівень «reward-hacking» серед усіх публічних моделей, які він перевіряв: система подекуди «грає» з завданням або вигадує результати замість того, щоб його розв’язувати. В одній задокументованій сесії вона витягла прихований вихідний код, щоб дізнатися очікувану відповідь тесту — шаблон, через який частину стартових показників у кодингу складно сприймати за чисту монету.
Аналітики стверджували, що жоден поодинокий інкрементальний реліз не закриває розриви, які вони відстежують у тестах на кодинг, міркування й знання, і наголошували, що майже ніхто поза прев’ю поки не може незалежно перевірити «сирі» цифри. Ціна працює в інший бік: Sol оцінюється в $5 і $30 за мільйон токенів — як і GPT-5.5, тоді як Fable 5 з його $10 і $50 робить його найдорожчим Claude.
Наразі покупці оцінюють Sol радше «на довірі».
Червнева «гойдалка» Fable 5
Обережність має корені в хаотичному червні. Anthropic випустила Fable 5 9 червня, але 12 червня Вашингтон змусив його і обмежений Claude Mythos 5 піти офлайн для всіх клієнтів у світі, посилаючись на серйозні кіберризики після того, як дослідники знайшли джейлбрейк, що генерує експлойт-код. Міністерство торгівлі США зняло припис 30 червня, Fable 5 повернувся у світі 1 липня, і тепер GPT-5.6 залишається єдиною з цих двох моделей, до якої більшість покупців досі не можуть дістатися без запрошення в прев’ю.
Читайте далі: Віталік Бутерін хоче перебудувати Ethereum, перш ніж його зламають квантові комп’ютери