Claude Fable 5 regresó el 1 de julio con fuertes quejas de usuarios, pero los datos de benchmarks apuntan a un enrutador más estricto de Anthropic en lugar de un modelo más débil.
Puntos clave:
- BridgeBench informó un colapso en las puntuaciones de programación de Fable 5 después de que la mayoría de las tareas de depuración fueran enrutadas fuera del modelo.
- Arena.AI encontró resultados ciegos de preferencia humana en su mayoría estables, con mejoras en las categorías de documentos y texto experto.
- Los desarrolladores enfrentan la disrupción más clara porque las solicitudes rutinarias de depuración pueden activar el nuevo clasificador.
Enrutamiento de Fable 5
Claude Fable 5 volvió a estar en línea el 1 de julio tras su restitución, y los usuarios en X rápidamente lo describieron como roto, nerfeado o menos capaz que antes. La evidencia más fuerte para esa visión vino de BridgeMind, que volvió a ejecutar su conjunto de pruebas de programación BridgeBench contra la versión restituida.
Los resultados parecían severos. La depuración cayó de 86,2 a 25,9, la refactorización bajó de 73,6 a 38,4 y la resistencia a las alucinaciones se redujo de 75,9 a 61,7.
Esas cifras no muestran un colapso claro a nivel de modelo porque BridgeBench dijo que solo tres de las 12 tareas de depuración en TypeScript realmente llegaron a Fable 5. Las otras nueve fueron interceptadas por el nuevo clasificador de seguridad de Anthropic y enviadas a Claude Opus 4.8, con cada sustitución puntuada como cero porque el modelo evaluado no respondió.
También lee: El misterio de los 491 BTC de Strategy reaviva el debate sobre la política de ventas de Saylor
Clasificador de Anthropic
Arena.AI llegó a una conclusión diferente porque midió preferencias humanas ciegas en una mezcla más amplia de solicitudes, incluyendo texto, visión, documentos, código y tareas de agentes. Sus primeros datos mostraron a Fable 5 manteniéndose en su mayoría estable frente a la versión de junio.
El código de frontend bajó de 1650 a 1623 Elo, lo que Arena dijo que seguía dentro del intervalo de confianza mientras se acumulaban los votos. El rendimiento en documentos subió 34 puntos, el texto experto ganó 25 puntos y la escritura creativa aumentó en 9 puntos.
La diferencia sugiere que Fable 5 sigue rindiendo como Fable 5 cuando las solicitudes le llegan. El problema es que el trabajo de programación cercano a seguridad puede ser desviado antes de que el modelo responda, especialmente cuando los prompts contienen términos como vulnerabilidad, exploit, hook o fix.
Anthropic ha reconocido que los nuevos clasificadores generarán falsos positivos en trabajos ordinarios de programación y depuración. La empresa dijo que perfeccionará el sistema con el tiempo, pero no ha dado una fecha objetivo.
La configuración actual sigue una disputa de seguridad más amplia después de que investigadores de Amazon informaron de un jailbreak que llevó a Fable 5 a identificar y demostrar vulnerabilidades de software. La respuesta de Anthropic fue un clasificador conservador, que ahora parece bloquear más que las solicitudes peligrosas que fue diseñado para detectar.
Lee a continuación: Trump dice que no sabía de ingresos cripto por 1.4 mil millones de dólares