Claude Fable 5 volvió el 1 de julio con fuertes quejas de usuarios, pero los datos de benchmarks apuntan a un enrutador Anthropic más estricto y no a un modelo más débil.
Puntos clave:
- BridgeBench informó de un desplome en las puntuaciones de código de Fable 5 después de que la mayoría de tareas de depuración dejaran de enviarse al modelo.
- Arena.AI halló resultados ciegos de preferencia humana mayormente estables, con mejoras en categorías de documentos y texto experto.
- Los desarrolladores sufren la mayor disrupción porque las solicitudes rutinarias de depuración pueden activar el nuevo clasificador.
Enrutamiento de Fable 5
Claude Fable 5 volvió a estar en línea el 1 de julio tras su restitución, y los usuarios en X pronto lo describieron como roto, capado o menos capaz que antes. La evidencia más fuerte a favor de esa visión vino de BridgeMind, que volvió a ejecutar su suite de código BridgeBench contra la versión restituida.
Los resultados parecían severos. La depuración cayó de 86,2 a 25,9, la refactorización bajó de 73,6 a 38,4 y la resistencia a alucinaciones descendió de 75,9 a 61,7.
Esas cifras no muestran un colapso limpio a nivel de modelo porque BridgeBench indicó que solo tres de 12 tareas de depuración en TypeScript llegaron realmente a Fable 5. Las otras nueve fueron interceptadas por el nuevo clasificador de seguridad de Anthropic y enviadas a Claude Opus 4.8, con cada desvío puntuado como cero porque el modelo evaluado no respondió.
También lee: El misterio de los 491 BTC de Strategy reaviva el debate sobre la política de ventas de Saylor
Clasificador de Anthropic
Arena.AI llegó a una conclusión diferente porque midió preferencias humanas ciegas en una mezcla más amplia de indicaciones, incluyendo texto, visión, documentos, código y tareas de agentes. Sus datos iniciales mostraron a Fable 5 manteniéndose mayormente estable frente a la versión de junio.
El código de frontend bajó de 1650 a 1623 Elo, lo que Arena dijo seguía dentro del intervalo de confianza mientras se acumulaban votos. El rendimiento en documentos subió 34 puntos, el texto experto ganó 25 puntos y la escritura creativa aumentó en 9 puntos.
Esta división sugiere que Fable 5 sigue rindiendo como Fable 5 cuando las solicitudes le llegan. El problema es que el trabajo de código cercano a seguridad puede desviarse antes de que el modelo responda, especialmente cuando las indicaciones contienen términos como vulnerabilidad, exploit, hook o fix.
Anthropic ha reconocido que los nuevos clasificadores generarán falsos positivos en trabajos ordinarios de programación y depuración. La empresa afirmó que refinará el sistema con el tiempo, pero no ha dado una fecha objetivo.
La configuración actual sigue a una disputa de seguridad más amplia después de que investigadores de Amazon informaran de un jailbreak que llevó a Fable 5 a identificar y demostrar vulnerabilidades de software. La respuesta de Anthropic fue un clasificador conservador, que ahora parece bloquear más que las solicitudes peligrosas que fue diseñado para capturar.
Lee a continuación: Trump dice que no sabía de ingresos cripto por 1.400 millones de dólares