클로드 페이블 5는 7월 1일에 복귀했으며 사용자들의 날카로운 불만이 이어졌지만, 벤치마크 데이터는 모델이 약해졌다기보다 Anthropic의 더 엄격한 라우터를 가리킨다.
핵심 요약:
- BridgeBench는 대부분의 디버깅 작업이 모델에서 다른 곳으로 라우팅된 뒤 페이블 5 코딩 점수가 붕괴했다고 보고했다.
- Arena.AI는 문서와 전문 텍스트 부문에서의 상승과 함께, 대체로 안정적인 블라인드 인간 선호 결과를 발견했다.
- 새 분류기가 일상적인 디버깅 프롬프트에도 반응할 수 있어, 개발자들이 가장 직접적인 혼선을 겪고 있다.
페이블 5 라우팅
클로드 페이블 5는 복귀 조치 이후 7월 1일 다시 온라인에 올라왔고, X 이용자들은 곧장 이전보다 망가졌거나 너프되었거나 덜 유능해졌다고 주장했다. 그 주장에 대한 가장 강한 증거는 재가동 버전에 대해 BridgeBench 코딩 스위트를 다시 돌린 BridgeMind의 보고에서 나왔다.
결과는 매우 심각해 보였다. 디버깅 점수는 86.2에서 25.9로 떨어졌고, 리팩터링은 73.6에서 38.4로 내려갔으며, 환각 저항성은 75.9에서 61.7로 감소했다.
하지만 이 수치는 모델 수준의 깔끔한 붕괴를 보여주진 않는다. BridgeBench에 따르면 12개의 TypeScript 디버깅 과제 가운데 실제로 페이블 5에 도달한 것은 3개뿐이었다. 나머지 9개는 Anthropic의 새로운 안전 분류기에 가로막혀 Claude Opus 4.8로 보내졌고, 평가 대상 모델이 답하지 않았기 때문에 각 폴백은 0점으로 채점되었다.
이 기사도 참고: Strategy의 491 BTC 미스터리가 Saylor의 매도 정책 논쟁을 재점화
Anthropic 분류기
Arena.AI는 텍스트·비전·문서·코드·에이전트 작업을 포함한 더 다양한 프롬프트에 대해 블라인드 인간 선호를 측정했기 때문에 다른 결론에 도달했다. 초기 데이터에 따르면 페이블 5는 6월 버전과 비교해 대체로 비슷한 성능을 유지했다.
프런트엔드 코드는 Elo 1650에서 1623으로 소폭 하락했지만, Arena는 표본이 쌓이는 동안 여전히 신뢰 구간 안에 있다고 설명했다. 문서 성능은 34포인트, 전문 텍스트는 25포인트, 창의적 글쓰기는 9포인트 상승했다.
이 분할 결과는 프롬프트가 모델에 도달하기만 하면 페이블 5는 여전히 페이블 5답게 작동한다는 점을 시사한다. 문제는 보안과 인접한 코딩 작업이, 특히 프롬프트에 취약점(vulnerability), 익스플로잇(exploit), 훅(hook), 수정(fix) 같은 용어가 들어가면, 모델이 응답하기 전에 우회될 수 있다는 점이다.
Anthropic은 새로운 분류기가 일반적인 코딩과 디버깅 작업에서도 오탐을 낼 것이라는 점을 인정했다. 회사는 시간이 지나면서 시스템을 정교하게 다듬겠다고 밝혔지만, 목표 시점을 제시하진 않았다.
현재 설정은 Amazon 연구진이 페이블 5로 하여금 소프트웨어 취약점을 식별·시연하도록 만드는 탈옥(jailbreak)을 보고한 뒤 이어진 더 넓은 안전성 논쟁의 연장선에 있다. Anthropic의 대응은 보수적인 분류기였고, 이제 이 분류기가 설계 당시 포착하려 했던 위험한 프롬프트 이상을 차단하고 있는 것으로 보인다.