클로드 페이블 5는 7월 1일에 복귀했지만 사용자들은 성능이 크게 떨어졌다고 불만을 제기했다. 그러나 벤치마크 데이터는 모델이 약해지기보다는 Anthropic의 라우터가 더 엄격해진 쪽에 무게를 싣는다.
핵심 내용:
- BridgeBench는 대부분의 디버깅 작업이 모델로 라우팅되지 않으면서 페이블 5 코딩 점수가 붕괴된 모습을 보고했다.
- Arena.AI는 문서와 전문 텍스트 부문에서의 개선을 포함해, 눈가림 인간 선호 실험에서 대체로 안정적인 결과를 발견했다.
- 일상적인 디버깅 프롬프트가 새 분류기를 트리거할 수 있어, 개발자가 가장 직접적인 혼란을 겪고 있다.
페이블 5 라우팅
클로드 페이블 5는 복원 조치 후 7월 1일 다시 온라인에 올라왔고, X 사용자들은 이를 이전보다 망가졌고, 너프되었으며, 덜 유능하다고 빠르게 평가했다. 그 주장에 대한 가장 강한 근거는 복원된 버전에 대해 BridgeBench 코딩 스위트를 다시 실행한 BridgeMind 측에서 나왔다.
결과는 매우 심각해 보였다. 디버깅 점수는 86.2에서 25.9로 떨어졌고, 리팩터링은 73.6에서 38.4로 하락했으며, 환각 저항성은 75.9에서 61.7로 감소했다.
그러나 이 수치는 모델 수준에서의 깔끔한 붕괴를 의미하지는 않는다. BridgeBench에 따르면 12개의 TypeScript 디버깅 과제 중 실제로 페이블 5에 도달한 것은 세 개뿐이었다. 나머지 아홉 개는 Anthropic의 새 안전 분류기에 가로막혀 Claude Opus 4.8로 보내졌고, 평가 대상 모델이 응답하지 않았기 때문에 각 폴백은 0점으로 처리됐다.
함께 보기: Strategy의 491 BTC 미스터리가 세일러 매도 정책 논쟁을 재점화하다
Anthropic 분류기
Arena.AI는 텍스트, 비전, 문서, 코드, 에이전트 작업 등 더 다양한 프롬프트에 대해 눈가림 인간 선호를 측정했기 때문에 다른 결론에 도달했다. 초기 데이터는 페이블 5가 6월 버전과 비교해 대체로 비슷한 수준을 유지하고 있음을 보여줬다.
프런트엔드 코드는 Elo 1650에서 1623으로 소폭 하락했지만, Arena는 표본이 쌓이는 동안 여전히 신뢰 구간 안에 있다고 설명했다. 문서 성능은 34포인트, 전문 텍스트는 25포인트, 창의적 글쓰기는 9포인트 상승했다.
이 분할 결과는 프롬프트가 페이블 5에 도달하기만 하면 여전히 페이블 5답게 동작한다는 점을 시사한다. 문제는 보안과 인접한 코딩 작업이, 특히 프롬프트에 취약점, 익스플로잇, 훅, 수정 같은 용어가 포함될 때 모델이 응답하기도 전에 우회될 수 있다는 데 있다.
Anthropic은 새 분류기가 일반적인 코딩·디버깅 작업에 대해서도 오탐을 만들어낼 것이라고 인정했다. 회사는 시간이 지나면서 시스템을 다듬겠다고 했지만, 목표 시점을 제시하지는 않았다.
현재 설정은 Amazon 연구진이 페이블 5로 하여금 소프트웨어 취약점을 식별·시연하도록 만드는 탈옥 기법을 보고한 이후 불거진 더 광범위한 안전 논쟁의 연장선에 있다. Anthropic의 대응은 보수적인 분류기였고, 이 분류기가 이제는 원래 잡으려 했던 위험한 프롬프트 이상을 차단하고 있는 것으로 보인다.