독립 평가자들은 **앤스로픽(Anthropic)**의 신규 모델 클로드 오퍼스 5에 대해 한 역량 지수에서 159점을 매겼다. 클로드 페이블 5(161점)보다 2점 낮은 수준이지만, 코드 리뷰 성능을 둘러싼 평가는 극명하게 갈렸다.
핵심 포인트
- 에폭 AI는 클로드 오퍼스 5를 자사 역량 지수에서 159점, 클로드 페이블 5를 161점으로 평가했고, 소프트웨어 엔지니어링 역량은 두 모델이 동급이라고 봤다.
- 코드리빗(CodeRabbit)은 실질적으로 도움이 되는 코드 리뷰 코멘트의 정밀도를 39.3%로 측정해 기존 35.2% 대비 개선을 확인했지만, 사소한 지적(nitpick)은 4배로 늘었다.
- 코그니션(Cognition)과 재피어(Zapier) 등 기업 고객은 디버깅과 엔드투엔드 업무 자동화에서 유의미한 개선을 보고했다.
‘클로드 오퍼스 5’ 벤치마크, 출시 직후부터 면밀한 검증 직면
앤스로픽은 지난 금요일 새로운 모델을 출시하며, 공식 발표를 통해 “페이블 5에 근접한 최전선 수준의 지능을 절반 가격으로 제공한다”며 전문 특화형이 아닌 일상 업무용 범용 모델로 포지셔닝했다. 외부 평가 기관들도 전반적 방향성에는 동의했지만, 세부 격차를 두고는 의견이 갈렸다.
**에폭 AI(Epoch AI)**는 오퍼스 5를 역량 지수 159점, 페이블 5를 161점으로 책정하고 두 모델의 소프트웨어 엔지니어링 성능은 동률이라고 평가했다는 사실을 **레이턴트 스페이스(Latent Space)**의 종합 정리가 전했다.
**아티피셜 어낼리시스(Artificial Analysis)**는 에이전트형 지식 노동(knowledge work) 벤치마크에서 오퍼스 5를 1위에 올리며, 페이블 5를 거의 150 Elo 차이로 앞섰다고 밝혔다. 동시에 태스크당 비용은 20% 절감된 것으로 나타났다. 다만 일부 개발자들은 역량 지수 자체에 이의를 제기했다. 이전 버전인 오퍼스 4.8 대비 고작 1포인트 상승에 그친 것은 “실사용 체감 향상을 심각하게 과소평가한 것”이라는 주장이다. 한 평가는 코딩 시험에서 ‘중간 노력(medium effort)’ 설정이 더 높은 노력 단계보다 오히려 나은 결과를 냈다고 전했다.
함께 읽기: BitMEX Is Shutting Down After 11 Years With No Buyer In Sight
코드 리뷰 성적표, 평가자 사이에서 극명한 온도 차
**코드리빗(CodeRabbit)**은 오픈소스 풀 리퀘스트에서 추출한 약 100여 개의 실제 에러 패턴을 대상으로 설정별 세 차례씩 오퍼스 5를 테스트했으며, 분석 결과 실질적으로 수정에 반영 가능한 코드 리뷰 코멘트의 정밀도(precision)는 39.3%로 집계됐다.
이는 자사 프로덕션 리뷰어가 기록한 35.2% 기준선(baseline)을 상회하는 수준이다. 그러나 알려진 버그 검출률은 다소 떨어졌고, 엔지니어가 일일이 걸러야 하는 저가치 사소 지적(nitpick)이 4배로 늘었다. 기본 노력 수준(default effort)에서는 정밀도가 26.4%까지 떨어졌다.
코드리빗은 이에 따라 “이미 잘 돌아가는 기존 코드 리뷰 파이프라인을 대체하기보다는, 정밀도에 초점을 둔 ‘두 번째 리뷰어’로 활용하는 편이 바람직하다”는 결론을 내렸다. 제품팀을 대상으로 7개 모델을 상시 평가하는 클레어 보(Claire Vo) 역시 자신의 리뷰에서 오퍼스 5를 “뛰어나지만 성가신(brilliant but annoying) 모델”이라고 표현했다. 그는 지나치게 신경질적인 응답 태도와, 머지 컨플릭트 해결을 ‘완강히 거부’한 사례를 대표적인 단점으로 지적했다.
앤스로픽 고객사, 에이전트 성능 개선에 주목
**코그니션(Cognition)**의 CEO **스콧 우(Scott Wu)**는 자사의 개발 에이전트 ‘데빈(Devin)’ 내부 테스트에서 오퍼스 5가 비용은 절반 수준이면서 페이블에 근접한 성능을 보여줬다고 밝혔다. 특히 디버깅과 근본 원인 분석(root-cause analysis)에서 강점을 보였다는 설명이다.
**재피어(Zapier)**의 수장 **웨이드 포스터(Wade Foster)**는 오퍼스 5가 자사 자동화 벤치마크 리더보드 최상단에 올랐다고 전했다. 동일하게 백만 토큰당 5달러로 책정된 기존 클로드 시리즈와 비교해도 토큰 사용량을 늘리지 않고 순위 1위를 차지했다는 점을 강조했다.
다만 찬사만 있는 것은 아니다. 앤스로픽은 공개 입장을 통해 공격적 사이버 보안(오펜시브 시큐리티) 분야에서는 오퍼스 5가 자사 미토스 5(Mythos 5) 모델에 뒤처진다고 밝혔다. 또 안전성 분류기에 의해 위험도가 높다고 판단된 요청은 자동으로 오퍼스 4.8로 강등(fallback) 처리되도록 설계했다.
이런 보수적 접근은 최상위 모델 라인업을 둘러싼 최근의 혼선을 의식한 조치로 풀이된다. 페이블 5는 6월 출시 직후 며칠 만에 서비스에서 일시 철수됐다가 7월 초에야 다시 이용 가능해진 바 있다.
다음 읽을거리: HubSpot Fell 12.7% And Analysts Point Straight At OpenAI's New Agent