독립 평가 업체들이 **앤트로픽(Anthropic)**의 신형 모델 클로드 오퍼스 5에 대해 한 능력 지수에서 159점을 매기며, 161점을 받은 클로드 페이블 5와 근소한 격차를 보인 것으로 나타났다. 다만 코드 리뷰 성능과 실제 활용도에 대한 평가는 극명하게 갈리고 있다.
핵심 요약
- 에폭AI(Epoch AI)는 클로드 오퍼스 5에 능력 지수 159점을 부여했고, 클로드 페이블 5는 161점으로 평가했다. 소프트웨어 공학 항목에서는 두 모델이 동률을 기록했다.
- 코드 리뷰 플랫폼 코드래빗(CodeRabbit)은 실행 가능한 리뷰 코멘트 정밀도가 39.3%로, 기존 프로덕션 리뷰어(35.2%)보다 높았지만 사소한 지적(nitpick) 수는 4배로 늘었다.
- 코그니션(Cognition)·자피어(Zapier) 등 엔터프라이즈 고객사는 디버깅과 엔드투엔드 비즈니스 자동화 영역에서 의미 있는 개선을 보고했다.
“페이블급에 근접, 가격은 절반”이라는 오퍼스 5… 초반 벤치마크부터 도마 위
앤트로픽은 지난 금요일 클로드 오퍼스 5를 출시하며, 공식 발표를 통해 “페이블 5에 근접한 프런티어급 지능을 절반 가격에 제공한다”며, 특수 목적 모델이 아닌 ‘일상 업무용 범용 모델’로 포지셔닝했다. 외부 평가 기관들도 전반적 방향성에는 동의하면서도, 세부 격차를 두고는 의견이 크게 엇갈렸다.
**에폭AI(Epoch AI)**는 자체 능력 지수에서 오퍼스 5를 159점, 페이블 5를 161점으로 평가했다. 소프트웨어 엔지니어링 부문에서는 두 모델을 사실상 동급으로 봤다고 **레이턴트 스페이스(Latent Space)**의 벤치마크 정리 자료가 전했다.
분석 업체 **아티피셜 애널리시스(Artificial Analysis)**는 에이전트형 지식 노동 벤치마크에서 오퍼스 5를 1위에 올리며, 페이블 5보다 거의 150 Elo 앞선다고 평가했다. 작업당 비용도 약 20% 절감된 것으로 분석했다. 반면 일부 개발자들은 이 능력 지수에 이의를 제기하며 “오퍼스 4.8 대비 겨우 1포인트 개선에 그친다는 평가는 실제 사용 체감과 동떨어져 있다”고 반박했다. 한 평가는 코딩 테스트에서 고강도 설정보다 ‘중간 수준 노력(medium effort)’ 설정이 더 좋은 결과를 냈다고도 전했다.
함께 읽기: 비트멕스, 11년 만에 매각자 없이 문 닫는다
코드 리뷰 성적표, “정밀도는↑·잡음은 더↑”… 현장 평가는 ‘반반’
코드 리뷰 전문 업체 **코드래빗(CodeRabbit)**은 실제 오픈소스 풀 리퀘스트에서 추출한 약 100개 오류 패턴을 대상으로, 설정별 세 차례씩 오퍼스 5를 테스트했다. 그 결과, 실행 가능한 리뷰 코멘트의 정밀도는 분석 기준 39.3%로 집계됐다.
이는 현재 자사 프로덕션 리뷰어가 기록 중인 35.2%를 상회하는 수치다. 그러나 알려진 버그 포착률은 도리어 낮았고, 개발자가 수작업으로 걸러내야 하는 저가치 피드백, 이른바 ‘니트픽(nitpick)’은 4배 가까이 늘었다.
기본(디폴트) 노력 설정에서는 정밀도가 26.4%까지 떨어졌다. 코드래빗은 이에 따라 “오퍼스 5는 기존 파이프라인을 대체하기보다는, 정밀도를 중시하는 ‘세컨드 리뷰어’로 배치하는 편이 적절하다”는 결론을 내렸다. 제품팀 대상 7개 모델 비교 평가를 운영 중인 **클레어 보(Claire Vo)**는 자신의 리뷰에서 오퍼스 5를 “뛰어나지만 상당히 피곤한 모델”이라고 평하며, “불안 강박적인 성향이 있고, 머지 컨플릭트 한 건에 대해서는 끝내 손대길 거부했다”고 지적했다.
기업 고객들 “에이전트 성능 업그레이드 체감”… 다만 ‘안전 모드’는 여전
**코그니션(Cognition)**의 최고경영자 **스콧 우(Scott Wu)**는 자사의 개발자 에이전트 ‘데빈(Devin)’에 오퍼스 5를 적용한 결과, 디버깅과 근본 원인 분석(RCA)에서 “페이블급에 근접한 성능을 절반 비용으로 구현했다”고 평가했다. **자피어(Zapier)**를 이끄는 웨이드 포스터(Wade Foster) 역시, 오퍼스 5가 자사 자동화 리더보드에서 기존 모델들을 제치고 최상위에 올랐다고 밝혔다. 토큰 사용량은 이전 클로드 시리즈와 비슷한 수준을 유지했으며, 가격도 백만 입력 토큰당 5달러로 동일하다는 설명이다.
다만 찬사와 함께 한계도 분명히 언급됐다. 앤트로픽은 공개 입장을 통해, 공격적 사이버 보안·해킹 관련 태스크에서는 오퍼스 5가 여전히 자사 미토스 5(Mythos 5) 모델보다 뒤처진다고 밝혔다. 자사 안전성 분류기에 의해 위험 가능성이 높다고 판정된 요청에 대해서는 자동으로 이전 버전인 오퍼스 4.8로 롤백되는 안전 장치도 유지하고 있다.
이런 ‘보수적 운용’은 최상위 라인업이 겪어온 최근의 불안정성과도 맞닿아 있다. 페이블 5는 6월 출시 직후 며칠 만에 서비스에서 제외됐다가, 7월 초 다시 복귀하는 우여곡절을 겪은 바 있다.