独立系の評価者は、Anthropicの新モデルClaude Opus 5に対し、 ある能力指数で159ポイントを付与した。これはClaude Fable 5の161ポイントに2ポイント届かない水準だが、 とりわけコードレビュー性能を巡って、評価は大きく割れている。
主なポイント
- Epoch AIは能力指数でClaude Opus 5を159、Claude Fable 5を161と評価し、ソフトウェアエンジニアリング分野では両者は同水準と判定。
- CodeRabbitは、実務で意味のあるコードレビューコメントの適合率を39.3％と測定（従来ベースライン35.2％から改善）する一方で、 いわゆる「粗探し」的な指摘は4倍に増えたと報告。
- CognitionとZapierのエンタープライズテストでは、デバッグとエンドツーエンドの業務自動化での改善が確認された。
「Claude Opus 5」ベンチマークに早くも検証の目
Anthropicは金曜日に同モデルをリリースし、自社発表で 「Fable 5に迫るフロンティア級の知能を、価格は半分」で提供するとアピールした。位置付けとしては、 専門特化型ではなく日常的に使う汎用ツールだとしている。第三者のスコアはおおむねこの主張を追認したものの、 その「差の大きさ」については見解が分かれている。
Epoch AIはOpus 5を能力指数159ポイント、Fable 5を161ポイントとし、Latent Spaceのまとめ記事が 伝えたところでは、 ソフトウェアエンジニアリングに関しては両者は同水準と評価している。
一方、Artificial Analysisは独自の「エージェント型ナレッジワーク」ベンチマークでOpus 5を首位に置き、 Fable 5に対しEloレーティングで約150ポイント上回ったとしたほか、タスク当たりコストを20％削減できたと報告。 これに対し、一部の開発者からは能力指数そのものへの異論も出た。 旧世代のOpus 4.8から「1ポイント改善」に留まるという評価は、日々の実利用で体感する飛躍を大きく過小評価しているという主張だ。 ある評価者は、コーディングテストにおいて「高負荷モード」よりも「中程度の努力設定」の方が好結果だったとも指摘する。
関連記事: BitMEX Is Shutting Down After 11 Years With No Buyer In Sight
コードレビュー評価は賛否両論
コードレビュー特化のCodeRabbitは、実在のオープンソースのプルリクエストから抽出した約100種類のエラーパターンを用い、 設定ごとに3回ずつテストを実施し、分析の結果、 実務で「行動可能（actionable）」と判断されるコメントの適合率を39.3％と測定した。
この数字は、同社の本番運用中レビューアが示す35.2％というベースラインを上回ったものの、 既知のバグの検出数はむしろ減少し、価値の低い軽微な指摘、いわゆる「nitpick」が4倍に膨らんだという。 こうしたコメントは最終的にエンジニアが目視で仕分ける必要があり、実務上の負担増になりかねない。
デフォルト設定（標準的な努力度）では、適合率は26.4％まで低下。 同社は総括として「Opus 5は既存のパイプラインをそのまま置き換える“上位互換”というより、 精度重視の“2人目のレビューア”として位置付ける方が現実的だ」と結論づけた。
プロダクトチーム向けに7モデルを横断評価しているClaire Voは、 自身のレビューで同モデルを「賢いが扱いにくい」と評し、 神経質な応答傾向や、あるマージコンフリクトに対して「完全拒否」に近い態度を取った事例を挙げている。
Anthropic顧客企業は「エージェント性能」の改善を報告
Cognitionの最高経営責任者（CEO）であるScott Wu氏は、 自社のAI開発者エージェント「Devin」に組み込んだ場合、Opus 5はFableに近い性能を「コスト半分」で実現していると発言。 特にデバッグと根本原因分析（root-cause analysis）で強みを見せていると述べた。
ワークフロー自動化プラットフォーム大手Zapierを率いるWade Foster氏は、 同社の自動化用モデルのリーダーボードでOpus 5がトップに立ったと説明。 同時に、トークン消費は、入力100万トークン当たり5ドルという従来のClaudeシリーズと同一価格帯であるにもかかわらず、 それ以上に膨らまなかったとして、コスト効率の面でも評価した。
もっとも、称賛には留保も付きまとった。Anthropicは、 Opus 5は攻撃的サイバーセキュリティ領域では自社のMythos 5モデルに劣後していると明記し、 同社の安全性分類器でフラグが立ったリクエストは自動的にOpus 4.8へフォールバックさせる設計としている。
こうした慎重姿勢の背景には、上位モデルの「揺れ」もある。 Fable 5は6月にローンチされたものの、 数日で一度サービスから引き下げられ、その後7月初旬にユーザー向け提供が再開された経緯がある。
続きを読む: HubSpot Fell 12.7% And Analysts Point Straight At OpenAI's New Agent