OpenAIの「ChatGPT」が、日常的な5つのタスクを想定したテストで、Anthropicの「Claude Haiku 5.5」を3対2で上回った。一方で、利用者に合わせたパーソナルな助言が求められる2つの設問では、Claude側が勝利している。
主なポイント
- 感謝祭ディナーのプランニング、創作ストーリー作成、予算計算ツールの3分野でChatGPTが優勢。
- ランニングシューズの提案と家族のスケジュール調整では、より個人に寄り添った回答を出したClaude Haiku 5.5が勝利。
- Haiku 5.5は10月29日から、Free／Pro／Maxユーザー向けモデルメニューでHaiku 4.5の後継として提供開始。
ChatGPTテストの結果
AI分野を取材するテクノロジー・ジャーナリストのAmanda Caswell氏は、両チャットボットに全く同一のプロンプトを与え、その比較結果を10月15日に公開した。
テスト内容は、ホリデーシーズンのディナープランから家庭向けの予算計算ツール作成まで多岐にわたる。評価の軸は、指示への忠実さに加え、「どこまで人間側の手間を減らせたか」という実務的な観点だった。
感謝祭ディナーの設問では、ChatGPTが175ドルの予算、オーブン1台、10人分という制約のなかで、ほぼすべてのサイドディッシュをヴィーガン対応にするプランを提示し勝利。創作課題では、中高学年向けのトーンを意識しつつ、ドラゴンとの追跡劇の真っただ中から物語を始めるなど、読者の興味を引く構成が評価された。さらに、オフラインでも動作し、編集やダウンロードが容易な予算管理ツールを一から設計した点も高く採点されている。
一方でClaudeは、ランニングシューズの提案で強みを発揮。週35マイル走るハイアーチ（甲高）ランナーという条件に対し、中立的なクッション性を重視した厚底モデルを勧めるなど、専門性と個人差を踏まえた回答を示した。Caswell氏は、ChatGPTが選んだより硬めのシューズは、自身には適合度が低いと判断している。また、3人の子どもを持つ共働き家庭の親を想定したスケジューリングでは、サッカー練習、郵便局への用事、仕事の締め切りをどう整理するかについて、Claudeの方が「本人の生活実態に寄り添った」計画になっていたという。
関連記事: Appleの「iPhone Duo」はいかにして30分で予約完売から入荷待ちへと転じたか
Claude Haiku 5.5の評価
Caswell氏は、Haiku 5.5を「日常的な質問に適した堅実なモデル」と評価しつつも、今回のようなタスクの組み合わせであれば、総合的にはChatGPTを第一候補に挙げるとコメントした。一方で、Haiku側が勝利した2つの設問については、「自分の状況によりフィットした助言が得られた」とし、パーソナライズの精度を高く評価している。
Anthropicは10月7日、Claudeシリーズの中で最も小型かつ低コストの位置づけとなるHaiku 5.5を正式リリースした。同社によれば、運用コストはHaiku 4.5比で約75％削減でき、要約やライブのカスタマーサポートといった、短時間で繰り返し行う処理に最適化されているという。価格は入力トークン100万あたり0.10ドルで、OpenAIの小型モデル「GPT-6 Luna」と同水準に設定されている。
GPT-6とHaikuの展開状況
Anthropicは、Free／Pro／Maxユーザー向けのモデルセレクターからHaiku 4.5を10月29日に削除し、その後継としてHaiku 5.5のみを選択可能にする方針だ。既存チャット履歴はそのまま保持される。
一方のOpenAIは、Haiku 5.5と同じ10月7日に、ChatGPT向けにGPT-6を提供開始した。新インターフェースでは、回答の中にインタラクティブなチャートや計算機、ボタンなどを埋め込めるようになっている。プロダクトマネージャーのAarush Selvan氏は、「本当に役立つ回答は、単なるテキストだけでは完結しない」と説明している。
Haiku 5.5の投入は、同社が上位モデルのOpusとSonnetもバージョン5.5へとアップデートした動きの「締めくくり」となった。各社が小型モデルの性能と価格競争力を同時に高めるなか、日常業務レベルのタスクにおけるユーザー体験の差別化が、今後のAIプラットフォーム戦略の焦点となりそうだ。
合わせて読みたい: USDCは新興国市場を取り込めるか──Circleの次の一手
