先に結論
高難度ラウンドでは Claude Opus 5 が 17/18（94.4%）、GPT-5.6 Luna が 16/18（88.9%）でした。差は1問であり、Opusが常に上という証明ではありません。重要なのは失敗の形です。Opusは3本のアルゴリズムをそのまま実行できる形で納品した一方、厳密JSONで余計な囲みを付けました。Lunaは3つの形式指示をすべて守りましたが、2本のPythonファイルがimport時に停止しました。
なぜ問題を難しくしたのか
最初の8問は両モデルとも8/8で、差が出ませんでした。そこで第2ラウンドを18問に増やし、6分野それぞれに hard、harder、extreme を配置しました。正確な分数、多段階の物理モデル、完全なPythonファイル、誤った前提の拒否、一意な制約解、文字単位の出力形式を要求しています。説明が巧みかどうかではなく、決定的な主張を計算、JSONパース、Python実行で確認できるかを評価しました。
18問をどう採点したか
同一の問題文、system指示、temperature、問題別の出力予算を使いました。数学と物理は厳密値または数値許容差で検証し、コードは回答のまま保存して共通のhidden testへimportしました。JSONとCSVは「意味が通る」ではなく、機械入力として合格するかで判定しています。モデル自身のassertを削除すれば動く場合も、原因分析には使いますが初回納品を合格へ変更しません。回線遅延は生JSONにだけ残し、勝敗には一切使っていません。
6分野の結果
| 評価分野 | Opus 5 | GPT-5.6 Luna |
|---|---|---|
| 数学的推論 | 3/3 | 3/3 |
| 複雑な物理 | 3/3 | 3/3 |
| アルゴリズム納品 | 3/3 | 1/3 |
| 誤った前提への耐性 | 3/3 | 3/3 |
| 制約推論 | 3/3 | 3/3 |
| 指示遵守 | 2/3 | 3/3 |
| Total | 17/18 (94.4%) | 16/18 (88.9%) |
アルゴリズム差は「納品物」の差だった
Lunaが失敗した2問は、末尾の自己テストを外すと関数本体がhidden testを通過しました。しかし自己テストの期待値が誤っており、元ファイルはimport時にAssertionErrorを起こします。「完全なPythonファイル」という契約では失敗です。Opusの3ファイルは元のままimportと共通テストに通りました。本番では、正しそうな関数と、そのまま利用できる成果物を分けて考える必要があります。
厳密JSONではLunaが優位
Opusの唯一の失敗は逆方向でした。JSONのキーと値は正しいのに、「JSONオブジェクトだけ」という指示に反してMarkdownのコードフェンスを追加しました。独立再試行でも同じです。Lunaは指示遵守3問をすべて通過しました。出力を直接パーサーへ渡す処理では、囲みの有無も正確性の一部です。
出力予算と知能上の誤りを分離
初期試行の一部は、内部推論が出力予算を使い切りfinish_reason=lengthになりました。これは証拠として保存しましたが、知能の誤りには数えていません。両モデルの有効予算を同条件で増やしてから採点したためです。ただし、長い推論で可視成果物の領域が不足するという統合上のリスクは残ります。
本番ルーティングへの落とし込み
厳密JSON、CSV、短い抽出、大量の構造化処理はLunaを第一候補にしつつ、schema検証を必須にします。長いアルゴリズム、境界条件、防御的な実装はOpusを第一候補にします。数学、複雑な物理、誤前提、制約推論は本サンプルで同点なので、価格、API互換性、文章量で選ぶ方が合理的です。どちらでもJSONをparseし、数値を照合し、コードを回答のまま実行してください。
再現方法と生データ
実行スクリプトはscripts/opus5_vs_luna_hard_benchmark.py、全結果は.tmp/opus5-vs-luna-hard-benchmark-results.jsonです。独立再試行は.tmp/opus5-hard-failure-retry.jsonと.tmp/luna-hard-failure-retry.jsonにあります。APIはhttps://cn.crazyrouter.com/v1/chat/completionsを使用し、遅延値は生データでのみ確認できます。
よくある質問
17/18ならOpus 5が総合勝者ですか？
いいえ。この18問では1問リードした、という意味です。画像、ツール利用、超長文脈、複数ターンのagentは対象外です。
誤った自己テストをアルゴリズム失敗に含める理由は？
要求が完全なPythonファイルだからです。元ファイルがimportで落ちるなら、人手で直さずに利用できません。
なぜ速度を結論に入れないのですか？
遅延はモデルだけでなく、ゲートウェイ、上流負荷、経路状態にも左右されます。運用証拠としては有用でも、知能の正確性とは別です。
最終評価
検証可能な正確性を優先した本テストでは、アルゴリズム3問を完全納品したOpus 5が 17/18 対 16/18で1問リードしました。一方、厳密な指示遵守はLunaが上です。結論は万能の勝者ではなく、再現可能な失敗傾向に基づく使い分けです。
Top comments (1)
Claude Opus 5 と GPT-5.6 Luna のベンチマーク結果では、Opus 5 が 17/18（94.4%）で GPT-5.6 Luna が 16/18（88.9%）と、Opus 5 が 1 問リードしたことが分かります。特に注目すべきは、両モデルの失敗形態で、Opus 5 は厳密な JSON パースで失敗した一方、GPT-5.6 Luna はアルゴリズム納品で失敗した点です。実際の運用では、モデル選択の際にこれらの違いを考慮し、特定のタスクに最も適したモデルを選択することが重要です。たとえば、厳密な JSON 処理が必要な場合は GPT-5.6 Luna を、アルゴリズム納品が重要な場合は Claude Opus 5 を選択するかもしれません。どのようにしてこれらのベンチマーク結果を実際の開発シナリオに適用するのが最も効果的だと考えられますか。