DEV Community

Cover image for クロード ソネット 5 ベンチマーク：数値が明かす実際の性能
Akira
Akira

Posted on • Originally published at apidog.com

クロード ソネット 5 ベンチマーク：数値が明かす実際の性能

Claude Sonnet 5は2026年6月30日にリリースされました。Anthropicの主張は明確です。Opus 4.8に近いエージェント性能を、より低い価格で提供するというものです。この記事では、公開ベンチマークを実装判断に使える形で整理し、どのワークロードでSonnet 5を選ぶべきか、どこで独自評価が必要かを確認します。モデルの全体像はClaude Sonnet 5ピラーガイド、元データはAnthropicの公式発表ページを参照してください。

今すぐApidogを試す

結論から言うと、Sonnet 5はツールを使うタスクではOpus 4.8にかなり近づきます。一方、ツールなしの純粋な推論では差が広がります。モデル選定では、まず自分の処理が「ツールループ型」か「単発推論型」かを切り分けてください。

この記事の数値はAnthropicが発表したベンチマークであり、独立検証ではありません。導入前には、必ず自分のプロンプト、コードベース、API、制約条件で再評価してください。

ベンチマーク表

まず、Sonnet 5、Sonnet 4.6、Opus 4.8の報告スコアを並べます。

ベンチマーク 測定対象 Sonnet 5 Sonnet 4.6 Opus 4.8
SWE-bench Pro 実リポジトリでのエージェントコーディング 63.2% 58.1% 69.2%
Terminal-Bench 2.1 コマンドラインタスクの完了 80.4% 未報告 82.7%
OSWorld-Verified コンピューター使用、GUIタスク 81.2% 78.5% 83.4%

読み方は次の通りです。

  • Sonnet 5は、両方のスコアが報告されているベンチマークでSonnet 4.6を上回っています。
  • SWE-bench Proでは58.1%から63.2%へ改善しています。
  • OSWorld-Verifiedでは78.5%から81.2%へ上昇しています。
  • Opus 4.8との差は、SWE-bench Proで6.0ポイント、Terminal-Bench 2.1で2.3ポイント、OSWorld-Verifiedで2.2ポイントです。

実装判断で重要なのは、差が小さい領域です。Terminal-Bench 2.1とOSWorld-Verifiedは、コマンド実行、出力確認、再試行などのツール使用を含みます。つまり、Sonnet 5は「環境からフィードバックを得ながら進める処理」で強いという見方ができます。

判断基準：そのタスクはツールを使えるか

モデル選定では、ベンチマーク名よりも次の質問を先に置くべきです。

モデルは問題解決の途中でツールを呼び出し、結果を見て修正できるか？

たとえば、以下のような処理はSonnet 5向きです。

  • コード生成後にテストを実行する
  • CLIコマンドを実行して出力を読む
  • APIレスポンスを見て次のリクエストを組み立てる
  • ブラウザやGUI操作を段階的に進める
  • エージェントが失敗を検出して再試行する

一方、以下のような処理ではOpus 4.8の優位が出やすくなります。

  • 途中で検証できない長い推論
  • 複雑な仕様理解
  • 1回の回答で高精度が必要な設計判断
  • 外部ツールなしでの抽象的な問題解決

SWE-bench Proもエージェント型ですが、大規模コードベースに対する深い理解が必要です。そのため、Terminal-Bench 2.1やOSWorld-VerifiedよりもOpus 4.8との差が大きくなっています。

実務では、次のように切り分けると判断しやすくなります。

ワークロード 推奨しやすい選択
コーディングエージェント Sonnet 5を第一候補にする
CLI自動化 Sonnet 5を第一候補にする
APIテスト生成・修正 Sonnet 5を第一候補にする
複雑な単発推論 Opus 4.8も比較対象にする
高リスクな設計判断 Opus 4.8で検証する

価格とコンテキストを含む比較は、Claude Sonnet 5 vs Opus 4.8を参照してください。

価格を入れてスコアを読む

ベンチマークだけを見ると、最も高いスコアのモデルを選びたくなります。しかし、API利用では「成功率」だけでなく「成功あたりのコスト」が重要です。

Sonnet 5は、2026年8月31日まで以下の導入価格で提供されます。

  • 入力：100万トークンあたり2ドル
  • 出力：100万トークンあたり10ドル

その後は標準価格に移行します。

  • 入力：100万トークンあたり3ドル
  • 出力：100万トークンあたり15ドル

Opus 4.8は以下です。

  • 入力：100万トークンあたり5ドル
  • 出力：100万トークンあたり25ドル

つまり標準価格では、Sonnet 5はOpus 4.8の入力・出力コストの約60%です。

Terminal-Bench 2.1で2.3ポイント差、OSWorld-Verifiedで2.2ポイント差であれば、エージェント用途ではSonnet 5の方が費用対効果に優れる可能性があります。

ただし注意点があります。Sonnet 5は新しいトークナイザーを使用しており、同じ入力テキストに対して約30%多くのトークンを生成します。トークン単価だけを見ると判断を誤る可能性があります。

導入前には、次のように実測してください。

実コスト = 入力トークン数 × 入力単価 + 出力トークン数 × 出力単価
Enter fullscreen mode Exit fullscreen mode

比較時は、同じプロンプトで以下を記録します。

  • 入力トークン数
  • 出力トークン数
  • 成功・失敗
  • レイテンシー
  • stop_reason
  • 再試行回数
  • 成功あたりのコスト

価格の詳細はClaude Sonnet 5の価格ガイドで確認できます。

ベンチマークが見落とすもの

公開ベンチマークはモデルの相対比較には便利です。しかし、自社ワークロードでの性能をそのまま保証するものではありません。

1. あなたのコードベースはSWE-benchではない

SWE-benchは参考になりますが、実務では次のような違いがあります。

  • 社内API
  • 独自の命名規則
  • 既存の設計制約
  • TypeScriptやGoなど特定言語の比重
  • テストの粒度
  • レガシーコードの複雑さ

公開ベンチマークの順位は参考になりますが、絶対値はそのまま当てはめないでください。

2. 生の精度より成功あたりのコストが重要

たとえば、あるモデルの正解率が2ポイント低くても、コストが40%低ければ、同じ予算でより多くのタスクを処理できます。

エージェントを大量に実行する場合は、以下の指標で比較してください。

成功あたりのコスト = 総APIコスト / 成功タスク数
Enter fullscreen mode Exit fullscreen mode

失敗時に再試行する設計なら、再試行分も含めて計算します。

3. レイテンシーとスループットは別問題

ベンチマークは主に正解率を測ります。しかし実装では、以下も重要です。

  • 初回トークンまでの時間
  • 全体応答時間
  • 並列実行時の安定性
  • タイムアウト率
  • 適応的思考が有効な場合の挙動

インタラクティブな開発者ツールでは、最も高精度な回答より、十分に正確で速い回答の方が使いやすいことがあります。

安全性の実装上の注意

安全性はベンチマーク表には出にくいですが、API実装では重要です。

Anthropicは、Sonnet 5について次のように報告しています。

  • Sonnet 4.6より望ましくない行動の発生率が低い
  • ハルシネーションや追従性が少ない
  • リアルタイムのサイバーセキュリティ保護機能を備えた初のSonnetティアモデル

実装上の重要点は、拒否がHTTPエラーではなく成功レスポンスとして返る場合があることです。禁止または高リスクなサイバー関連トピックでは、HTTP 200で返りつつ、stop_reason: "refusal" になる可能性があります。

そのため、レスポンス処理ではHTTPステータスだけでなく stop_reason を確認してください。

if (response.stop_reason === "refusal") {
  // ユーザーに安全上の理由で処理できないことを表示する
  // リトライではなく、代替フローに進める
}
Enter fullscreen mode Exit fullscreen mode

また、Anthropicの自動行動監査では、Sonnet 5はOpus 4.8より高いミスアラインメント行動率を示したとされています。サイバー能力ではOpusモデルを下回り、どちらのSonnetモデルも機能するエクスプロイトを開発できなかったと報告されています。

詳細はAnthropicの透明性ハブを参照してください。

自分のタスクでSonnet 5を評価する

導入判断では、公開ベンチマークよりも自分のプロンプトでの再現性が重要です。最低限、以下の流れで評価してください。

  1. 評価用プロンプトを固定する
  2. 入力データを固定する
  3. モデルIDだけを切り替える
  4. 複数回実行する
  5. 成功条件をアサーション化する
  6. コストとレイテンシーを記録する
  7. CIで再実行できる形にする

APIクライアントを使うと、この比較を再現しやすくなります。Apidogでは、Anthropic Messages APIへのリクエストを保存し、APIキーを環境変数として管理し、同じリクエストをモデルIDだけ切り替えて実行できます。

保存するリクエストの例です。モデルIDは claude-sonnet-5 です。

curl https://api.anthropic.com/v1/messages \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-sonnet-5",
    "max_tokens": 2048,
    "messages": [
      {
        "role": "user",
        "content": "Refactor this function to remove the nested loop and explain the change."
      }
    ]
  }'
Enter fullscreen mode Exit fullscreen mode

A/Bテストでは、リクエストボディの大部分を固定し、model だけを切り替えます。

{
  "model": "{{MODEL_ID}}",
  "max_tokens": 2048,
  "messages": [
    {
      "role": "user",
      "content": "Refactor this function to remove the nested loop and explain the change."
    }
  ]
}
Enter fullscreen mode Exit fullscreen mode

比較対象として、次のように切り替えます。

claude-sonnet-5
claude-opus-4-8
claude-sonnet-4-6
Enter fullscreen mode Exit fullscreen mode

Apidogでは、MODEL_ID を環境変数にしておけば、1回の変更で複数リクエストを同じモデルに切り替えられます。

評価では、少なくとも以下を確認してください。

// 疑似コード
assert(response.stop_reason !== "refusal");
assert(response.content.length > 0);
assert(response.usage.input_tokens > 0);
assert(response.usage.output_tokens > 0);
Enter fullscreen mode Exit fullscreen mode

さらに、タスクごとの成功条件も明示します。

例：

  • テストコード生成なら「指定した関数名を含む」
  • APIレスポンス解析なら「JSONとしてパースできる」
  • リファクタリングなら「既存の関数シグネチャを保持する」
  • ドキュメント生成なら「必須セクションをすべて含む」

APIテストの設定方法は、Postmanなしでのテストガイドで詳しく説明されています。

移行時の注意点

Sonnet 5でベンチマークを行う前に、古いパラメータを確認してください。

Sonnet 5は、デフォルト以外の以下を受け付けません。

  • temperature
  • top_p
  • top_k

また、古い形式の以下も拒否されます。

{
  "thinking": {
    "type": "enabled",
    "budget_tokens": 1024
  }
}
Enter fullscreen mode Exit fullscreen mode

これらを含めたまま実行すると400エラーになります。モデル比較の前に、リクエストボディをSonnet 5対応に整理してください。

悪い例：

{
  "model": "claude-sonnet-5",
  "temperature": 0.2,
  "top_p": 0.9,
  "max_tokens": 2048,
  "messages": []
}
Enter fullscreen mode Exit fullscreen mode

修正例：

{
  "model": "claude-sonnet-5",
  "max_tokens": 2048,
  "messages": []
}
Enter fullscreen mode Exit fullscreen mode

リクエストを一度作成し、評価したいすべてのモデルで再利用するには、Apidogをダウンロードしてください。

実装判断のまとめ

Sonnet 5を検討する場合は、次の順で判断すると実装に落とし込みやすくなります。

  1. タスクがツールループ型か単発推論型かを分類する
  2. Sonnet 5、Opus 4.8、Sonnet 4.6で同じプロンプトを実行する
  3. 成功率だけでなく、成功あたりのコストを計算する
  4. レイテンシーと再試行回数を記録する
  5. stop_reason: "refusal" をアプリ側で処理する
  6. 不要な旧パラメータを削除して400エラーを避ける
  7. CIで評価を継続実行する

公開ベンチマーク上では、Sonnet 5はSonnet 4.6から明確に改善し、ツール使用タスクではOpus 4.8にかなり近い位置にあります。多くのエージェント型ワークロードでは、まずSonnet 5を評価対象にし、深い単発推論が必要な箇所だけOpus 4.8を比較するのが現実的です。

よくある質問

Claude Sonnet 5のSWE-bench Proスコアはどのくらいですか？

Anthropicの発表データでは、Sonnet 5は63.2%です。Sonnet 4.6は58.1%、Opus 4.8は69.2%です。Sonnet 4.6からは5ポイント以上改善し、Opus 4.8との差は約6ポイントです。

Sonnet 5はOpus 4.8より優れていますか？

生のベンチマークスコアではOpus 4.8が上です。ただし、Sonnet 5はツールを多用するタスクでOpus 4.8に1〜3ポイント差まで近づき、価格は標準料金でOpus 4.8の約60%です。エージェントやコーディングループでは、Sonnet 5の方が費用対効果に優れる可能性があります。詳細はClaude Sonnet 5 vs Opus 4.8を参照してください。

これらのベンチマーク数値は独立したテストですか？

いいえ。Anthropicが発表したベンチマークです。導入前には、自分のコード、API、プロンプト、成功条件で検証してください。

Sonnet 5がツールタスクで相対的に強い理由は何ですか？

コマンド実行、API呼び出し、テスト実行などで結果を確認しながら修正できるためです。モデルが環境からフィードバックを得られる場合、途中の誤りを補正できます。ツールなしの単発推論では補正機会が少ないため、Opus 4.8の推論能力との差が出やすくなります。

自分のプロンプトでSonnet 5をベンチマークするにはどうすればよいですか？

Anthropic Messages APIで claude-sonnet-5 を指定し、同じリクエストをApidogなどに保存します。その後、モデルIDだけを claude-opus-4-8 や claude-sonnet-4-6 に切り替えて再実行し、成功率、コスト、レイテンシー、stop_reason を比較してください。

Top comments (0)