GLM-5.3 vs GLM-5.2：実 API で高難度6課題を比較
基礎問題の比較では、GLM-5.3 のほうが限られた出力予算内で可視回答を返しやすい傾向がありました。そこで今回は難度を上げ、極難数学、因果推論、制約充足、厳密 JSON、多段階物理、実行可能な最適化コードの6課題を同条件で実行しました。
初回提出の結果は GLM-5.3 が 4/6、GLM-5.2 が 2/6 です。ただし、依存関係付き最適化コードで隠しテストに合格したのは GLM-5.2 だけでした。
テスト条件
| 項目 | 設定 |
|---|---|
| Base URL | https://cn.crazyrouter.com |
| Endpoint | POST /v1/chat/completions |
| Model |
glm-5.3, glm-5.2
|
| Temperature | 0.2 |
| 外部ツール | 使用しない |
| 評価 | 初回提出を採点。高予算再試行は原因診断のみ |
テスト前に GET https://cn.crazyrouter.com/v1/models で両方のモデル ID を確認しました。初回12リクエストの returned model はすべて要求した ID と一致しています。
初回結果
| 課題 | 予算 | GLM-5.3 | GLM-5.2 |
|---|---|---|---|
| 不等確率 coupon collector | 9,000 | length、本文なし | length、本文なし |
| Simpson のパラドックスと因果 | 6,000 | 合格 | length、本文なし |
| 最小 UNSAT コア | 5,000 | 厳密 JSON で合格 | length、本文なし |
| 地域別ネスト JSON | 4,000 | 合格 | 合格 |
| 滑車・弛んだロープ・摩擦・ばね | 14,000 | 合格 | length、本文なし |
| 依存関係付き最適化コード | 16,000 | length、本文なし | 隠しテスト合格 |
極難数学は両モデルとも未完了
coupon の確率を 1/2, 1/4, 1/8, 1/8 とし、包含排除で次の2値を求める課題です。
E[T] = 1339/105 ≈ 12.752380952
P(T<=8) = 46179/131072 ≈ 0.352317810
両モデルとも9,000 reasoning tokenを消費し、可視本文を返しませんでした。GLM-5.3 は20,000 tokenでも同じ結果、GLM-5.2 は20k再試行で420秒の読み取りタイムアウトになりました。
max_tokens を増やすだけでは解決しないケースです。finish_reason、可視本文、タイムアウトを同時に監視する必要があります。
GLM-5.3 が強かった領域
Simpson 課題では、GLM-5.3 は次の反転を正しく説明しました。
小結石: A 81/87 > B 234/270
大結石: A 192/263 > B 55/80
全体: A 273/350 < B 289/350
50/50 標準化: A=0.8305, B=0.7771
さらに、標準化だけで因果関係は確定せず、ランダム化、未測定交絡、positivity、信頼区間が必要だと指摘しました。
最小 UNSAT コアでは、余分な Markdown を付けず、[1,2,3] を含む単一 JSON を返しました。制約1と2で C=A+2、制約3で D=A+2 となり、CとDの位置が衝突するという証明も正確でした。
多段階物理では、Bが地面に衝突してロープが弛んだ後に系を切り替え、次の4値をすべて満たしました。
a ≈ 0.847 m/s²
v1 ≈ 1.59 m/s
v2 ≈ 1.18 m/s
x ≈ 0.0835 m
コードでは GLM-5.2 が勝った
実装対象は optimize_release_plan(items, capacity_by_day, dependencies) です。推移的依存、日別容量、value 最大化、risk 最小化、辞書順 tie-break、不正参照、循環依存を処理する必要があります。
GLM-5.2 の原始 Python ファイルは修正なしで隠しテストに合格しました。GLM-5.3 は16kで本文がなく、24k再試行ではコードを生成したものの、正しい最適値29ではなく24の計画を選びました。
コード生成は、文章の自然さやファイルの長さでは評価できません。必ず import とテスト実行が必要です。
API 呼び出し例
import os
import requests
r = requests.post(
"https://cn.crazyrouter.com/v1/chat/completions",
headers={"Authorization": f"Bearer {os.environ['CRAZYROUTER_API_KEY']}"},
json={
"model": "glm-5.3",
"messages": [{"role": "user", "content": "実際の受け入れテスト"}],
"temperature": 0.2,
"max_tokens": 6000,
},
timeout=600,
)
choice = r.json()["choices"][0]
assert choice["finish_reason"] == "stop"
assert choice["message"]["content"].strip()
運用上の提案
- 因果分析、制約推論、多段階導出は今回 GLM-5.3 が安定していました。
- 実行可能コードでは GLM-5.2 を候補から外さず、同じテストスイートで比較します。
-
HTTP 200 + 空本文を業務成功にしないでください。 - JSON は parse と schema 検証を必須にします。
- 初回成功率と再試行後成功率を別々に記録します。
結論
GLM-5.3 は初回完遂率で 4/6 対 2/6 と優位でした。しかし、実行可能な最適化コードでは GLM-5.2 が唯一の合格モデルです。新しいバージョンへの一律置換より、課題タイプ別ルーティングと厳密な受け入れテストが合理的です。
Top comments (0)