GLM-5.3-Flashは、MITライセンスで公開された3,200億パラメータのMoEモデルです。自由に利用・改変・再配布できますが、フル精度で動かすには本格的なハードウェアが必要です。
ただし、各トークンで有効になるのは1,800億ではなく180億パラメータです。さらに量子化GGUFビルドもあるため、8x H200の本番ノードだけでなく、大容量RAMのワークステーションやマルチGPU環境でも試せます。
モデル仕様
| プロパティ | 値 |
|---|---|
| 総パラメータ数 | 3,200億 |
| トークンあたりのアクティブ数 | 180億 |
| アーキテクチャ | MoE、ハイブリッド線形・スパースアテンション |
| コンテキスト長 | 1,048,576トークン |
| ライセンス | MIT |
| ウェイト | zai-org/GLM-5.3-Flash |
| GGUF量子化 | unsloth/GLM-5.3-Flash-GGUF |
MoEでは全ウェイトをメモリに保持する必要がありますが、推論時に使うのは一部のエキスパートです。そのため主な制約はFLOPsではなくメモリ容量になります。
Z.aiによれば、GLM-5.3-FlashのKVキャッシュはGLM-5.3より約4.4倍小さくなっています。それでも、長いコンテキストや高い同時実行数ではKVキャッシュが主要なメモリ消費要因になります。
Tier 1: フル精度の本番デプロイ
高品質かつ実用的な同時実行性を求める場合、基準構成は8x H200です。各GPUは141GBで、合計VRAMは約1,128GBになります。8x H20構成でも動作します。
ウェイトだけで精度に応じて約700〜800GBが必要で、さらにKVキャッシュとランタイム用の余裕が必要です。このクラスのノードは、クラウドで1日あたり約24〜48ドルが目安です。
vLLMで起動する
vLLMはエコシステムが広く、まず試すランタイムとして適しています。テンソル並列サイズは2のべき乗にしてください。
vllm serve zai-org/GLM-5.3-Flash \
--tensor-parallel-size 8 \
--max-model-len 1048576 \
--trust-remote-code
初回は小さな--max-model-lenで検証してください。最初から100万トークンを指定すると、その分のKVキャッシュが確保され、設定ミスではなく単純なメモリ不足として失敗しやすくなります。
SGLangで起動する
SGLangはH100、H200、B200、B300、GB200、GB300向けの公開レシピを提供し、マルチモーダルを含む「デイゼロ」サポートを行っていました。Z.aiもプレローンチサービスでSGLangベースのスタックを使っています。
python -m sglang.launch_server \
--model-path zai-org/GLM-5.3-Flash \
--tp 8 \
--context-length 1048576
構造化出力や高同時実行のエージェント用途では、SGLangが有利になることがあります。コーディングエージェントを運用するなら、vLLMと両方ベンチマークしてください。
どちらのランタイムでも、ファンクション呼び出しを使う場合はツール呼び出しパーサーの設定が必要です。パーサー名やフラグはリリースごとに変わるため、各プロジェクトの最新ドキュメントを確認してください。
Tier 2: 量子化して小規模環境で動かす
unsloth/GLM-5.3-Flash-GGUFには、IQ1_SやIQ2_XXSを含む積極的な1ビット・2ビット量子化ビルドがあります。2ビット量子化とCPUオフロードを組み合わせれば、大容量メモリのワークステーションやマルチGPUのコンシューマー環境でもウェイトを保持できる可能性があります。
ただし、次の2点を前提にしてください。
- 積極的な量子化は品質を下げます。 IQ1_Sはフル精度と同等ではありません。MoEでは劣化が密なモデルより穏やかな場合もありますが、必ず自分のタスクで評価してください。
- Unslothのこのモデル向けドキュメントは進行中です。 利用可能な量子化形式や推奨構成は変わる可能性があるため、構築前に公開済みアーティファクトを確認してください。
CPU中心のハイブリッド構成には、MoEエキスパートをシステムRAMに置き、必要な部分だけGPUに移すKTransformersが適しています。TokenSpeedもサポート対象ランタイムに含まれています。
ローカル実行の流れは、以下のガイドも参考になります。
メモリ予算を見積もる
必要なメモリは主にウェイトとKVキャッシュで決まります。
ウェイト
| 精度 | 概算ウェイト容量 |
|---|---|
| BF16 | 約640GB以上 |
| FP8 | BF16の約半分 |
| 4ビット量子化 | 約160GB |
| 2ビット量子化 | さらに少ないが品質低下が大きい |
BF16では、3,200億パラメータ × 約2バイトで、オーバーヘッドを除いて約640GBです。
KVキャッシュ
KVキャッシュはコンテキスト長と同時実行数に比例して増えます。8Kコンテキストで動く構成でも、128Kではウェイトではなくキャッシュ容量不足で失敗することがあります。
実際に使うコンテキスト長に合わせてmax-model-lenを決めてください。使わない100万トークンのウィンドウを確保することは、セルフホスティングを不必要に高コスト化する典型例です。
以前のオープンウェイトに関する情報は、GLM-5.3のセルフホスティングに関する投稿も参照できます。ただし、現在はFlashのウェイトがMITで公開されているため、本記事の前提を優先してください。
ファインチューニング
MITライセンスにより、ファインチューニングと再配布が可能です。これはこの能力帯のモデルでは珍しく、セルフホストする強い理由になります。
一方で、3,200億パラメータのフルファインチューニングは多くのチームにとって現実的ではありません。実務ではLoRAなどのパラメータ効率の高い手法を検討してください。MoEでは、ルーター、エキスパート、アテンション層のどこを適応させるかも設計対象です。
ドメイン適応が目的なら、まずベースモデルに対するプロンプト設計と検索拡張を評価しましょう。100万トークンのコンテキストを使えるモデルでは、知識をプロンプトに与える方が学習より安価かつ有効なケースがあります。
推論パラメータ
Z.aiの推奨値は次のとおりです。
| ユースケース | temperature |
top_p |
|---|---|---|
| 一般 | 1.0 | 0.95 |
| コーディング | 0.95 | 1.0 |
また、reasoning_effortでlow、high、maxの3つの推論モードを使えます。デフォルトはmaxです。
ローカル実行では特に重要です。推論トークンのコストはAPI料金ではなく生成時間として現れます。生成速度が不足する場合は、lowが実用性を左右します。
セルフホスティングはコスト面で得か？
通常は得ではありません。
GLM-5.3-Flashの定価は、100万入力トークンあたり0.15ドルです。月額約1,000ドルで借りられる8x H200ノードは、約67億入力トークン分のAPI利用に相当します。これを継続的に超える利用量を維持するのは大規模な運用です。
ノードはアイドル中でも費用がかかりますが、APIは使った分だけ支払います。利用率が終日高くない限り、固定費では不利です。
セルフホスティングを選ぶ主な理由は、コスト以外にあります。
- データ所在とプライバシー: データを自社インフラから出さない。
- レート制限の回避: 自分の計算資源を自由に使える。
- 可用性の制御: ベンダーの障害や価格変更に依存しない。
- MITライセンス: 改変、ファインチューニング、再配布が可能。
- 既存GPUの活用: すでにアイドルGPUを持つなら、追加コストは主に電気代。
APIコスト側の詳細は、GLM-5.3-Flashの価格内訳を参照してください。
デプロイを検証する
vLLMとSGLangはOpenAI互換エンドポイントを公開します。まずは次のリクエストで疎通を確認します。
curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "zai-org/GLM-5.3-Flash",
"messages": [{"role": "user", "content": "reply with OK"}]
}'
疎通確認の後は、実アプリケーションに近い条件で検証してください。
- 実運用で必要な長さの長文コンテキスト
- マルチモーダルを使う場合の画像入力
- 実際のJSONスキーマによるツール呼び出し
- 単発レイテンシーではなく同時実行時のスループット
Apidogでは、じ保存済みコレクションを実行できます。量子化ビルドが本番で使うツールスキーマを維持できるか、早い段階で比較・検証できます。
FAQ
最低限必要なハードウェアは？
フル精度では8x H200クラスのノードが基準です。量子化GGUFなら小規模構成でも動かせますが、量子化率に応じて品質は下がります。
3,200億パラメータすべてをメモリにロードする必要がありますか？
はい。各トークンで有効なのは180億ですが、全ウェイトを常駐させる必要があります。主な制約は計算量ではなくメモリです。
vLLMとSGLangのどちらを選ぶべきですか？
広いエコシステムを重視するならvLLM、高同時実行性・構造化出力・公開済みマルチモーダルレシピを重視するならSGLangを試してください。最終的には実ワークロードで比較します。
シングルGPUで動かせますか？
フル精度では困難です。KTransformers、積極的な量子化、CPUオフロード、大容量RAMを組み合わせれば可能性はありますが、生成速度は低下します。
ライセンスは本当にMITですか？
はい。ウェイトはMITとして公開されており、商用利用、改変、再配布が可能です。
Top comments (0)