GLM 5.3 をローカルに導入するには？

• 4-bit 最小VRAM470 GB · 8K
• パラメータ数744B
• アクティブ40B
• 最大コンテキスト1M

アーキテクチャ

MoE

エキスパートオフロード

VRAM 14 GB + RAM 457 GB

ライセンス

GLM-5.3 License

発売日

2026年8月28日

提供元

Z.ai / Zhipu AI

Hugging Face リポジトリ

zai-org/GLM-5.3

GGUF リポジトリ

unsloth/GLM-5.3-GGUF

NVFP4 リポジトリ（Blackwell）

nvidia/GLM-5.3-NVFP4

MLX リポジトリ（Apple）

mlx-community/GLM-5.3-4bit

レイヤー数

78

隠れ層次元

6,144

KV ヘッド数

64

ヘッド次元

192

詳しい計算ルールはデータの作り方ページをご覧ください。

よく使われる GPU とマシンだけを、50B 未満と 50B 以上のモデルで分けて、価格の安い順に掲載しています。

デバイス	必要枚数	合計価格	合計 VRAM	速度 t/s	合計消費電力
A100 80GB PCIe1 枚 80 GB	8 枚	価格なし	640 GB	44.2	2,400 W
RTX PRO 60001 枚 96 GB	8 枚	価格なし	768 GB	41.6	4,800 W
Instinct MI2101 枚 64 GB	8 枚	価格なし	512 GB	38.7	2,400 W
RTX PRO 5000 72GB1 枚 72 GB	8 枚	価格なし	576 GB	32.8	2,400 W
DGX Spark 128GB1 台 128 GB	4 台	価格なし	512 GB	7.6	960 W

Mac Studio は Thunderbolt 5 で連結し、MLX や exo で動かします。vLLM は対応していません。詳しい計算ルールはデータの作り方ページをご覧ください。

詳しい計算ルールはデータ方法のページで確認できます。

一部の購入リンクはアフィリエイトリンクです。リンク経由でご購入いただくと当サイトが手数料を受け取ることがありますが、お支払い金額は変わりません。

1. 1

   思考は段階を変えられるだけでオフにはできない

   思考の強度は reasoning_effort で low、high、max から選び、既定は max です。5.2 のように完全にオフにすることはできません。チャットでは clear_thinking を true にしてください。そうしないと、前のターンの思考がコンテキストを占有し続けます。サンプリングパラメータは、一般的なタスクで temperature 1.0、top_p 0.95、長時間のエージェントタスクでは top_p を 1.0 に変えます。

2. 2

   ライセンスの追加条項

   追加された条項は「Model as a Service」だけを対象としています。収益規模が非常に大きい API 事業者は、商用利用の前に Zhipu AI の安全審査に通る必要があります。自社製品の一機能としてモデルの能力を組み込む場合や、リクエストを中継するだけの場合は Model as a Service に当たりません。個人や一般企業が自分でデプロイする分には影響ありません。

3. 3

   推論エンジンのバージョン

   vLLM のレシピは本文では 0.28.0 以降としていますが、ページに表示されている最低バージョンは 0.29.0 なので、0.29 以上を入れておくのが確実です。公式のメインリポジトリは FP8 の重みに切り替わり、BF16 は別の GLM-5.3-BF16 にあります。llama.cpp で Unsloth の GGUF を使うなら、2026 年 7 月 24 日以降のバージョン（スパースアテンションのインデクサーを含む）が必要です。Ollama ライブラリの glm-5.3 には :cloud タグしかなく、クラウド版なのでローカルでは動きません。

4. 4

   量子化

   Unsloth が推奨しているのは 2-bit の UD-IQ2_M です。同社のテストでは、オリジナルと同じトークンを第一候補に選ぶ割合が、動的 1-bit 版で約 76%、2-bit で約 81% でした。オリジナルに最も近いのは 4-bit と 5-bit の動的量子化（UD-Q4_K_XL、UD-Q5_K_XL）で、4-bit は約 467 GB です。

5. 5

   チャットテンプレートの落とし穴

   GLM のチャットテンプレートは .{id}. という書き方を使っており、これを解釈できない推論エンジンが少なくありません。Unsloth は自社版でこれを [id] に書き換えています。ほかの配布元の重みでテンプレートのエラーが出たら、同じように直せます。

llama-server -hf unsloth/GLM-5.3-GGUF:UD-Q4_K_XL -c 8192

llama-server -hf unsloth/GLM-5.3-GGUF:UD-Q4_K_XL -c 8192 -ngl 99 \
  --cpu-moe

vllm serve zai-org/GLM-5.3 \
  --kv-cache-dtype fp8 \
  --tensor-parallel-size 8 \
  --speculative-config.method mtp \
  --speculative-config.num_speculative_tokens 5 \
  --tool-call-parser glm47 \
  --reasoning-parser glm47 \
  --enable-auto-tool-choice \
  --served-model-name glm-5.3

mlx_lm.server --model mlx-community/GLM-5.3-4bit

ファイル名はその週のモデルライブラリ取得時点のものです。定義はデータ方法を参照してください。 データ方法

モデル	総パラメータ	アクティブ	4-bit のサイズ
GLM 4.7 FlashMoE	30B	3B	18.3 GB
GLM 4.5 AirMoE	106B	12B	73 GB
GLM 5.3 FlashMoE	320B	18B	199.7 GB
GLM 5.2MoE	744B	40B	465.8 GB

GLM について