GLM 5.3 Flash をローカルに導入するには？

• 4-bit 最小VRAM201 GB · 8K
• パラメータ数320B
• アクティブ18B
• 最大コンテキスト1M

アーキテクチャ

MoE

エキスパートオフロード

VRAM 9 GB + RAM 194 GB

ライセンス

MIT

発売日

2026年8月26日

提供元

Z.ai / Zhipu AI

Hugging Face リポジトリ

zai-org/GLM-5.3-Flash

GGUF リポジトリ

unsloth/GLM-5.3-Flash-GGUF

NVFP4 リポジトリ（Blackwell）

nvidia/GLM-5.3-Flash-NVFP4

MLX リポジトリ（Apple）

mlx-community/GLM-5.3-Flash-4bit

レイヤー数

45

隠れ層次元

4,096

KV ヘッド数

64

ヘッド次元

256

詳しい計算ルールはデータの作り方ページをご覧ください。

デバイス	価格	速度 t/s	最大コンテキスト
Mac Studio M3 Ultra 512GBマシン全体 · 512 GB	価格なし	44.1	1M

よく使われる GPU とマシンだけを、50B 未満と 50B 以上のモデルで分けて、価格の安い順に掲載しています。

デバイス	必要枚数	合計価格	合計 VRAM	速度 t/s	合計消費電力
Arc Pro B701 枚 32 GB	8 枚	¥2,774,496	256 GB	34.3	1,840 W
GeForce RTX 50901 枚 32 GB	8 枚	¥11,199,920	256 GB	76.9	4,600 W
RTX A60001 枚 48 GB	8 枚	¥12,092,568	384 GB	41.5	2,400 W
A100 80GB PCIe1 枚 80 GB	4 枚	価格なし	320 GB	80.7	1,200 W
RTX PRO 60001 枚 96 GB	4 枚	価格なし	384 GB	76.9	2,400 W
Instinct MI2101 枚 64 GB	4 枚	価格なし	256 GB	72.5	1,200 W
RTX PRO 5000 72GB1 枚 72 GB	4 枚	価格なし	288 GB	63.4	1,200 W
GeForce RTX 4090 48GB1 枚 48 GB	8 枚	価格なし	384 GB	51.4	3,600 W
Tesla V100 32GB1 枚 32 GB	8 枚	価格なし	256 GB	47.1	2,000 W
DGX Spark 128GB1 台 128 GB	2 台	価格なし	256 GB	16.9	480 W

詳しい計算ルールはデータの作り方ページをご覧ください。

詳しい計算ルールはデータ方法のページで確認できます。

一部の購入リンクはアフィリエイトリンクです。リンク経由でご購入いただくと当サイトが手数料を受け取ることがありますが、お支払い金額は変わりません。

1. 1

   どの量子化を選ぶか

   Unsloth は、各量子化がオリジナルと同じトークンを第一候補に選ぶ割合を測定しています。2-bit（約 109 GB）で約 78%、3-bit（約 148 GB）で約 86%、4-bit（約 200 GB）で約 92% です。3-bit は 2-bit より約 8 ポイント高いので、メモリが足りるなら少なくとも 3-bit をおすすめします。ただしこの 3-bit は 128GB のデバイスには収まらず、Unsloth は 128GB のデバイスでのデモに、より小さい 3-bit の UD-IQ3_XXS（約 82%）を使っています。

2. 2

   llama.cpp のメインラインでそのまま動く

   llama.cpp のメインラインは 2026 年 9 月 30 日に対応をマージしました（PR #27773）。テキストと画像の両方に対応しています。Unsloth は 10 月 5 日にメインラインの変更に合わせて GGUF の分割ファイルを更新したので、いまは標準の llama.cpp で読み込め、Unsloth のブランチは不要です。MTP による投機的デコードも 10 月 7 日にメインラインへ入り（PR #29928）、長いコンテキストでの生成が速くなりました。Ollama ライブラリの glm-5.3-flash には :cloud タグしかなく、クラウド経由で呼び出すものなのでローカルでは動きません。

3. 3

   vLLM の制約

   vLLM のレシピは Hopper 以降の NVIDIA カードと FlashInfer 0.6.17 以上を要求しており、NVIDIA では当面 vllm/vllm-openai:glm53-flash イメージを使う必要があります。Hopper では、このモデルのコンテキストのキャッシュを FP8 で保持することはできません。公式のメインリポジトリは FP8 の重みで、BF16 は別の GLM-5.3-Flash-BF16 にあります。

4. 4

   思考の段階

   使い方は GLM 5.3 と同じです。段階は low、high、max の 3 つだけで既定は max、チャットでは clear_thinking をオンにします。Unsloth が示すパラメータは、一般的なタスクで temperature 1.0、top_p 0.95、DeepSWE のようなプログラミングタスクで temperature 0.95、top_p 1.0 です。

5. 5

   長いコンテキストでも VRAM をほとんど使わない理由

   45 層のうち 34 層は線形アテンション（Kimi K3 と同じ種類）を使っています。この層は固定サイズの状態を 1 つ保持するだけで、コンテキストが長くなっても大きくなりません。コンテキストに応じてキャッシュが増えるのは残りの 11 層だけです。そのため 4-bit で 32K から 1M に広げても、増えるのは約 11 GB だけです。

llama-server -hf unsloth/GLM-5.3-Flash-GGUF:UD-Q4_K_XL -c 8192

llama-server -hf unsloth/GLM-5.3-Flash-GGUF:UD-Q4_K_XL -c 8192 -ngl 99 \
  --cpu-moe

vllm serve zai-org/GLM-5.3-Flash \
  --tensor-parallel-size 4 \
  --speculative-config '{"method":"mtp","num_speculative_tokens":5}' \
  --tool-call-parser glm47 \
  --reasoning-parser glm47 \
  --enable-auto-tool-choice \
  --served-model-name zai-org/GLM-5.3-Flash

mlx_vlm.server --model mlx-community/GLM-5.3-Flash-4bit

ファイル名はその週のモデルライブラリ取得時点のものです。定義はデータ方法を参照してください。 データ方法

モデル	総パラメータ	アクティブ	4-bit のサイズ
GLM 4.7 FlashMoE	30B	3B	18.3 GB
GLM 4.5 AirMoE	106B	12B	73 GB
GLM 5.2MoE	744B	40B	465.8 GB
GLM 5.3MoE	744B	40B	467.3 GB

GLM について