GLM 5.3 Flash 如何本地部署？

• 4-bit 最低顯示記憶體201 GB · 8K
• 參數量320B
• 激活參數18B
• 上下文上限1M

架構

MoE

專家卸載

9 GB 顯存 + 194 GB 記憶體

授權

MIT

發布日期

2026年8月26日

廠商

Z.ai / Zhipu AI

Hugging Face 倉庫

zai-org/GLM-5.3-Flash

GGUF 倉庫

unsloth/GLM-5.3-Flash-GGUF

NVFP4 倉庫（Blackwell）

nvidia/GLM-5.3-Flash-NVFP4

MLX 倉庫（Apple）

mlx-community/GLM-5.3-Flash-4bit

層數

45

隱藏維度

4,096

KV 頭

64

頭維度

256

詳細計算規則可在資料方法頁查看。

裝置	價格	速度 t/s	最大上下文
Mac Studio M3 Ultra 512GB整機 · 512 GB	NT$573,1654 筆掛單	44.1	1M

只列常見的顯示卡和整機，50B 以下和以上的模型各一組，按價格從低到高。

裝置	需要幾張	總價	總顯示記憶體	速度 t/s	總功耗
Tesla V100 32GB單卡 32 GB	8 張	NT$163,831	256 GB	47.1	2,000 W
Instinct MI210單卡 64 GB	4 張	NT$360,799	256 GB	72.5	1,200 W
DGX Spark 128GB單台 128 GB	2 台	NT$419,330	256 GB	16.9	480 W
Arc Pro B70單卡 32 GB	8 張	NT$507,058	256 GB	34.3	1,840 W
RTX PRO 5000 72GB單卡 72 GB	4 張	NT$950,611	288 GB	63.4	1,200 W
RTX A6000單卡 48 GB	8 張	NT$1,248,238	384 GB	41.5	2,400 W
GeForce RTX 5090單卡 32 GB	8 張	NT$1,911,364	256 GB	76.9	4,600 W
RTX PRO 6000單卡 96 GB	4 張	NT$2,437,964	384 GB	76.9	2,400 W
A100 80GB PCIe單卡 80 GB	4 張	NT$2,730,520	320 GB	80.7	1,200 W
GeForce RTX 4090 48GB單卡 48 GB	8 張	暫無	384 GB	51.4	3,600 W

詳細計算規則可在資料方法頁查看。

詳細計算規則可在資料方法頁查看。

部分購買連結是聯盟連結：透過它們購買時我們可能獲得佣金，你支付的價格不變。

1. 1

   量化選哪一檔

   Unsloth 測了各檔與原版首選同一個字的比例：2-bit（約 109 GB）約 78%，3-bit（約 148 GB）約 86%，4-bit（約 200 GB）約 92%。3-bit 比 2-bit 高約 8 個百分點，記憶體夠的話，我們建議至少用 3-bit。不過這檔 3-bit 在 128GB 裝置上放不下，Unsloth 在 128GB 裝置上示範用的是更小的 3-bit 檔 UD-IQ3_XXS（約 82%）。

2. 2

   llama.cpp 主線已經能直接跑

   llama.cpp 主線在 2026 年 9 月 30 日合併了支援（PR #27773），文字和看圖都有；Unsloth 10 月 5 日依主線的改動更新了 GGUF 分片，現在用原版 llama.cpp 就能載入，不必再裝他們的分支。MTP 推測解碼 10 月 7 日也進了主線（PR #29928），長上下文下生成更快。Ollama 模型庫裡的 glm-5.3-flash 只有 :cloud 標籤，是呼叫雲端，不在本機執行。

3. 3

   vLLM 的限制

   vLLM 配方要求 Hopper 及更新的 NVIDIA 卡，以及 FlashInfer 0.6.17 以上，NVIDIA 上暫時要用 vllm/vllm-openai:glm53-flash 映像檔；在 Hopper 上，這個模型不支援把上下文快取存成 FP8。官方主儲存庫放的是 FP8 權重，BF16 另外放在 GLM-5.3-Flash-BF16。

4. 4

   思考檔位

   用法和 GLM 5.3 一樣：只有 low、high、max 三檔，預設 max，聊天時要開啟 clear_thinking。Unsloth 給的參數是：一般任務 temperature 1.0、top_p 0.95，DeepSWE 這類程式任務 temperature 0.95、top_p 1.0。

5. 5

   為什麼長上下文幾乎不佔顯示記憶體

   它的 45 層中有 34 層用的是線性注意力（和 Kimi K3 同一種），這種層只存一個固定大小的狀態，不會隨上下文變長；只有另外 11 層的快取會隨上下文增長。所以 4-bit 下從 32K 開到 1M 只多約 11 GB。

llama-server -hf unsloth/GLM-5.3-Flash-GGUF:UD-Q4_K_XL -c 8192

llama-server -hf unsloth/GLM-5.3-Flash-GGUF:UD-Q4_K_XL -c 8192 -ngl 99 \
  --cpu-moe

vllm serve zai-org/GLM-5.3-Flash \
  --tensor-parallel-size 4 \
  --speculative-config '{"method":"mtp","num_speculative_tokens":5}' \
  --tool-call-parser glm47 \
  --reasoning-parser glm47 \
  --enable-auto-tool-choice \
  --served-model-name zai-org/GLM-5.3-Flash

mlx_vlm.server --model mlx-community/GLM-5.3-Flash-4bit

量化檔名以模型庫當週抓取為準，口徑見資料方法。 資料方法

模型	總參數	激活參數	4-bit 模型大小
GLM 4.7 FlashMoE	30B	3B	18.3 GB
GLM 4.5 AirMoE	106B	12B	73 GB
GLM 5.2MoE	744B	40B	465.8 GB
GLM 5.3MoE	744B	40B	467.3 GB

關於 GLM