GLM 5.3 如何本地部署？

• 4-bit 最低顯示記憶體470 GB · 8K
• 參數量744B
• 激活參數40B
• 上下文上限1M

架構

MoE

專家卸載

14 GB 顯存 + 457 GB 記憶體

授權

GLM-5.3 License

發布日期

2026年8月28日

廠商

Z.ai / Zhipu AI

Hugging Face 倉庫

zai-org/GLM-5.3

GGUF 倉庫

unsloth/GLM-5.3-GGUF

NVFP4 倉庫（Blackwell）

nvidia/GLM-5.3-NVFP4

MLX 倉庫（Apple）

mlx-community/GLM-5.3-4bit

層數

78

隱藏維度

6,144

KV 頭

64

頭維度

192

詳細計算規則可在資料方法頁查看。

只列常見的顯示卡和整機，50B 以下和以上的模型各一組，按價格從低到高。

裝置	需要幾張	總價	總顯示記憶體	速度 t/s	總功耗
Instinct MI210單卡 64 GB	8 張	NT$721,598	512 GB	38.7	2,400 W
DGX Spark 128GB單台 128 GB	4 台	NT$838,660	512 GB	7.6	960 W
RTX PRO 5000 72GB單卡 72 GB	8 張	NT$1,901,222	576 GB	32.8	2,400 W
RTX PRO 6000單卡 96 GB	8 張	NT$4,875,929	768 GB	41.6	4,800 W
A100 80GB PCIe單卡 80 GB	8 張	NT$5,461,040	640 GB	44.2	2,400 W

Mac Studio 以 Thunderbolt 5 線串接，要用 MLX 或 exo 執行，vLLM 不支援。詳細計算規則可在資料方法頁查看。

詳細計算規則可在資料方法頁查看。

部分購買連結是聯盟連結：透過它們購買時我們可能獲得佣金，你支付的價格不變。

1. 1

   思考只能調檔，關不掉

   思考強度用 reasoning_effort 在 low、high、max 之間選擇，預設 max，無法像 5.2 那樣完全關閉。聊天時要把 clear_thinking 設成 true，否則前幾輪的思考會一直佔著上下文。取樣參數：一般任務 temperature 1.0、top_p 0.95，長時間的 Agent 任務則把 top_p 改成 1.0。

2. 2

   授權條款的附加規定

   新增的這一條只針對「模型即服務」：營收規模極大的 API 服務商，在商用前要先通過智譜的安全審查。把模型能力嵌入自家產品的某個功能，或只是轉發請求，都不算模型即服務；個人和一般企業自行部署不受影響。

3. 3

   框架版本

   vLLM 配方的內文寫 0.28.0 起，頁面標示的最低版本卻是 0.29.0，裝 0.29 以上最保險；官方主儲存庫改放 FP8 權重，BF16 另外放在 GLM-5.3-BF16。llama.cpp 搭配 Unsloth 的 GGUF，需要 2026 年 7 月 24 日之後的版本（含稀疏注意力的索引器）。Ollama 模型庫裡的 glm-5.3 只有 :cloud 標籤，是雲端版，不在本機執行。

4. 4

   量化

   Unsloth 推薦 2-bit 裡的 UD-IQ2_M。根據它的測試，動態 1-bit 版與原版首選同一個字的比例約 76%，2-bit 約 81%；最接近原版的是 4-bit 和 5-bit 動態量化（UD-Q4_K_XL、UD-Q5_K_XL），4-bit 約 467 GB。

5. 5

   聊天範本的地雷

   GLM 的聊天範本用了 .{id}. 這種寫法，不少推論引擎無法辨識。Unsloth 在自己的版本裡改成了 [id]；用其他來源的權重遇到範本報錯時，可以照著修改。

llama-server -hf unsloth/GLM-5.3-GGUF:UD-Q4_K_XL -c 8192

llama-server -hf unsloth/GLM-5.3-GGUF:UD-Q4_K_XL -c 8192 -ngl 99 \
  --cpu-moe

vllm serve zai-org/GLM-5.3 \
  --kv-cache-dtype fp8 \
  --tensor-parallel-size 8 \
  --speculative-config.method mtp \
  --speculative-config.num_speculative_tokens 5 \
  --tool-call-parser glm47 \
  --reasoning-parser glm47 \
  --enable-auto-tool-choice \
  --served-model-name glm-5.3

mlx_lm.server --model mlx-community/GLM-5.3-4bit

量化檔名以模型庫當週抓取為準，口徑見資料方法。 資料方法

模型	總參數	激活參數	4-bit 模型大小
GLM 4.7 FlashMoE	30B	3B	18.3 GB
GLM 4.5 AirMoE	106B	12B	73 GB
GLM 5.3 FlashMoE	320B	18B	199.7 GB
GLM 5.2MoE	744B	40B	465.8 GB

關於 GLM