GLM 5.2 如何本地部署？

• 4-bit 最低顯示記憶體468 GB · 8K
• 參數量744B
• 激活參數40B
• 上下文上限1M

架構

MoE

專家卸載

14 GB 顯存 + 455 GB 記憶體

授權

MIT

發布日期

2026年6月16日

廠商

Z.ai / Zhipu AI

Hugging Face 倉庫

zai-org/GLM-5.2

GGUF 倉庫

unsloth/GLM-5.2-GGUF

NVFP4 倉庫（Blackwell）

nvidia/GLM-5.2-NVFP4

MLX 倉庫（Apple）

mlx-community/GLM-5.2-4bit

層數

78

隱藏維度

6,144

KV 頭

64

頭維度

192

詳細計算規則可在資料方法頁查看。

只列常見的顯示卡和整機，50B 以下和以上的模型各一組，按價格從低到高。

裝置	需要幾張	總價	總顯示記憶體	速度 t/s	總功耗
Instinct MI210單卡 64 GB	8 張	NT$721,598	512 GB	38.8	2,400 W
DGX Spark 128GB單台 128 GB	4 台	NT$838,660	512 GB	7.6	960 W
RTX PRO 5000 72GB單卡 72 GB	8 張	NT$2,301,438	576 GB	32.9	2,400 W
RTX PRO 6000單卡 96 GB	8 張	NT$4,875,929	768 GB	41.7	4,800 W
A100 80GB PCIe單卡 80 GB	8 張	NT$5,461,040	640 GB	44.3	2,400 W

Mac Studio 以 Thunderbolt 5 線串接，要用 MLX 或 exo 執行，vLLM 不支援。詳細計算規則可在資料方法頁查看。

詳細計算規則可在資料方法頁查看。

部分購買連結是聯盟連結：透過它們購買時我們可能獲得佣金，你支付的價格不變。

1. 1

   和 GLM 5.3 差在哪裡

   官方說明 5.3 和 5.2 用的是同一個底座，進步全部來自後訓練：複雜程式開發和長任務明顯更強，智譜內部的程式測試提升了 50%。參數、架構、檔案大小幾乎一樣，從 5.2 換到 5.3 不必更換硬體。

2. 2

   能關閉思考是它的長處

   5.2 有不思考、High、Max 三檔。關閉思考時用 chat_template_kwargs 傳入 enable_thinking: false，llama.cpp 也可以直接加上 --reasoning off。5.3 的思考關不掉，只能在 low、high、max 之間調整，所以需要快速簡答的服務，還是用得上 5.2。

3. 3

   授權條款

   5.2 是純 MIT，官方還特別註明不設地區限制。5.3 改用自家的授權條款，多了一條：營收規模極大的模型 API 服務商，在商用前要先通過智譜的安全審查。對個人和一般企業的自用部署來說，兩版授權條款沒有實際差別。

4. 4

   llama.cpp 要用 7 月下旬之後的版本

   GLM 5 系列的稀疏注意力要靠一個「索引器」挑出該看的內容，這個索引器到 2026 年 7 月 24 日才併入 llama.cpp 主線（PR #25407）。更早的版本會略過它，當初的 PR 也明確指出這樣品質會打折扣。已經下載的 Unsloth GGUF 不必重新下載，升級 llama.cpp 即可。

llama-server -hf unsloth/GLM-5.2-GGUF:Q4_K_M -c 8192

llama-server -hf unsloth/GLM-5.2-GGUF:Q4_K_M -c 8192 -ngl 99 --cpu-moe

vllm serve zai-org/GLM-5.2-FP8 \
  --kv-cache-dtype fp8 \
  --tensor-parallel-size 8 \
  --speculative-config.method mtp \
  --speculative-config.num_speculative_tokens 5 \
  --tool-call-parser glm47 \
  --reasoning-parser glm47 \
  --enable-auto-tool-choice \
  --served-model-name glm-5.2-fp8

mlx_lm.server --model mlx-community/GLM-5.2-4bit

量化檔名以模型庫當週抓取為準，口徑見資料方法。 資料方法

模型	總參數	激活參數	4-bit 模型大小
GLM 4.7 FlashMoE	30B	3B	18.3 GB
GLM 4.5 AirMoE	106B	12B	73 GB
GLM 5.3 FlashMoE	320B	18B	199.7 GB
GLM 5.3MoE	744B	40B	467.3 GB

關於 GLM