GLM 5.2 如何本地部署？

• 4-bit 最低显存468 GB · 8K
• 参数量744B
• 激活参数40B
• 上下文上限1M

架构

MoE

专家卸载

14 GB 显存 + 455 GB 内存

许可证

MIT

发布日期

2026年6月16日

厂商

Z.ai / Zhipu AI

Hugging Face 仓库

zai-org/GLM-5.2

GGUF 仓库

unsloth/GLM-5.2-GGUF

NVFP4 仓库（Blackwell）

nvidia/GLM-5.2-NVFP4

MLX 仓库（Apple）

mlx-community/GLM-5.2-4bit

层数

78

隐藏维度

6,144

KV 头

64

头维度

192

详细计算规则可在数据方法页查看。

只列常见的显卡和整机，50B 以下和以上的模型各一组，按价格从低到高。

设备	需要几张	总价	总显存	速度 t/s	总功耗
Instinct MI210单卡 64 GB	8 张	¥147,992	512 GB	38.8	2,400 W
DGX Spark 128GB单台 128 GB	4 台	¥172,000	512 GB	7.6	960 W
RTX PRO 5000 72GB单卡 72 GB	8 张	¥472,000	576 GB	32.9	2,400 W
RTX PRO 6000单卡 96 GB	8 张	¥1,000,000	768 GB	41.7	4,800 W
A100 80GB PCIe单卡 80 GB	8 张	¥1,120,000	640 GB	44.3	2,400 W

Mac Studio 按台联机用雷电 5 线互连，要用 MLX 或 exo 跑，vLLM 不支持。详细计算规则可在数据方法页查看。

详细计算规则可在数据方法页查看。

部分购买链接是联盟链接：通过它们购买时我们可能获得佣金，你支付的价格不变。

1. 1

   和 GLM 5.3 差在哪

   官方说明 5.3 和 5.2 用同一个底座，提升全部来自后训练：复杂编程和长任务明显更强，智谱内部的编程测试提升 50%。参数、结构、文件大小几乎一样，从 5.2 换到 5.3 不用换硬件。

2. 2

   能关思考是它的长处

   5.2 有不思考、High、Max 三档。关掉思考用 chat_template_kwargs 传 enable_thinking: false，llama.cpp 也可以直接加 --reasoning off。5.3 的思考关不掉，只能在 low、high、max 之间调，所以要快速短答的服务，还用得上 5.2。

3. 3

   许可证

   5.2 是纯 MIT，官方特意写了不设地区限制。5.3 换成了自己的许可证，多了一条：营收规模极大的模型 API 服务商，商用前要先过智谱的安全审查。对个人和一般企业的自用部署，两版许可证没有实际差别。

4. 4

   llama.cpp 要 7 月下旬之后的版本

   GLM 5 系列用的稀疏注意力要靠一个「索引器」挑出该看的内容，这个索引器到 2026 年 7 月 24 日才进 llama.cpp 主线（PR #25407）。更早的版本会忽略它，当初的 PR 明确说这样质量会打折扣。已经下载的 Unsloth GGUF 不用重下，升级 llama.cpp 就行。

llama-server -hf unsloth/GLM-5.2-GGUF:Q4_K_M -c 8192

llama-server -hf unsloth/GLM-5.2-GGUF:Q4_K_M -c 8192 -ngl 99 --cpu-moe

vllm serve zai-org/GLM-5.2-FP8 \
  --kv-cache-dtype fp8 \
  --tensor-parallel-size 8 \
  --speculative-config.method mtp \
  --speculative-config.num_speculative_tokens 5 \
  --tool-call-parser glm47 \
  --reasoning-parser glm47 \
  --enable-auto-tool-choice \
  --served-model-name glm-5.2-fp8

mlx_lm.server --model mlx-community/GLM-5.2-4bit

量化文件名以模型库当周抓取为准，口径见数据方法。 数据方法

模型	总参数	激活参数	4-bit 模型大小
GLM 4.7 FlashMoE	30B	3B	18.3 GB
GLM 4.5 AirMoE	106B	12B	73 GB
GLM 5.3 FlashMoE	320B	18B	199.7 GB
GLM 5.3MoE	744B	40B	467.3 GB

关于 GLM