GLM 5.3 如何本地部署？

• 4-bit 最低显存470 GB · 8K
• 参数量744B
• 激活参数40B
• 上下文上限1M

架构

MoE

专家卸载

14 GB 显存 + 457 GB 内存

许可证

GLM-5.3 License

发布日期

2026年8月28日

厂商

Z.ai / Zhipu AI

Hugging Face 仓库

zai-org/GLM-5.3

GGUF 仓库

unsloth/GLM-5.3-GGUF

NVFP4 仓库（Blackwell）

nvidia/GLM-5.3-NVFP4

MLX 仓库（Apple）

mlx-community/GLM-5.3-4bit

层数

78

隐藏维度

6,144

KV 头

64

头维度

192

详细计算规则可在数据方法页查看。

只列常见的显卡和整机，50B 以下和以上的模型各一组，按价格从低到高。

设备	需要几张	总价	总显存	速度 t/s	总功耗
Instinct MI210单卡 64 GB	8 张	¥147,992	512 GB	38.7	2,400 W
DGX Spark 128GB单台 128 GB	4 台	¥172,000	512 GB	7.6	960 W
RTX PRO 5000 72GB单卡 72 GB	8 张	¥389,920	576 GB	32.8	2,400 W
RTX PRO 6000单卡 96 GB	8 张	¥1,000,000	768 GB	41.6	4,800 W
A100 80GB PCIe单卡 80 GB	8 张	¥1,120,000	640 GB	44.2	2,400 W

Mac Studio 按台联机用雷电 5 线互连，要用 MLX 或 exo 跑，vLLM 不支持。详细计算规则可在数据方法页查看。

详细计算规则可在数据方法页查看。

部分购买链接是联盟链接：通过它们购买时我们可能获得佣金，你支付的价格不变。

1. 1

   思考只能调档，关不掉

   思考强度用 reasoning_effort 在 low、high、max 之间选，默认 max，不能像 5.2 那样完全关掉。聊天时把 clear_thinking 设成 true，不然前几轮的思考会一直占着上下文。采样参数：一般任务 temperature 1.0、top_p 0.95，长时间的智能体任务 top_p 改成 1.0。

2. 2

   许可证的附加条款

   新增的一条只针对「模型即服务」：营收规模极大的 API 服务商，商用前要先通过智谱的安全审查。把模型能力嵌进自己产品的某个功能、只是转发请求，都不算模型即服务；个人和一般企业自己部署不受影响。

3. 3

   框架版本

   vLLM 的配方正文写 0.28.0 起，页面标的最低版本却是 0.29.0，按 0.29 以上装最稳；官方主仓库换成了 FP8 权重，BF16 另放在 GLM-5.3-BF16。llama.cpp 用 Unsloth 的 GGUF，要 2026 年 7 月 24 日之后的版本（带稀疏注意力的索引器）。Ollama 库里的 glm-5.3 只有 :cloud 标签，是云端版，不在本地跑。

4. 4

   量化

   Unsloth 推荐 2-bit 里的 UD-IQ2_M。按它的测试，动态 1-bit 版和原版首选同一个字的比例约 76%，2-bit 约 81%；最接近原版的是 4-bit 和 5-bit 动态量化（UD-Q4_K_XL、UD-Q5_K_XL），4-bit 约 467 GB。

5. 5

   聊天模板的坑

   GLM 的聊天模板用了 .{id}. 这种写法，不少推理引擎不认。Unsloth 在自己的版本里改成了 [id]，用其他来源的权重遇到模板报错时，可以照着改。

llama-server -hf unsloth/GLM-5.3-GGUF:UD-Q4_K_XL -c 8192

llama-server -hf unsloth/GLM-5.3-GGUF:UD-Q4_K_XL -c 8192 -ngl 99 \
  --cpu-moe

vllm serve zai-org/GLM-5.3 \
  --kv-cache-dtype fp8 \
  --tensor-parallel-size 8 \
  --speculative-config.method mtp \
  --speculative-config.num_speculative_tokens 5 \
  --tool-call-parser glm47 \
  --reasoning-parser glm47 \
  --enable-auto-tool-choice \
  --served-model-name glm-5.3

mlx_lm.server --model mlx-community/GLM-5.3-4bit

量化文件名以模型库当周抓取为准，口径见数据方法。 数据方法

模型	总参数	激活参数	4-bit 模型大小
GLM 4.7 FlashMoE	30B	3B	18.3 GB
GLM 4.5 AirMoE	106B	12B	73 GB
GLM 5.3 FlashMoE	320B	18B	199.7 GB
GLM 5.2MoE	744B	40B	465.8 GB

关于 GLM