GLM 5.3 Flash 如何本地部署？

• 4-bit 最低显存201 GB · 8K
• 参数量320B
• 激活参数18B
• 上下文上限1M

架构

MoE

专家卸载

9 GB 显存 + 194 GB 内存

许可证

MIT

发布日期

2026年8月26日

厂商

Z.ai / Zhipu AI

Hugging Face 仓库

zai-org/GLM-5.3-Flash

GGUF 仓库

unsloth/GLM-5.3-Flash-GGUF

NVFP4 仓库（Blackwell）

nvidia/GLM-5.3-Flash-NVFP4

MLX 仓库（Apple）

mlx-community/GLM-5.3-Flash-4bit

层数

45

隐藏维度

4,096

KV 头

64

头维度

256

详细计算规则可在数据方法页查看。

设备	价格	速度 t/s	最大上下文
Mac Studio M3 Ultra 512GB整机 · 512 GB	¥117,5504 条挂单	44.1	1M

只列常见的显卡和整机，50B 以下和以上的模型各一组，按价格从低到高。

设备	需要几张	总价	总显存	速度 t/s	总功耗
Tesla V100 32GB单卡 32 GB	8 张	¥33,600	256 GB	47.1	2,000 W
Instinct MI210单卡 64 GB	4 张	¥73,996	256 GB	72.5	1,200 W
DGX Spark 128GB单台 128 GB	2 台	¥86,000	256 GB	16.9	480 W
Arc Pro B70单卡 32 GB	8 张	¥103,992	256 GB	34.3	1,840 W
RTX PRO 5000 72GB单卡 72 GB	4 张	¥194,960	288 GB	63.4	1,200 W
RTX A6000单卡 48 GB	8 张	¥256,000	384 GB	41.5	2,400 W
GeForce RTX 5090单卡 32 GB	8 张	¥392,000	256 GB	76.9	4,600 W
RTX PRO 6000单卡 96 GB	4 张	¥500,000	384 GB	76.9	2,400 W
A100 80GB PCIe单卡 80 GB	4 张	¥560,000	320 GB	80.7	1,200 W
GeForce RTX 4090 48GB单卡 48 GB	8 张	暂无	384 GB	51.4	3,600 W

详细计算规则可在数据方法页查看。

详细计算规则可在数据方法页查看。

部分购买链接是联盟链接：通过它们购买时我们可能获得佣金，你支付的价格不变。

1. 1

   量化选哪一档

   Unsloth 测了各档和原版首选同一个字的比例：2-bit（约 109 GB）约 78%，3-bit（约 148 GB）约 86%，4-bit（约 200 GB）约 92%。3-bit 比 2-bit 高约 8 个百分点，内存够的话，我们建议至少上 3-bit。但这档 3-bit 在 128GB 设备上放不下，Unsloth 在 128GB 设备上演示用的是更小的 3-bit 档 UD-IQ3_XXS（约 82%）。

2. 2

   llama.cpp 主线已经能直接跑

   llama.cpp 主线在 2026 年 9 月 30 日合并了支持（PR #27773），文字和看图都有；Unsloth 10 月 5 日按主线的改动更新了 GGUF 分片，现在用原版 llama.cpp 就能加载，不用再装他们的分支。MTP 投机解码 10 月 7 日也进了主线（PR #29928），长上下文下生成更快。Ollama 库里的 glm-5.3-flash 只有 :cloud 标签，是云端调用，不在本地跑。

3. 3

   vLLM 的限制

   vLLM 配方要求 Hopper 及更新的 NVIDIA 卡和 FlashInfer 0.6.17 以上，NVIDIA 上暂时要用 vllm/vllm-openai:glm53-flash 镜像；Hopper 上这个模型不支持把上下文缓存存成 FP8。官方主仓库是 FP8 权重，BF16 另放在 GLM-5.3-Flash-BF16。

4. 4

   思考档位

   用法和 GLM 5.3 一样：只有 low、high、max 三档、默认 max，聊天时打开 clear_thinking。Unsloth 给的参数是一般任务 temperature 1.0、top_p 0.95，DeepSWE 这类编程任务 temperature 0.95、top_p 1.0。

5. 5

   为什么长上下文几乎不占显存

   它 45 层里有 34 层用的是线性注意力（和 Kimi K3 同一种），这种层只存一个固定大小的状态，不随上下文变长；只有另外 11 层的缓存会随上下文增长。所以 4-bit 下从 32K 开到 1M 只多约 11 GB。

llama-server -hf unsloth/GLM-5.3-Flash-GGUF:UD-Q4_K_XL -c 8192

llama-server -hf unsloth/GLM-5.3-Flash-GGUF:UD-Q4_K_XL -c 8192 -ngl 99 \
  --cpu-moe

vllm serve zai-org/GLM-5.3-Flash \
  --tensor-parallel-size 4 \
  --speculative-config '{"method":"mtp","num_speculative_tokens":5}' \
  --tool-call-parser glm47 \
  --reasoning-parser glm47 \
  --enable-auto-tool-choice \
  --served-model-name zai-org/GLM-5.3-Flash

mlx_vlm.server --model mlx-community/GLM-5.3-Flash-4bit

量化文件名以模型库当周抓取为准，口径见数据方法。 数据方法

模型	总参数	激活参数	4-bit 模型大小
GLM 4.7 FlashMoE	30B	3B	18.3 GB
GLM 4.5 AirMoE	106B	12B	73 GB
GLM 5.2MoE	744B	40B	465.8 GB
GLM 5.3MoE	744B	40B	467.3 GB

关于 GLM