GLM 4.5 Air 如何本地部署？

VRAMGlass 编辑部 · 更新于 2026年9月10日

GLM 4.5 Air 是 MoE 模型，总参数 106B，每 token 激活 12B。Q4 量化整机放显存需要 62GB；把专家放进系统内存后只需 7GB 显存 + 56GB 内存。当前最便宜能跑的显卡是 Instinct MI210，约 ¥33,937，预估 75.6 tokens/s。卸载模式下最便宜能跑的显卡是 Tesla V100 16GB，预估 12 tokens/s。

GLM 4.5 Air 版本信息

发布日期2025年7月20日

Hugging Face 仓库zai-org/GLM-4.5-Air

小版本—

许可证MIT

架构MoE

GGUF 仓库unsloth/GLM-4.5-Air-GGUF

Ollama 标签glm4.5:air

Q4 最低显存62 GB · Q4_K_M · 8K

专家卸载7 GB 显存 + 56 GB 内存

参数量106B

MoE12B

层数46

隐藏维度4,096

KV 头8

头维度128

上下文上限128K

厂商Z.ai / Zhipu AI

GLM 4.5 Air 本地部署需要多少显存？

MoE：总参数 106B 全部要驻留显存，速度按每 token 激活的 12B 算。

量化	权重体积GB	8K 总显存GB	32K 总显存GB	128K 总显存GB
1-bit	40.1GGUF	27.3	31.6	48.9
2-bit	47.4GGUF	41.8	46.1	63.4
3-bit	54.8GGUF	53.2	57.5	74.8
4-bit	73GGUF	61.5	65.8	83.1
5-bit	83.5GGUF	74	78.3	95.5
8-bit	117.5GGUF	112.3	116.6	133.9
FP16	221GGUF	209.7	214.1	231.3

总显存 = 权重 + KV cache（FP16）+ 1GB 运行开销。标 GGUF 的权重是仓库里的实测文件体积，标「估」的按每参数字节估算。超过这个模型 128K 上下文上限的档位写「—」。各档取仓库里该比特数的任一文件，优先 unsloth 动态量化，所以同一档不同模型对应的文件名可能不同。

什么显卡能跑 GLM 4.5 Air？

eBay

设备	显存GB	价	预估 t/s	建议上下文
Instinct MI210	64	¥33,93711 条挂单	75.6	8K
MacBook Pro M4 Max 128GB	128	¥37,3203 条挂单	34.3	128K
Mac Studio M4 Max 128GB	128	¥44,0324 条挂单	34.3	128K
MacBook Pro M5 Max 128GB	128	¥48,7605 条挂单	37.9	128K
RTX PRO 6000 Blackwell	96	¥114,2334 条挂单	99.7	128K
Mac Studio M3 Ultra 512GB	512	¥147,96111 条挂单	48.1	128K
CMP 170HX 64GB	64	—暂无挂单	89	8K
RTX PRO 5000 Blackwell 72GB	72	—暂无挂单	83.1	32K
RTX PRO 6000D	84	—暂无挂单	91.9	128K
DGX Spark 128GB	128	—暂无挂单	23	128K
Mac Studio M5 Max 128GB	128	—暂无挂单	37.9	128K
Ryzen AI Max+ 395 128GB	128	—暂无挂单	15.9	128K

判定口径：权重 + KV cache + 运行开销 ≤ 可用显存，单卡。MoE 模型标「卸载」表示把专家权重放进系统内存后能跑（显存只放注意力层与 KV cache），速度按内存带宽 70 GB/s 估算。上下文列给的是能装下的最大档位。

GLM 4.5 Air 混合推理推荐显卡

eBay

专家权重放系统内存，需要 ≥ 56 GB 内存；显存只放注意力层、共享专家和 KV cache，Q4 下最低 7 GB。速度受内存带宽限制（按 70 GB/s 估算），比整机放显存慢得多。

设备	显存GB	价	需内存GB	预估 t/s
Tesla V100 16GB	16	¥2,051	56	12
Radeon RX 6950 XT	16	¥3,363	56	11
GeForce RTX 2080 Ti 22GB	22	¥3,706	56	11.6
Radeon RX 7800 XT	16	¥3,820	56	11.2
GeForce RTX 5060 Ti 16GB	16	¥4,708	56	11.2
Radeon RX 7900 XT	20	¥4,708	56	11.5
Tesla V100 32GB	32	¥4,842	56	12
Instinct MI50 32GB	32	¥5,165	56	11.8
GeForce RTX 5070	12	¥5,212	56	11.7
Radeon RX 9070 XT	16	¥5,347	56	11.2
Radeon RX 7900 XTX	24	¥6,719	56	11.7
Instinct MI100	32	¥6,719	56	12
GeForce RTX 5070 Ti	16	¥8,071	56	12
GeForce RTX 4080	16	¥8,494	56	11.8
GeForce RTX 3090	24	¥10,425	56	12.1
GeForce RTX 5080	16	¥12,106	56	12.1
RTX PRO 4000 Blackwell	24	¥19,840	56	11.7
GeForce RTX 4090	24	¥21,515	56	12.1
Radeon PRO W7900	48	¥23,506	56	11.6
RTX PRO 4500 Blackwell	32	¥28,920	56	12
A100 40GB PCIe	40	¥32,948	56	12.4
GeForce RTX 5090	32	¥43,716	56	12.5
Arc Pro B60	24	—	56	10.4
GeForce RTX 5090 D V2	24	—	56	12.3
Arc Pro B65	32	—	56	10.9
Arc Pro B70	32	—	56	10.9
GeForce RTX 4080 SUPER 32GB	32	—	56	11.8
GeForce RTX 5090 D	32	—	56	12.5
Radeon AI PRO R9700	32	—	56	11.2
Radeon PRO W7800	32	—	56	11
CMP 170HX 40GB	40	—	56	12.4
GeForce RTX 4090 48GB	48	—	56	12.1
RTX PRO 5000 Blackwell 48GB	48	—	56	12.3

用 Ollama / llama.cpp / vLLM 本地部署 GLM 4.5 Air

Ollama

Ollama 一条命令拉起，量化档位由官方标签决定。

ollama run glm4.5:air

llama.cpp

llama.cpp 直接从 Hugging Face 拉 GGUF，-c 是上下文长度。

llama-server -hf unsloth/GLM-4.5-Air-GGUF:Q4_K_M -c 8192

vLLM

vLLM 跑的是原始精度权重，显存要求比 GGUF 高得多，通常要多卡。

vllm serve zai-org/GLM-4.5-Air

量化文件名以模型库当周抓取为准，口径见数据方法。数据方法

常见问题

GLM 4.5 Air 需要多少显存？

在 Q4_K_M 量化、8K 上下文下 GLM 4.5 Air 约需 62GB 显存，留到 76GB 更稳。

哪张显卡最便宜能跑 GLM 4.5 Air？

Instinct MI210，64GB 显存，当前中位价约 ¥33,937，预估 75.6 tokens/s。

GLM 4.5 Air 能用 Ollama 跑吗？

能，命令是 ollama run glm4.5:air。