本站含联盟链接。作为 eBay 合作伙伴，你通过本站链接购买时，我们可能获得佣金。作为 eBay 合作伙伴，我们可能获得佣金。了解详情

收录显卡57价格追踪49 天近 24h 价格数据43,303 条24h 降价最多Tesla V100 16GB-12.3%24h 涨价最多A100 80GB PCIe+9.4%更新于
¥ CNY

GLM 4.5 Air 如何本地部署？

GLM 4.5 Air 是智谱 2025 年 7 月发布的 106B MoE，每个字用 12B 参数，可以切换思考和不思考两种模式，MIT 许可。4-bit 权重约 73 GB，单机整个装下要 A100 80GB、RTX PRO 6000 这类大显存卡，或者 96GB 以上的统一内存整机，用 24GB 显卡拼一般要 4 张。它的上下文比较吃显存，4-bit 下从 8K 开到 128K 要多约 23 GB。

GLM 4.5 Air 模型信息

  • 4-bit 最低显存76 GB · 8K
  • 参数量106B
  • 激活参数12B
  • 上下文上限128K
架构
MoE
专家卸载
8 GB 显存 + 70 GB 内存
许可证
MIT
发布日期
2025年7月28日
厂商
Z.ai / Zhipu AI
Hugging Face 仓库
zai-org/GLM-4.5-Air
GGUF 仓库
unsloth/GLM-4.5-Air-GGUF
MLX 仓库（Apple）
mlx-community/GLM-4.5-Air-4bit
层数
46
隐藏维度
4,096
KV 头
8
头维度
128

GLM 4.5 Air 本地部署需要多少显存？

量化权重体积GB8K 上下文GB32K 上下文GB128K 上下文（最大）GB
1-bit40.1GGUF42.747.365.9
2-bit47.4GGUF5054.673.2
3-bit54.8GGUF57.46280.6
4-bit73GGUF75.680.298.8
5-bit83.5GGUF86.190.7109.3
8-bit117.5GGUF120.1124.7143.3
BF16/FP16221GGUF223.6228.2246.8

详细计算规则可在数据方法页查看。

单卡能跑 GLM 4.5 Air 吗？

能，但得是 A100 80GB、RTX PRO 6000 这一级的大显存卡。4-bit 版放不进 24GB、32GB 的消费卡，48GB 的 RTX A6000 也只塞得下 2-bit。单卡里最合适的是 RTX PRO 6000：4-bit 每秒约 89 个 token，上下文也能开满；80GB 的 A100 速度差不多，但上下文只能开到 6 万左右，72GB 的 RTX PRO 5000 也挤得进，上下文只剩 1.6 万。128GB 统一内存的整机（DGX Spark、Ryzen AI Max+ 395）连 8-bit 都放得下，但 4-bit 每秒只有 20 个左右：它虽然是 MoE，每出一个字仍要读 12B 参数，而这两台的内存带宽比显卡低得多，速度就上不去；带宽高得多的 96GB Mac Studio M5 Ultra 能到每秒 70 个。

闲鱼
设备价格速度 t/s最大上下文
Ryzen AI Max+ 395 128GB整机 · 128 GB¥19,00016 条挂单19.7128K
DGX Spark 128GB整机 · 128 GB¥43,00041 条挂单20.9128K
MacBook Pro M5 Max 128GB整机 · 128 GB¥45,69410 条挂单41.9128K
Mac Studio M5 Ultra 96GB整机 · 96 GB¥46,00015 条挂单70.1128K
RTX PRO 5000 72GB72 GB¥59,00023 条挂单74.316K
Mac Studio M3 Ultra 512GB整机 · 512 GB¥117,5504 条挂单52.4128K
RTX PRO 600096 GB¥125,0006 条挂单88.8128K
A100 80GB PCIe80 GB¥140,0003 条挂单92.861K

只列常见的显卡和整机，50B 以下和以上的模型各一组，按价格从低到高。

多卡跑 GLM 4.5 Air 要几张显卡？

不想上 96GB 卡的话，两张 48GB 的 RTX A6000 最省事，4-bit 每秒约 42 个 token。24GB 的卡（RTX 3090、4090、RX 7900 XTX）要 4 张：4-bit 加 32K 上下文约 80 GB，两张合起来不够；四张时每秒约 50 个，比两张 A6000 还快一点，因为每张卡的显存带宽更高。两张 32GB 的 RTX 5090 只装得下 2-bit，速度很快，但回答质量要打折扣；想跑 4-bit 同样得 4 张。

闲鱼
设备需要几张总价总显存速度 t/s总功耗
Tesla V100 32GB单卡 32 GB4 张¥16,800128 GB47.51,000 W
Radeon RX 7900 XTX单卡 24 GB4 张¥22,77696 GB49.91,420 W
GeForce RTX 3090单卡 24 GB4 张¥34,00096 GB491,400 W
Instinct MI210单卡 64 GB2 张¥36,998128 GB73.1600 W
Arc Pro B70单卡 32 GB4 张¥52,596128 GB34.6920 W
RTX A6000单卡 48 GB2 张¥64,00096 GB41.9600 W
GeForce RTX 4090单卡 24 GB4 张¥100,00096 GB51.81,800 W
RTX PRO 5000 72GB单卡 72 GB2 张¥118,000144 GB63.9600 W
GeForce RTX 5090单卡 32 GB4 张¥207,996128 GB77.42,300 W
A100 80GB PCIe单卡 80 GB2 张¥280,000160 GB81.3600 W
GeForce RTX 4090 48GB单卡 48 GB2 张暂无96 GB51.8900 W

详细计算规则可在数据方法页查看。

用整机跑 GLM 4.5 Air 要什么配置？

只有一张 16GB 到 24GB 的卡，就把专家放进内存，速度看内存带宽。4-bit 下，DDR4 台式机配一张 16GB 的 Tesla V100 约 9 tokens/s，换成 DDR5 约 15，8 通道 DDR4 的二手服务器配 RTX 3090 约 26。降到 2-bit，同样三套机器约 15、25、42 tokens/s。

闲鱼

2 × GeForce RTX 5070 + 家用 DDR5

家用
出字速度16t/s
内存带宽96GB/s
显卡
2 × GeForce RTX 507011 / 46 层专家放进 24 GB 显存
¥13,076
内存
64 GB DDR5-60002 条 × 32 GB
¥5,606
CPU
AMD Ryzen 7 77008 核 16 线程 · 2 通道
¥850
主板
Gigabyte B650 EAGLE AX4 个内存插槽
¥602
电源
海盗船 RM850x850 W
¥999
整机参考价¥21,133

2 × Tesla V100 32GB + E5 双路 DDR4

低价
出字速度40t/s
内存带宽137GB/s
显卡
2 × Tesla V100 32GB39 / 46 层专家放进 64 GB 显存
¥8,400
内存
128 GB DDR4-21338 条 × 16 GB
¥3,480
CPU
2 × Intel Xeon E5-2680 v4共 28 核 56 线程 · 8 通道
¥160
主板
Supermicro X10DRi16 个内存插槽
¥1,204
电源
海盗船 RM1200x SHIFT1,200 W
¥1,799
整机参考价¥15,043

GeForce RTX 3090 + EPYC 单路 DDR4

性价比
出字速度26.1t/s
内存带宽171GB/s
显卡
GeForce RTX 309012 / 46 层专家放进 24 GB 显存
¥8,500
内存
128 GB DDR4-26668 条 × 16 GB
¥5,520
CPU
AMD EPYC 753232 核 64 线程 · 8 通道
¥1,740
主板
Supermicro H12SSL-i8 个内存插槽
¥7,360
电源
海盗船 RM850x850 W
¥999
整机参考价¥24,119

GeForce RTX 5090 + EPYC 单路 DDR5

旗舰
出字速度57.7t/s
内存带宽461GB/s
显卡
GeForce RTX 509017 / 46 层专家放进 32 GB 显存
¥51,999
内存
192 GB DDR5-480012 条 × 16 GB
¥42,000
CPU
AMD EPYC 935432 核 64 线程 · 12 通道
¥12,245
主板
Supermicro H13SSL-N12 个内存插槽
¥5,487
电源
海盗船 RM1200x SHIFT1,200 W
¥1,799
整机参考价¥113,530

详细计算规则可在数据方法页查看。

部分购买链接是联盟链接：通过它们购买时我们可能获得佣金，你支付的价格不变。

本地部署 GLM 4.5 Air 要注意什么？

  1. 量化选哪一档

    4-bit 约 73 GB，是多数配置的落点；5-bit 约 84 GB，96GB 卡或 128GB 整机也放得下。2-bit 约 47 GB，能塞进一张 48GB 卡，但上下文很短。8-bit 约 118 GB，128GB 整机上只剩约 97K 上下文。

  2. 思考模式默认打开

    它可以思考也可以不思考。用 vLLM 或 SGLang 部署时，请求默认带思考；要关掉，在请求里加 chat_template_kwargs 的 enable_thinking: false。简单问答关掉思考，能少等一大段推理过程。

  3. llama.cpp 已支持 MTP 投机解码

    llama.cpp 在 2026 年 8 月合并了 GLM 4.5 Air 的 MTP 支持（PR #26534）：用模型自带的一层小网络先猜下一个字，猜对了就省一步。PR 作者在 4 张 RTX 3090 上用 4-bit 测，草稿长度设 1 时约快 1.2 倍。早先转换、不带 MTP 层的 GGUF，可以另外加载一个单独的 MTP 文件。

  4. 官方给的服务器门槛

    智谱的推荐配置是给数据中心的：FP8 版最少 2 张 H100，要跑满 128K 上下文得 4 张；BF16 版翻倍。本地用 GGUF 量化版，就按上面的表看。

  5. 长上下文吃显存

    原生上下文 128K，但它的注意力结构不压缩上下文，上下文越长显存涨得越多：4-bit 下从 32K 开到 128K 要多约 19 GB，96GB 的卡开满 128K 刚好够。同家族后来的 GLM 4.7 Flash 换了更省的结构，从 8K 开到 128K 只多约 7 GB。

启动命令

llama.cpp

  • NVIDIA
  • AMD
  • Mac
  • CPU
全部放进显存
终端
llama-server -hf unsloth/GLM-4.5-Air-GGUF:Q4_K_M -c 8192
专家卸载

显存不够时加 --cpu-moe，把路由专家放进内存（约需 70 GB）。

终端
llama-server -hf unsloth/GLM-4.5-Air-GGUF:Q4_K_M -c 8192 -ngl 99 \
  --cpu-moe

vLLM

  • Linux
  • NVIDIA
  • AMD
终端
vllm serve zai-org/GLM-4.5-Air

MLX

  • Apple 芯片

Mac 上先 pip install mlx-lm，这条命令会从 Hugging Face 下载 MLX 权重，并启动兼容 OpenAI 接口的服务。

终端
mlx_lm.server --model mlx-community/GLM-4.5-Air-4bit

Ollama

  • Windows
  • macOS
  • Linux

Ollama 库暂无官方标签。

量化文件名以模型库当周抓取为准，口径见数据方法。 数据方法

GLM 家族的其他模型

模型总参数激活参数4-bit 模型大小
GLM 4.7 FlashMoE30B3B18.3 GB
GLM 5.3 FlashMoE320B18B199.7 GB
GLM 5.2MoE744B40B465.8 GB
GLM 5.3MoE744B40B467.3 GB

关于 GLM