本站含联盟链接。作为 eBay 合作伙伴，你通过本站链接购买时，我们可能获得佣金。作为 eBay 合作伙伴，我们可能获得佣金。了解详情

收录显卡57价格追踪49 天近 24h 价格数据43,303 条24h 降价最多Tesla V100 16GB-12.3%24h 涨价最多A100 80GB PCIe+9.4%更新于
¥ CNY

GLM 4.7 Flash 如何本地部署？

GLM 4.7 Flash 是智谱 2026 年 1 月发布的 30B MoE，每个字只用 3B 参数，所以跑得很快。一张 24GB 显卡跑 4-bit 约 135 tokens/s，上下文能开到约 115K。官方把它定位成 30B 级的轻量部署选择，MIT 许可。16GB 卡要么降到 2-bit，要么把一部分专家放进内存。

GLM 4.7 Flash 模型信息

  • 4-bit 最低显存20 GB · 8K
  • 参数量30B
  • 激活参数3B
  • 上下文上限198K
架构
MoE
专家卸载
4 GB 显存 + 18 GB 内存
许可证
MIT
发布日期
2026年1月19日
厂商
Z.ai / Zhipu AI
Hugging Face 仓库
zai-org/GLM-4.7-Flash
GGUF 仓库
unsloth/GLM-4.7-Flash-GGUF
NVFP4 仓库（Blackwell）
unsloth/GLM-4.7-Flash-NVFP4
MLX 仓库（Apple）
mlx-community/GLM-4.7-Flash-4bit
Ollama 标签
glm-4.7-flash
层数
47
隐藏维度
2,048
KV 头
20
头维度
256

GLM 4.7 Flash 本地部署需要多少显存？

量化权重体积GB8K 上下文GB32K 上下文GB128K 上下文GB198K 上下文（最大）GB
1-bit9.8GGUF11.312.61821.9
2-bit11.9GGUF13.414.720.124
3-bit13.8GGUF15.316.62225.9
4-bit18.3GGUF19.821.126.530.4
5-bit21.4GGUF22.924.229.633.5
8-bit31.8GGUF33.334.64043.9
BF16/FP1659.9GGUF61.462.768.172

详细计算规则可在数据方法页查看。

单卡能跑 GLM 4.7 Flash 吗？

一张 24GB 显卡就能跑得很舒服。4-bit 加 8K 上下文约 20 GB，RTX 3090、4090、RX 7900 XTX 都装得下；它每出一个字只读 3B 参数，所以速度很快，每秒 130 个 token 上下，上下文还能开到约 115K。它存上下文的方式很省，开长了显存涨得很慢，换 32GB 的 RTX 5090 就能把上下文开满。16GB 卡装不下 4-bit，只能退到 2-bit 或 3-bit，速度照样快，但上下文要短一截，Unsloth 也建议尽量别低于 4-bit。

闲鱼
设备价格速度 t/s最大上下文
Tesla V100 32GB32 GB¥4,2004 条挂单130.4198K
Radeon RX 7900 XTX24 GB¥5,69412 条挂单133.7115K
GeForce RTX 309024 GB¥8,50013 条挂单132.4115K
Ryzen AI Max+ 395 128GB整机 · 128 GB¥19,00016 条挂单66.1198K
GeForce RTX 409024 GB¥25,0006 条挂单136.1115K
RTX A600048 GB¥32,0007 条挂单122.3198K
DGX Spark 128GB整机 · 128 GB¥43,00041 条挂单69.1198K
MacBook Pro M5 Max 128GB整机 · 128 GB¥45,69410 条挂单110.5198K
Mac Studio M5 Ultra 96GB整机 · 96 GB¥46,00015 条挂单145.5198K
GeForce RTX 509032 GB¥51,99914 条挂单161.5198K
RTX PRO 600096 GB¥125,0006 条挂单161.5198K

只列常见的显卡和整机，50B 以下和以上的模型各一组，按价格从低到高。

用整机跑 GLM 4.7 Flash 要什么配置？

16GB 卡想用 4-bit，就把一部分专家放进内存。下表配的是 16GB 的 Tesla V100，47 层里约 37 层专家留在显存，只有 10 层放进内存，所以速度掉得不多：DDR4 台式机约 74 tokens/s，DDR5 约 94。8-bit 也能这样跑，DDR4 台式机约 27 tokens/s，8 通道 DDR4 服务器配 RTX 3090 约 76。

闲鱼

GeForce RTX 5070 + 家用 DDR5

家用
出字速度66.8t/s
内存带宽96GB/s
显卡
GeForce RTX 507025 / 47 层专家放进 12 GB 显存
¥6,538
内存
32 GB DDR5-60002 条 × 16 GB
¥2,926
CPU
AMD Ryzen 7 77008 核 16 线程 · 2 通道
¥850
主板
Gigabyte B650 EAGLE AX4 个内存插槽
¥602
电源
海盗船 RM750e750 W
¥999
整机参考价¥11,915

详细计算规则可在数据方法页查看。

部分购买链接是联盟链接：通过它们购买时我们可能获得佣金，你支付的价格不变。

本地部署 GLM 4.7 Flash 要注意什么？

  1. 量化选哪一档

    24GB 卡用 4-bit（约 18 GB）；5-bit 约 21 GB 也放得下，只是上下文会少一截。16GB 卡用 2-bit 或 3-bit（约 12 GB、14 GB）。Unsloth 建议至少用 4-bit。

  2. 官方推荐的采样参数

    一般任务 temperature 1.0、top_p 0.95；写代码、跑终端任务用 temperature 0.7、top_p 1.0。重复惩罚关掉（设为 1.0）。在 llama.cpp 里再把 min_p 设成 0.01，它的默认值 0.05 偏高。

  3. 1 月下旬之前的 GGUF 要重下

    2026 年 1 月 21 日，llama.cpp 修了一个计算路由的函数写错的问题（softmax 应为 sigmoid），修之前模型会反复输出、质量很差，Unsloth 随后重新上传了 GGUF。在这之前下载的文件，请重新下载。

  4. Ollama 和 MTP

    Ollama 官方库有 glm-4.7-flash，提供 q4_K_M、q8_0、bf16 三个标签；Unsloth 的文档仍写着不建议把他们的 GGUF 放进 Ollama 跑，因为聊天模板可能不兼容，用 Ollama 就用官方库的版本。llama.cpp 从 2026 年 8 月起支持它的 MTP 投机解码（PR #24868），PR 作者用 8-bit 测，草稿长度 1 时平均约快 1.18 倍。

  5. 长上下文很省

    它的注意力结构（MLA）会压缩上下文缓存，所以长上下文很省：4-bit 下从 8K 开到 128K 只多约 7 GB，开满 198K 一共约 30 GB。

启动命令

Ollama

  • Windows
  • macOS
  • Linux
终端
ollama run glm-4.7-flash

llama.cpp

  • NVIDIA
  • AMD
  • Mac
  • CPU
全部放进显存
终端
llama-server -hf unsloth/GLM-4.7-Flash-GGUF:Q4_K_M -c 8192
专家卸载

显存不够时加 --cpu-moe，把路由专家放进内存（约需 18 GB）。

终端
llama-server -hf unsloth/GLM-4.7-Flash-GGUF:Q4_K_M -c 8192 -ngl 99 \
  --cpu-moe

vLLM

  • Linux
  • NVIDIA
  • AMD
原版权重
终端
vllm serve zai-org/GLM-4.7-Flash
NVFP4 · Blackwell

Blackwell 显卡（RTX 50 系、RTX PRO 6000、B200）能原生跑 NVFP4 权重，体积约为原版的三成。

终端
vllm serve unsloth/GLM-4.7-Flash-NVFP4

MLX

  • Apple 芯片

Mac 上先 pip install mlx-lm，这条命令会从 Hugging Face 下载 MLX 权重，并启动兼容 OpenAI 接口的服务。

终端
mlx_lm.server --model mlx-community/GLM-4.7-Flash-4bit

量化文件名以模型库当周抓取为准，口径见数据方法。 数据方法

GLM 家族的其他模型

模型总参数激活参数4-bit 模型大小
GLM 4.5 AirMoE106B12B73 GB
GLM 5.3 FlashMoE320B18B199.7 GB
GLM 5.2MoE744B40B465.8 GB
GLM 5.3MoE744B40B467.3 GB

关于 GLM