GLM 4.7 Flash 如何本地部署？

• 4-bit 最低顯示記憶體20 GB · 8K
• 參數量30B
• 激活參數3B
• 上下文上限198K

架構

MoE

專家卸載

4 GB 顯存 + 18 GB 記憶體

授權

MIT

發布日期

2026年1月19日

廠商

Z.ai / Zhipu AI

Hugging Face 倉庫

zai-org/GLM-4.7-Flash

GGUF 倉庫

unsloth/GLM-4.7-Flash-GGUF

NVFP4 倉庫（Blackwell）

unsloth/GLM-4.7-Flash-NVFP4

MLX 倉庫（Apple）

mlx-community/GLM-4.7-Flash-4bit

Ollama 標籤

glm-4.7-flash

層數

47

隱藏維度

2,048

KV 頭

20

頭維度

256

詳細計算規則可在資料方法頁查看。

裝置	價格	速度 t/s	最大上下文
Tesla V100 32GB32 GB	NT$20,4794 筆掛單	130.4	198K
Radeon RX 7900 XTX24 GB	NT$27,76412 筆掛單	133.7	115K
GeForce RTX 309024 GB	NT$41,44513 筆掛單	132.4	115K
Ryzen AI Max+ 395 128GB整機 · 128 GB	NT$92,64316 筆掛單	66.1	198K
GeForce RTX 409024 GB	NT$121,8986 筆掛單	136.1	115K
RTX A600048 GB	NT$156,0307 筆掛單	122.3	198K
DGX Spark 128GB整機 · 128 GB	NT$209,66541 筆掛單	69.1	198K
MacBook Pro M5 Max 128GB整機 · 128 GB	NT$222,80110 筆掛單	110.5	198K
Mac Studio M5 Ultra 96GB整機 · 96 GB	NT$224,29315 筆掛單	145.5	198K
GeForce RTX 509032 GB	NT$253,54314 筆掛單	161.5	198K
RTX PRO 600096 GB	NT$609,4916 筆掛單	161.5	198K

只列常見的顯示卡和整機，50B 以下和以上的模型各一組，按價格從低到高。

詳細計算規則可在資料方法頁查看。

部分購買連結是聯盟連結：透過它們購買時我們可能獲得佣金，你支付的價格不變。

1. 1

   量化選哪一檔

   24GB 的卡用 4-bit（約 18 GB）；5-bit 約 21 GB 也放得下，只是上下文會少一截。16GB 的卡用 2-bit 或 3-bit（約 12 GB、14 GB）。Unsloth 建議至少用 4-bit。

2. 2

   官方建議的取樣參數

   一般任務用 temperature 1.0、top_p 0.95；寫程式、跑終端機任務用 temperature 0.7、top_p 1.0。重複懲罰關掉（設為 1.0）。在 llama.cpp 裡再把 min_p 設成 0.01，它的預設值 0.05 偏高。

3. 3

   1 月下旬以前的 GGUF 要重新下載

   2026 年 1 月 21 日，llama.cpp 修正了一個路由計算函式寫錯的問題（softmax 應為 sigmoid），修正前模型會反覆輸出、品質很差，Unsloth 隨後重新上傳了 GGUF。在這之前下載的檔案，請重新下載。

4. 4

   Ollama 和 MTP

   Ollama 官方模型庫有 glm-4.7-flash，提供 q4_K_M、q8_0、bf16 三個標籤；Unsloth 的文件仍寫著不建議把他們的 GGUF 放進 Ollama 跑，因為聊天範本可能不相容，要用 Ollama 就用官方庫的版本。llama.cpp 從 2026 年 8 月起支援它的 MTP 推測解碼（PR #24868），PR 作者用 8-bit 測試，草稿長度 1 時平均約快 1.18 倍。

5. 5

   長上下文很省

   它的注意力結構（MLA）會壓縮上下文快取，所以長上下文很省：4-bit 下從 8K 開到 128K 只多約 7 GB，開滿 198K 總共約 30 GB。

ollama run glm-4.7-flash

llama-server -hf unsloth/GLM-4.7-Flash-GGUF:Q4_K_M -c 8192

llama-server -hf unsloth/GLM-4.7-Flash-GGUF:Q4_K_M -c 8192 -ngl 99 \
  --cpu-moe

vllm serve zai-org/GLM-4.7-Flash

vllm serve unsloth/GLM-4.7-Flash-NVFP4

mlx_lm.server --model mlx-community/GLM-4.7-Flash-4bit

量化檔名以模型庫當週抓取為準，口徑見資料方法。 資料方法

模型	總參數	激活參數	4-bit 模型大小
GLM 4.5 AirMoE	106B	12B	73 GB
GLM 5.3 FlashMoE	320B	18B	199.7 GB
GLM 5.2MoE	744B	40B	465.8 GB
GLM 5.3MoE	744B	40B	467.3 GB

關於 GLM