本站含聯盟連結。身為 eBay 合作夥伴，你透過本站連結購買時，我們可能獲得佣金。身為 eBay 合作夥伴，我們可能獲得佣金。了解詳情

收錄顯卡57價格追蹤49 天近 24h 價格資料43,303 筆24h 降價最多Tesla V100 16GB-12.3%24h 漲價最多A100 80GB PCIe+9.4%更新於
NT$ TWD

GLM 4.5 Air 如何本地部署？

GLM 4.5 Air 是智譜 2025 年 7 月發布的 106B MoE，每個字動用 12B 參數，可以在思考與不思考兩種模式間切換，採用 MIT 授權條款。4-bit 權重約 73 GB，單機要整個放下，得用 A100 80GB、RTX PRO 6000 這類大顯示記憶體卡，或 96GB 以上的統一記憶體整機；用 24GB 顯示卡來拼的話，一般要 4 張。它的上下文比較吃顯示記憶體，4-bit 下從 8K 開到 128K 要多約 23 GB。

GLM 4.5 Air 模型資訊

  • 4-bit 最低顯示記憶體76 GB · 8K
  • 參數量106B
  • 激活參數12B
  • 上下文上限128K
架構
MoE
專家卸載
8 GB 顯存 + 70 GB 記憶體
授權
MIT
發布日期
2025年7月28日
廠商
Z.ai / Zhipu AI
Hugging Face 倉庫
zai-org/GLM-4.5-Air
GGUF 倉庫
unsloth/GLM-4.5-Air-GGUF
MLX 倉庫（Apple）
mlx-community/GLM-4.5-Air-4bit
層數
46
隱藏維度
4,096
KV 頭
8
頭維度
128

GLM 4.5 Air 本地部署需要多少顯示記憶體？

量化權重體積GB8K 上下文GB32K 上下文GB128K 上下文（最大）GB
1-bit40.1GGUF42.747.365.9
2-bit47.4GGUF5054.673.2
3-bit54.8GGUF57.46280.6
4-bit73GGUF75.680.298.8
5-bit83.5GGUF86.190.7109.3
8-bit117.5GGUF120.1124.7143.3
BF16/FP16221GGUF223.6228.2246.8

詳細計算規則可在資料方法頁查看。

單卡能跑 GLM 4.5 Air 嗎？

可以，但得是 A100 80GB、RTX PRO 6000 這一級的大顯示記憶體卡。4-bit 版放不進 24GB、32GB 的消費級顯示卡，48GB 的 RTX A6000 也只塞得進 2-bit。單卡裡最合適的是 RTX PRO 6000：4-bit 每秒約 89 個 token，上下文也能開滿；80GB 的 A100 速度差不多，但上下文只能開到 6 萬左右，72GB 的 RTX PRO 5000 也擠得進，上下文只剩 1.6 萬。128GB 統一記憶體的整機（DGX Spark、Ryzen AI Max+ 395）連 8-bit 都放得下，但 4-bit 每秒只有 20 個左右：它雖然是 MoE，每產生一個字仍要讀取 12B 參數，而這兩台的記憶體頻寬比顯示卡低得多，速度自然拉不上來；頻寬高得多的 96GB Mac Studio M5 Ultra 能到每秒 70 個。

閒魚
裝置價格速度 t/s最大上下文
Ryzen AI Max+ 395 128GB整機 · 128 GBNT$92,64316 筆掛單19.7128K
DGX Spark 128GB整機 · 128 GBNT$209,66541 筆掛單20.9128K
MacBook Pro M5 Max 128GB整機 · 128 GBNT$222,80110 筆掛單41.9128K
Mac Studio M5 Ultra 96GB整機 · 96 GBNT$224,29315 筆掛單70.1128K
RTX PRO 5000 72GB72 GBNT$287,68023 筆掛單74.316K
Mac Studio M3 Ultra 512GB整機 · 512 GBNT$573,1654 筆掛單52.4128K
RTX PRO 600096 GBNT$609,4916 筆掛單88.8128K
A100 80GB PCIe80 GBNT$682,6303 筆掛單92.861K

只列常見的顯示卡和整機，50B 以下和以上的模型各一組，按價格從低到高。

多卡跑 GLM 4.5 Air 要幾張顯示卡？

不打算用 96GB 的卡的話，兩張 48GB 的 RTX A6000 最省事，4-bit 每秒約 42 個 token。24GB 的卡（RTX 3090、4090、RX 7900 XTX）要 4 張：4-bit 加 32K 上下文約 80 GB，兩張加起來不夠；4 張時每秒約 50 個，反而比兩張 A6000 快一點，因為每張卡的顯示記憶體頻寬比較高。兩張 32GB 的 RTX 5090 只放得下 2-bit，速度很快，但回答品質會打折扣；要跑 4-bit 一樣得 4 張。

閒魚
裝置需要幾張總價總顯示記憶體速度 t/s總功耗
Tesla V100 32GB單卡 32 GB4 張NT$81,916128 GB47.51,000 W
Radeon RX 7900 XTX單卡 24 GB4 張NT$111,05496 GB49.91,420 W
GeForce RTX 3090單卡 24 GB4 張NT$165,78296 GB491,400 W
Instinct MI210單卡 64 GB2 張NT$180,400128 GB73.1600 W
Arc Pro B70單卡 32 GB4 張NT$256,454128 GB34.6920 W
RTX A6000單卡 48 GB2 張NT$312,05996 GB41.9600 W
GeForce RTX 4090單卡 24 GB4 張NT$487,59396 GB51.81,800 W
RTX PRO 5000 72GB單卡 72 GB2 張NT$575,360144 GB63.9600 W
GeForce RTX 5090單卡 32 GB4 張NT$1,014,174128 GB77.42,300 W
A100 80GB PCIe單卡 80 GB2 張NT$1,365,260160 GB81.3600 W
GeForce RTX 4090 48GB單卡 48 GB2 張暫無96 GB51.8900 W

詳細計算規則可在資料方法頁查看。

用整機跑 GLM 4.5 Air 要什麼配置？

如果只有一張 16GB 到 24GB 的卡，就把專家放進系統記憶體，速度取決於記憶體頻寬。4-bit 下，DDR4 桌機配一張 16GB 的 Tesla V100 約 9 tokens/s，換成 DDR5 約 15，8 通道 DDR4 的二手伺服器配 RTX 3090 約 26。降到 2-bit 的話，同樣這三套機器分別約 15、25、42 tokens/s。

閒魚

2 × GeForce RTX 5070 + 家用 DDR5

家用
生成速度16t/s
記憶體頻寬96GB/s
顯示卡
2 × GeForce RTX 507011 / 46 層專家放進 24 GB 顯示記憶體
NT$63,758
記憶體
64 GB DDR5-60002 條 × 32 GB
NT$27,334
CPU
AMD Ryzen 7 77008 核 16 執行緒 · 2 通道
NT$4,145
主機板
Gigabyte B650 EAGLE AX4 個記憶體插槽
NT$2,936
電源
海盜船 RM850x850 W
NT$4,871
整機參考價NT$103,044

2 × Tesla V100 32GB + E5 雙路 DDR4

低價
生成速度40t/s
記憶體頻寬137GB/s
顯示卡
2 × Tesla V100 32GB39 / 46 層專家放進 64 GB 顯示記憶體
NT$40,958
記憶體
128 GB DDR4-21338 條 × 16 GB
NT$16,968
CPU
2 × Intel Xeon E5-2680 v4共 28 核 56 執行緒 · 8 通道
NT$780
主機板
Supermicro X10DRi16 個記憶體插槽
NT$5,873
電源
海盜船 RM1200x SHIFT1,200 W
NT$8,772
整機參考價NT$73,351

GeForce RTX 3090 + EPYC 單路 DDR4

性價比
生成速度26.1t/s
記憶體頻寬171GB/s
顯示卡
GeForce RTX 309012 / 46 層專家放進 24 GB 顯示記憶體
NT$41,445
記憶體
128 GB DDR4-26668 條 × 16 GB
NT$26,915
CPU
AMD EPYC 753232 核 64 執行緒 · 8 通道
NT$8,483
主機板
Supermicro H12SSL-i8 個記憶體插槽
NT$35,889
電源
海盜船 RM850x850 W
NT$4,871
整機參考價NT$117,603

GeForce RTX 5090 + EPYC 單路 DDR5

旗艦
生成速度57.7t/s
記憶體頻寬461GB/s
顯示卡
GeForce RTX 509017 / 46 層專家放進 32 GB 顯示記憶體
NT$253,543
記憶體
192 GB DDR5-480012 條 × 16 GB
NT$204,789
CPU
AMD EPYC 935432 核 64 執行緒 · 12 通道
NT$59,706
主機板
Supermicro H13SSL-N12 個記憶體插槽
NT$26,754
電源
海盜船 RM1200x SHIFT1,200 W
NT$8,772
整機參考價NT$553,564

詳細計算規則可在資料方法頁查看。

部分購買連結是聯盟連結：透過它們購買時我們可能獲得佣金，你支付的價格不變。

本地部署 GLM 4.5 Air 要注意什麼？

  1. 量化選哪一檔

    4-bit 約 73 GB，是多數配置的落腳處；5-bit 約 84 GB，96GB 的卡或 128GB 整機也放得下。2-bit 約 47 GB，塞得進一張 48GB 的卡，但上下文很短。8-bit 約 118 GB，在 128GB 整機上只剩約 97K 上下文。

  2. 思考模式預設開啟

    它可以思考，也可以不思考。用 vLLM 或 SGLang 部署時，請求預設會帶思考；要關閉的話，在請求裡加上 chat_template_kwargs 的 enable_thinking: false。簡單問答把思考關掉，就不必多等一大段推理過程。

  3. llama.cpp 已支援 MTP 推測解碼

    llama.cpp 在 2026 年 8 月合併了 GLM 4.5 Air 的 MTP 支援（PR #26534）：用模型內建的一層小網路先猜下一個字，猜對就能省下一步。PR 作者在 4 張 RTX 3090 上用 4-bit 測試，草稿長度設為 1 時約快 1.2 倍。早期轉換、不含 MTP 層的 GGUF，可以另外載入一個獨立的 MTP 檔案。

  4. 官方給的伺服器門檻

    智譜的建議配置是針對資料中心的：FP8 版最少 2 張 H100，要跑滿 128K 上下文得用 4 張；BF16 版再加倍。在本機用 GGUF 量化版的話，參考上面的表就好。

  5. 長上下文吃顯示記憶體

    原生上下文是 128K，但它的注意力結構不會壓縮上下文，上下文越長，顯示記憶體漲得越多：4-bit 下從 32K 開到 128K 要多約 19 GB，96GB 的卡開滿 128K 剛好夠用。同家族後來的 GLM 4.7 Flash 改用更省的結構，從 8K 開到 128K 只多約 7 GB。

啟動指令

llama.cpp

  • NVIDIA
  • AMD
  • Mac
  • CPU
全部放進顯示記憶體
終端機
llama-server -hf unsloth/GLM-4.5-Air-GGUF:Q4_K_M -c 8192
專家卸載

顯示記憶體不夠時加上 --cpu-moe，把路由專家放進系統記憶體（約需 70 GB）。

終端機
llama-server -hf unsloth/GLM-4.5-Air-GGUF:Q4_K_M -c 8192 -ngl 99 \
  --cpu-moe

vLLM

  • Linux
  • NVIDIA
  • AMD
終端機
vllm serve zai-org/GLM-4.5-Air

MLX

  • Apple 晶片

在 Mac 上先 pip install mlx-lm，這條指令會從 Hugging Face 下載 MLX 權重，並啟動相容 OpenAI 介面的服務。

終端機
mlx_lm.server --model mlx-community/GLM-4.5-Air-4bit

Ollama

  • Windows
  • macOS
  • Linux

Ollama 庫暫無官方標籤。

量化檔名以模型庫當週抓取為準，口徑見資料方法。 資料方法

GLM 家族的其他模型

模型總參數激活參數4-bit 模型大小
GLM 4.7 FlashMoE30B3B18.3 GB
GLM 5.3 FlashMoE320B18B199.7 GB
GLM 5.2MoE744B40B465.8 GB
GLM 5.3MoE744B40B467.3 GB

關於 GLM