H100 PCIe 價格與中古行情：能部署哪些大型語言模型？
H100 PCIe 是 NVIDIA 2022 年的資料中心卡，80GB 顯示記憶體，35B 以內用 8-bit 跑滿上下文，原生 FP8 適合多人共用。94GB 的 H100 NVL 是另一張卡。
閒魚
H100 PCIe 價格走勢
閒魚
部分購買連結是聯盟連結：透過它們購買時我們可能獲得佣金，你支付的價格不變。
H100 PCIe 完整規格
- 顯存80 GB · HBM2e
- 頻寬2,000 GB/s
- FP16 / BF16756 TFLOPS
- FP8 / INT81,513 / 1,513 TOPS
- 位寬
- 5,120-bit
- 架構
- Hopper (GH100)
- 核心
- 14,592
- 張量核心
- 456
- 生態
- CUDA
- 介面
- PCIe 5.0 x16
- NVLink
- 600 GB/s
- 功耗
- 350 W
- 供電介面
- 16-pin
- 槽位
- 2
- 長度
- 268 mm
- 類型
- 資料中心
- 發布日期
- 2022年3月22日
單張 H100 PCIe 能跑哪些模型？
單張 H100 最大能跑 70B 級和 gpt-oss 120B 的 4-bit。35B 以內建議用 8-bit，Qwen3.8 27B 約 49 tokens/s，也能直接用 FP8 模型。
| 模型 | 大小 | 能否執行 | 速度 t/s | 最大上下文 |
|---|---|---|---|---|
 Gemma 4 26B A4B25.2B（啟用 3.8B） | 10.5 GB | 能跑 | 170.8 | 256K |
 Qwen3.6 27B27.8B | 11.8 GB | 能跑 | 107.9 | 256K |
| Qwen3.8 27B27.8B | 9.8 GB | 能跑 | 125.6 | 256K |
 GLM 4.7 Flash30B（啟用 3B） | 11.9 GB | 能跑 | 178 | 198K |
| Gemma 4 31B30.7B | 11.8 GB | 能跑 | 104.4 | 256K |
| Qwen3.6 35B A3B36B（啟用 3B） | 12.3 GB | 能跑 | 184.4 | 256K |
| 模型 | 大小 | 能否執行 | 速度 t/s | 最大上下文 |
|---|---|---|---|---|
| Gemma 4 26B A4B25.2B（啟用 3.8B） | 16.9 GB | 能跑 | 154.3 | 256K |
| Qwen3.6 27B27.8B | 16.8 GB | 能跑 | 79.8 | 256K |
| Qwen3.8 27B27.8B | 16.5 GB | 能跑 | 81.1 | 256K |
| GLM 4.7 Flash30B（啟用 3B） | 18.3 GB | 能跑 | 165.7 | 198K |
| Gemma 4 31B30.7B | 18.3 GB | 能跑 | 72.4 | 256K |
| Qwen3.6 35B A3B36B（啟用 3B） | 22.1 GB | 能跑 | 167.9 | 256K |
| 模型 | 大小 | 能否執行 | 速度 t/s | 最大上下文 |
|---|---|---|---|---|
| Gemma 4 26B A4B25.2B（啟用 3.8B） | 26.9 GB | 能跑 | 133.9 | 256K |
| Qwen3.6 27B27.8B | 28.6 GB | 能跑 | 49.4 | 256K |
| Qwen3.8 27B27.8B | 29 GB | 能跑 | 48.8 | 256K |
| GLM 4.7 Flash30B（啟用 3B） | 31.8 GB | 能跑 | 144.6 | 198K |
| Gemma 4 31B30.7B | 32.6 GB | 能跑 | 43.2 | 256K |
| Qwen3.6 35B A3B36B（啟用 3B） | 36.9 GB | 能跑 | 147.9 | 256K |
能跑權重、KV 快取和執行開銷都裝得進顯存，速度按顯存頻寬估算。
需卸載到記憶體僅 MoE 模型：專家權重放進記憶體，速度按記憶體頻寬 70 GB/s 估算。
跑不了這一檔量化下單卡放不下，借記憶體也不行。
詳細計算規則可在資料方法頁查看。
多張 H100 PCIe 能跑哪些模型？
兩張 H100（160GB）用 4-bit 跑 Qwen3.8 Flash Next 約 135 tokens/s，四張跑 DeepSeek V4 Flash，八張能跑兆級參數模型。支援 NVLink，兩張一組。
| 模型 | 大小 | 需要幾張 | 總價 | 總顯示記憶體 | 速度 t/s | 總功耗 |
|---|---|---|---|---|---|---|
| Qwen3.8 Flash Next176B（啟用 6B） | 78.9 GB | 2 張 | 暫無 | 160 GB | 149 | 700 W |
 DeepSeek V4 Flash284B（啟用 13B） | 96.8 GB | 2 張 | 暫無 | 160 GB | 130.7 | 700 W |
 Hy3295B（啟用 21B） | 107.2 GB | 2 張 | 暫無 | 160 GB | 76.3 | 700 W |
| GLM 5.3 Flash320B（啟用 18B） | 108.7 GB | 2 張 | 暫無 | 160 GB | 113.6 | 700 W |
| GLM 5.3744B（啟用 40B） | 253.9 GB | 4 張 | 暫無 | 320 GB | 68.8 | 1,400 W |
| Hy4 preview770B（啟用 49B） | 307.2 GB估 | 8 張 | 暫無 | 640 GB | 54.4 | 2,800 W |
 Muse Spark Open816B（啟用 42B） | 311.2 GB | 8 張 | 暫無 | 640 GB | 62.7 | 2,800 W |
 Kimi K2.7 Code1,000B（啟用 32B） | 339.5 GB | 8 張 | 暫無 | 640 GB | 79.9 | 2,800 W |
| Kimi K2.61,000B（啟用 32B） | 340.5 GB | 8 張 | 暫無 | 640 GB | 79.7 | 2,800 W |
 Mistral Large 41,000B（啟用 52B） | 378.3 GB | 8 張 | 暫無 | 640 GB | 54.7 | 2,800 W |
| 模型 | 大小 | 需要幾張 | 總價 | 總顯示記憶體 | 速度 t/s | 總功耗 |
|---|---|---|---|---|---|---|
| Qwen3.8 Flash Next176B（啟用 6B） | 111.3 GB | 2 張 | 暫無 | 160 GB | 134.6 | 700 W |
| DeepSeek V4 Flash284B（啟用 13B） | 155.1 GB | 4 張 | 暫無 | 320 GB | 106.5 | 1,400 W |
| Hy3295B（啟用 21B） | 182.2 GB | 4 張 | 暫無 | 320 GB | 60.3 | 1,400 W |
| GLM 5.3 Flash320B（啟用 18B） | 199.7 GB | 4 張 | 暫無 | 320 GB | 82.3 | 1,400 W |
| GLM 5.3744B（啟用 40B） | 467.3 GB | 8 張 | 暫無 | 640 GB | 45.4 | 2,800 W |
| Hy4 preview770B（啟用 49B） | 467.3 GB | 8 張 | 暫無 | 640 GB | 39.9 | 2,800 W |
| Muse Spark Open816B（啟用 42B） | 505.5 GB | 8 張 | 暫無 | 640 GB | 44.5 | 2,800 W |
| DeepSeek V4.1 Flash763B（啟用 8 / 16B） | 510.3 GB | 8 張Engram 放記憶體 | 暫無 | 640 GB | 73.3 | 2,800 W |
| Kimi K2.61,000B（啟用 32B） | 583.7 GB | 8 張 | 暫無 | 640 GB | 56.8 | 2,800 W |
| Kimi K2.7 Code1,000B（啟用 32B） | 583.7 GB | 8 張 | 暫無 | 640 GB | 56.8 | 2,800 W |
| Mistral Large 41,000B（啟用 52B） | 604.8 GB | 8 張 | 暫無 | 640 GB | 38.5 | 2,800 W |
| 模型 | 大小 | 需要幾張 | 總價 | 總顯示記憶體 | 速度 t/s | 總功耗 |
|---|---|---|---|---|---|---|
| DeepSeek V4 Flash284B（啟用 13B） | 161.9 GB | 4 張 | 暫無 | 320 GB | 104.3 | 1,400 W |
| Qwen3.8 Flash Next176B（啟用 6B） | 188.2 GB | 4 張 | 暫無 | 320 GB | 109.4 | 1,400 W |
| Hy3295B（啟用 21B） | 317.7 GB | 8 張 | 暫無 | 640 GB | 43.7 | 2,800 W |
| GLM 5.3 Flash320B（啟用 18B） | 341 GB | 8 張 | 暫無 | 640 GB | 57.7 | 2,800 W |
| Kimi K2.61,000B（啟用 32B） | 594.5 GB | 8 張 | 暫無 | 640 GB | 56 | 2,800 W |
| Kimi K2.7 Code1,000B（啟用 32B） | 594.5 GB | 8 張 | 暫無 | 640 GB | 56 | 2,800 W |
標「Engram 放記憶體」的另需約 203 GB 系統記憶體。詳細計算規則可在資料方法頁查看。
適合誰
適合
- 跑 FP8 模型
Hopper 原生支援 FP8，FP8 模型能真正加速，還能用 FlashAttention 3
- 長提示詞、RAG、多人同時使用
算力是 A100 的 2.4 倍
- 單卡放下 70B 到 120B 級
Llama 3.3 70B 的 8-bit、gpt-oss 120B 的 4-bit 都放得下
- 兩張用 NVLink 橋接器連起來
4-bit 的 Qwen3.8 Flash Next 約 135 tokens/s
不太適合
- 只是一個人聊天
同一個模型的生成速度和 A100 80GB 幾乎一樣，多出來的算力用不到
- 沒有伺服器
被動散熱要靠機殼風道；供電線提供的功率等級不夠的話，卡會被限制在 310W，甚至無法運作
買前須知
16-pin 供電要給足
H100 PCIe 使用一個 16-pin 供電接頭，卡會透過線上的訊號針腳判斷電源能提供多少功率，再決定自己跑多快：線材標示的等級要高於 300W，才能跑滿 350W；151 到 300W 的等級會被限制在 310W；150W 等級則直接不支援。使用 CPU 8-pin 轉 16-pin 的轉接線時，先確認它回報給卡的是哪一個等級。
別和 H100 NVL、SXM 搞混
商品刊登常把幾種 H100 混在一起寫：H100 NVL 是另一款 PCIe 卡，94GB、400W；SXM5 模組要插在專用的 HGX 基板上，個人主機用不了。拿到後用 nvidia-smi 看型號，原廠 H100 PCIe 會顯示「H100 PCIe」（lspci 裝置 ID 2331，NVL 是 2321）。
風道和 NVLink 的空間
卡上沒有風扇，散熱鰭片兩個方向進風都可以，但風量要按照伺服器標準給足。安裝 NVLink 橋接器時，卡的上方要留至少 2.5 mm、背面留 2.67 mm 的空間，三座橋接器都插上才有完整頻寬。
軟體：Hopper 是主力平台
新推出的推論軟體幾乎都會先支援 Hopper：vLLM 跑 FP8 模型時直接用 FP8 運算，FlashAttention 3 也只支援 H100 和 H800。MIG 最多切成 7 份 10GB，也可以切成 2 份 40GB。不過如果只是用 llama.cpp 給一個人跑，速度主要看頻寬，FP8 和算力的優勢發揮不出來。
與同級顯卡比較
H100 PCIe 與 A100 80GB PCIe、RTX PRO 6000 的價格、顯存、頻寬、算力與本地大模型速度比較。
| 規格 | H100 PCIe | A100 80GB PCIe | RTX PRO 6000 |
|---|---|---|---|
| 顯存 | 80 GB | 80 GB相同 | 96 GB多 20% |
| 頻寬 | 2,000 GB/s | 1,935 GB/s低 3% | 1,792 GB/s低 10% |
| BF16 / FP16 算力 | 756 TFLOPS | 312 TFLOPS低 59% | 500 TFLOPS低 34% |
| INT8 算力 | 1,513 TOPS | 624 TOPS低 59% | 1,000 TOPS低 34% |
| Qwen3.8 27B 速度（2-bit） | 125.6 t/s | 122.2 t/s相同 | 114.6 t/s慢 9% |
| 最高可跑稠密模型（4-bit） | 136B | 136B相同 | 165B多 21% |
| 功耗 | 350 W | 300 W低 14% | 600 W高 71% |
| 卡間互連 | NVLink 600 GB/s | NVLink 600 GB/s | 不支援 |
| 介面 | PCIe 5.0 x16 | PCIe 4.0 x16 | PCIe 5.0 x16 |
| 發布 | 2022-03 | 2021-06 | 2025-03 |
| 閒魚中位價 |
部分購買連結是聯盟連結：透過它們購買時我們可能獲得佣金，你支付的價格不變。
H100 PCIe 租用價格
H100 PCIe 隨需租用每小時 NT$65 起（RunPod），每天用 8 小時約 NT$15,938/月。
| 方案 | 價格 | 每天 4 小時 | 每天 8 小時 | 每天 24 小時 | 去查看 |
|---|---|---|---|---|---|
 RunPod租用29 分鐘前更新 | NT$65/小時 | NT$7,969/月 | NT$15,938/月 | NT$47,814/月 | 去租 |
 Vast.ai租用29 分鐘前更新 | NT$117/小時 | NT$14,179/月 | NT$28,358/月 | NT$85,073/月 | 去租 |
租用連結是推薦連結：透過它們註冊時，我們可能獲得佣金或平台額度。
其他市場價格
eBay
Amazon.jp身為 eBay 合作夥伴，你透過本頁的 eBay 連結購買時，VRAMGlass 可能獲得佣金，你支付的價格不變。