H100 PCIe 價格與中古行情:能部署哪些大型語言模型?
到價提醒
eBay價格到達你設定的價位時,寄信通知你。
H100 PCIe 有 80GB HBM2e 顯存,頻寬 2,000 GB/s。暫無價資料。4-bit 量化、8K 上下文下最大能裝約 136B 參數的稠密模型,預估 18 tokens/s。
eBay
H100 PCIe 價格走勢
eBay
購買連結可能含聯盟標記,不影響你支付的價格。
H100 PCIe 完整規格
- 顯存80 GB · HBM2e
- 頻寬2,000 GB/s
- FP16 / BF16756 TFLOPS
- FP8 / INT81,513 / 1,513 TOPS
- 位寬
- 5,120-bit
- 架構
- Hopper (GH100)
- 核心
- 14,592
- 張量核心
- 456
- 生態
- CUDA
- 介面
- PCIe 5.0 x16
- NVLink
- 600 GB/s
- 功耗
- 350 W
- 供電介面
- 16-pin
- 槽位
- 2
- 長度
- 268 mm
- 類型
- 資料中心
- 發布日期
- 2022年3月22日
H100 PCIe 能跑哪些模型?
單張 H100 PCIe 能跑哪些 50B 參數以內的模型,只列 2026 年起發布的版本
| 模型 | 大小 | 能否執行 | 速度 t/s | 最大上下文 |
|---|---|---|---|---|
| 3.8 GB | 能跑 | 291 | 128K | |
| 4.1 GB | 能跑 | 271.9 | 256K | |
| 4.7 GB | 能跑 | 240.8 | 256K | |
| 10.5 GB | 能跑 | 192.2 | 256K | |
| 11.8 GB | 能跑 | 111 | 256K | |
| 9.8 GB | 能跑 | 130.8 | 256K | |
| 11.9 GB | 能跑 | 201.7 | 198K | |
| 11.8 GB | 能跑 | 107.2 | 256K | |
| 12.3 GB | 能跑 | 210.3 | 256K |
| 模型 | 大小 | 能否執行 | 速度 t/s | 最大上下文 |
|---|---|---|---|---|
| 5 GB | 能跑 | 235.1 | 128K | |
| 5.7 GB | 能跑 | 209.8 | 256K | |
| 7.1 GB | 能跑 | 172.8 | 256K | |
| 16.9 GB | 能跑 | 170.7 | 256K | |
| 16.8 GB | 能跑 | 80.6 | 256K | |
| 16.5 GB | 能跑 | 81.9 | 256K | |
| 18.3 GB | 能跑 | 185.4 | 198K | |
| 18.3 GB | 能跑 | 72.7 | 256K | |
| 22.1 GB | 能跑 | 188.3 | 256K |
| 模型 | 大小 | 能否執行 | 速度 t/s | 最大上下文 |
|---|---|---|---|---|
| 8.2 GB | 能跑 | 155.5 | 128K | |
| 9.5 GB | 能跑 | 136 | 256K | |
| 12.7 GB | 能跑 | 104.2 | 256K | |
| 26.9 GB | 能跑 | 145.2 | 256K | |
| 28.6 GB | 能跑 | 48.9 | 256K | |
| 29 GB | 能跑 | 48.3 | 256K | |
| 31.8 GB | 能跑 | 158.5 | 198K | |
| 32.6 GB | 能跑 | 42.6 | 256K | |
| 36.9 GB | 能跑 | 162.6 | 256K |
能跑權重、KV 快取和執行開銷都裝得進顯存,速度按顯存頻寬估算。
需卸載到記憶體僅 MoE 模型:專家權重放進記憶體,速度按記憶體頻寬 70 GB/s 估算。
跑不了這一檔量化下單卡放不下,借記憶體也不行。
雙卡、四卡、八卡 H100 PCIe 能跑哪些大型語言模型?
2026 年起發布的 50B 以上模型,按 vLLM 張量並行、32K 上下文要幾張卡才裝得下
| 模型 | 大小 | 需要幾張 | 總價 | 總顯示記憶體 | 速度 t/s | 總功耗 |
|---|---|---|---|---|---|---|
| 78.9 GB | 2 張 | 暫無 | 160 GB | 164 | 700 W | |
| 96.8 GB | 2 張 | 暫無 | 160 GB | 141.4 | 700 W | |
| 107.2 GB | 2 張 | 暫無 | 160 GB | 78.4 | 700 W | |
| 108.7 GB | 2 張 | 暫無 | 160 GB | 120.7 | 700 W | |
| 253.9 GB | 4 張 | 暫無 | 320 GB | 70.1 | 1,400 W | |
| 286.1 GB估 | 8 張 | 暫無 | 640 GB | 54.7 | 2,800 W | |
| 339.5 GB | 8 張 | 暫無 | 640 GB | 82.3 | 2,800 W |
| 模型 | 大小 | 需要幾張 | 總價 | 總顯示記憶體 | 速度 t/s | 總功耗 |
|---|---|---|---|---|---|---|
| 111.3 GB | 2 張 | 暫無 | 160 GB | 146 | 700 W | |
| 155.1 GB | 4 張 | 暫無 | 320 GB | 112.5 | 1,400 W | |
| 182.2 GB | 4 張 | 暫無 | 320 GB | 61 | 1,400 W | |
| 199.7 GB | 4 張 | 暫無 | 320 GB | 85 | 1,400 W | |
| 467.3 GB | 8 張 | 暫無 | 640 GB | 45.3 | 2,800 W | |
| 467.3 GB | 8 張 | 暫無 | 640 GB | 39.7 | 2,800 W | |
| 510.3 GB | 8 張Engram 放記憶體 | 暫無 | 640 GB | 75.1 | 2,800 W | |
| 583.7 GB | 8 張 | 暫無 | 640 GB | 57.2 | 2,800 W |
| 模型 | 大小 | 需要幾張 | 總價 | 總顯示記憶體 | 速度 t/s | 總功耗 |
|---|---|---|---|---|---|---|
| 161.9 GB | 4 張 | 暫無 | 320 GB | 109.9 | 1,400 W | |
| 188.2 GB | 4 張 | 暫無 | 320 GB | 115.8 | 1,400 W | |
| 317.7 GB | 8 張 | 暫無 | 640 GB | 43.6 | 2,800 W | |
| 341 GB | 8 張 | 暫無 | 640 GB | 58.2 | 2,800 W | |
| 594.5 GB | 8 張 | 暫無 | 640 GB | 56.5 | 2,800 W |
張數取 1 / 2 / 4 / 8 張,每張按 90% 顯存計;速度按單卡頻寬估算,總價只算顯示卡。標「Engram 放記憶體」的另需約 203 GB 系統記憶體。支援 NVLink(600 GB/s)。能否實際執行還要看 vLLM 是否支援。
H100 PCIe 租用價格
H100 PCIe 隨需租用每小時 NT$63 起(RunPod),每天用 8 小時約 NT$15,404/月。
其他市場價格
購買連結可能含聯盟標記,不影響你支付的價格。
常見問題
H100 PCIe 能跑多大的模型?
單張 H100 PCIe 有 80GB HBM2e 顯示記憶體,在 4-bit 量化、8K 上下文下最大能裝約 136B 參數的稠密模型,8-bit 下約 73B。
H100 PCIe 能跑 70B 模型嗎?
能。在 4-bit 量化、8K 上下文下,70B 稠密模型約需 43GB,H100 PCIe 的 80GB 裝得下。
H100 PCIe 適合跑哪些大型語言模型?
2026 年發布的模型中,4-bit 下能完整放進顯示記憶體的最大稠密模型是 Gemma 4 31B,預估 72.7 tokens/s。MoE 模型中 Qwen3.6 35B A3B 最快,約 188.3 tokens/s。完整列表見上方「能跑哪些模型」表格。
H100 PCIe 跑大型語言模型每秒多少 token?
按顯示記憶體頻寬估算,4-bit、8K 上下文下:8B 稠密模型約 226.5 tokens/s、14B 稠密模型約 142.8 tokens/s、32B 稠密模型約 68.8 tokens/s、70B 稠密模型約 33.1 tokens/s。MoE 模型每個 token 只讀取啟用參數,會快很多。實測通常在估算值的 70%–100%。
雙卡 H100 PCIe 能跑哪些大型語言模型?
兩張 H100 PCIe(共 160GB)按 vLLM 張量並行、4-bit、32K 上下文,能裝下 Qwen3.8 Flash Next。要在 4-bit、32K 上下文下跑 Kimi K2.7 Code,需要 8 張。
H100 PCIe 多少錢?
暫無價資料,價格接入後會顯示在這裡。
H100 PCIe 租一小時多少錢?
截至 2026年9月29日,RunPod 每小時 NT$63、Vast.ai 每小時 NT$82。皆為單卡隨需價格,不含儲存空間和流量。
H100 PCIe 和 A100 80GB PCIe 跑大型語言模型怎麼選?
A100 80GB PCIe 有 80GB 顯示記憶體、1,935 GB/s 頻寬,H100 PCIe 是 80GB、2,000 GB/s。跑 70B 稠密模型(4-bit)預估 H100 PCIe 約 33.1 tokens/s,A100 80GB PCIe 約 32 tokens/s。