H100 PCIe 价格走势、显存规格与本地大模型部署
H100 PCIe 是 NVIDIA 2022 年的数据中心卡，80GB 显存，35B 以内用 8-bit 跑满上下文，原生 FP8 适合多人共用。94GB 的 H100 NVL 是另一款卡。
闲鱼
H100 PCIe 价格走势
闲鱼
部分购买链接是联盟链接：通过它们购买时我们可能获得佣金，你支付的价格不变。
H100 PCIe 完整规格
- 显存80 GB · HBM2e
- 带宽2,000 GB/s
- FP16 / BF16756 TFLOPS
- FP8 / INT81,513 / 1,513 TOPS
- 位宽
- 5,120-bit
- 架构
- Hopper (GH100)
- 核心
- 14,592
- 张量核心
- 456
- 生态
- CUDA
- 接口
- PCIe 5.0 x16
- NVLink
- 600 GB/s
- 功耗
- 350 W
- 供电接口
- 16-pin
- 槽位
- 2
- 长度
- 268 mm
- 类型
- 数据中心
- 发布日期
- 2022年3月22日
单张 H100 PCIe 能跑哪些模型？
单张 H100 PCIe 最大能跑 70B 级和 gpt-oss 120B 的 4-bit。35B 以内推荐 8-bit，Qwen3.8 27B 约 49 tokens/s，可直接用 FP8 模型。
| 模型 | 大小 | 能否运行 | 速度 t/s | 最大上下文 |
|---|---|---|---|---|
 Gemma 4 26B A4B25.2B（激活 3.8B） | 10.5 GB | 能跑 | 170.8 | 256K |
 Qwen3.6 27B27.8B | 11.8 GB | 能跑 | 107.9 | 256K |
| Qwen3.8 27B27.8B | 9.8 GB | 能跑 | 125.6 | 256K |
 GLM 4.7 Flash30B（激活 3B） | 11.9 GB | 能跑 | 178 | 198K |
| Gemma 4 31B30.7B | 11.8 GB | 能跑 | 104.4 | 256K |
| Qwen3.6 35B A3B36B（激活 3B） | 12.3 GB | 能跑 | 184.4 | 256K |
| 模型 | 大小 | 能否运行 | 速度 t/s | 最大上下文 |
|---|---|---|---|---|
| Gemma 4 26B A4B25.2B（激活 3.8B） | 16.9 GB | 能跑 | 154.3 | 256K |
| Qwen3.6 27B27.8B | 16.8 GB | 能跑 | 79.8 | 256K |
| Qwen3.8 27B27.8B | 16.5 GB | 能跑 | 81.1 | 256K |
| GLM 4.7 Flash30B（激活 3B） | 18.3 GB | 能跑 | 165.7 | 198K |
| Gemma 4 31B30.7B | 18.3 GB | 能跑 | 72.4 | 256K |
| Qwen3.6 35B A3B36B（激活 3B） | 22.1 GB | 能跑 | 167.9 | 256K |
| 模型 | 大小 | 能否运行 | 速度 t/s | 最大上下文 |
|---|---|---|---|---|
| Gemma 4 26B A4B25.2B（激活 3.8B） | 26.9 GB | 能跑 | 133.9 | 256K |
| Qwen3.6 27B27.8B | 28.6 GB | 能跑 | 49.4 | 256K |
| Qwen3.8 27B27.8B | 29 GB | 能跑 | 48.8 | 256K |
| GLM 4.7 Flash30B（激活 3B） | 31.8 GB | 能跑 | 144.6 | 198K |
| Gemma 4 31B30.7B | 32.6 GB | 能跑 | 43.2 | 256K |
| Qwen3.6 35B A3B36B（激活 3B） | 36.9 GB | 能跑 | 147.9 | 256K |
能跑权重、KV 缓存和运行开销都装得进显存，速度按显存带宽估算。
需卸载到内存仅 MoE 模型：专家权重放进内存，速度按内存带宽 70 GB/s 估算。
跑不了这一档量化下单卡装不下，借内存也不行。
详细计算规则可在数据方法页查看。
多张 H100 PCIe 能跑哪些模型？
两张 H100 PCIe（160GB）用 4-bit 跑 Qwen3.8 Flash Next 约 135 tokens/s，四张跑 DeepSeek V4 Flash，八张能跑万亿参数模型。支持 NVLink，两张一对。
| 模型 | 大小 | 需要几张 | 总价 | 总显存 | 速度 t/s | 总功耗 |
|---|---|---|---|---|---|---|
| Qwen3.8 Flash Next176B（激活 6B） | 78.9 GB | 2 张 | 暂无 | 160 GB | 149 | 700 W |
 DeepSeek V4 Flash284B（激活 13B） | 96.8 GB | 2 张 | 暂无 | 160 GB | 130.7 | 700 W |
 Hy3295B（激活 21B） | 107.2 GB | 2 张 | 暂无 | 160 GB | 76.3 | 700 W |
| GLM 5.3 Flash320B（激活 18B） | 108.7 GB | 2 张 | 暂无 | 160 GB | 113.6 | 700 W |
| GLM 5.3744B（激活 40B） | 253.9 GB | 4 张 | 暂无 | 320 GB | 68.8 | 1,400 W |
| Hy4 preview770B（激活 49B） | 307.2 GB估 | 8 张 | 暂无 | 640 GB | 54.4 | 2,800 W |
 Muse Spark Open816B（激活 42B） | 311.2 GB | 8 张 | 暂无 | 640 GB | 62.7 | 2,800 W |
 Kimi K2.7 Code1,000B（激活 32B） | 339.5 GB | 8 张 | 暂无 | 640 GB | 79.9 | 2,800 W |
| Kimi K2.61,000B（激活 32B） | 340.5 GB | 8 张 | 暂无 | 640 GB | 79.7 | 2,800 W |
 Mistral Large 41,000B（激活 52B） | 378.3 GB | 8 张 | 暂无 | 640 GB | 54.7 | 2,800 W |
| 模型 | 大小 | 需要几张 | 总价 | 总显存 | 速度 t/s | 总功耗 |
|---|---|---|---|---|---|---|
| Qwen3.8 Flash Next176B（激活 6B） | 111.3 GB | 2 张 | 暂无 | 160 GB | 134.6 | 700 W |
| DeepSeek V4 Flash284B（激活 13B） | 155.1 GB | 4 张 | 暂无 | 320 GB | 106.5 | 1,400 W |
| Hy3295B（激活 21B） | 182.2 GB | 4 张 | 暂无 | 320 GB | 60.3 | 1,400 W |
| GLM 5.3 Flash320B（激活 18B） | 199.7 GB | 4 张 | 暂无 | 320 GB | 82.3 | 1,400 W |
| GLM 5.3744B（激活 40B） | 467.3 GB | 8 张 | 暂无 | 640 GB | 45.4 | 2,800 W |
| Hy4 preview770B（激活 49B） | 467.3 GB | 8 张 | 暂无 | 640 GB | 39.9 | 2,800 W |
| Muse Spark Open816B（激活 42B） | 505.5 GB | 8 张 | 暂无 | 640 GB | 44.5 | 2,800 W |
| DeepSeek V4.1 Flash763B（激活 8 / 16B） | 510.3 GB | 8 张Engram 放内存 | 暂无 | 640 GB | 73.3 | 2,800 W |
| Kimi K2.61,000B（激活 32B） | 583.7 GB | 8 张 | 暂无 | 640 GB | 56.8 | 2,800 W |
| Kimi K2.7 Code1,000B（激活 32B） | 583.7 GB | 8 张 | 暂无 | 640 GB | 56.8 | 2,800 W |
| Mistral Large 41,000B（激活 52B） | 604.8 GB | 8 张 | 暂无 | 640 GB | 38.5 | 2,800 W |
| 模型 | 大小 | 需要几张 | 总价 | 总显存 | 速度 t/s | 总功耗 |
|---|---|---|---|---|---|---|
| DeepSeek V4 Flash284B（激活 13B） | 161.9 GB | 4 张 | 暂无 | 320 GB | 104.3 | 1,400 W |
| Qwen3.8 Flash Next176B（激活 6B） | 188.2 GB | 4 张 | 暂无 | 320 GB | 109.4 | 1,400 W |
| Hy3295B（激活 21B） | 317.7 GB | 8 张 | 暂无 | 640 GB | 43.7 | 2,800 W |
| GLM 5.3 Flash320B（激活 18B） | 341 GB | 8 张 | 暂无 | 640 GB | 57.7 | 2,800 W |
| Kimi K2.61,000B（激活 32B） | 594.5 GB | 8 张 | 暂无 | 640 GB | 56 | 2,800 W |
| Kimi K2.7 Code1,000B（激活 32B） | 594.5 GB | 8 张 | 暂无 | 640 GB | 56 | 2,800 W |
标「Engram 放内存」的另需约 203 GB 系统内存。详细计算规则可在数据方法页查看。
适合谁
适合
- 跑 FP8 模型
Hopper 原生支持 FP8，FP8 模型能真正提速，还能用 FlashAttention 3
- 长提示、RAG、多人并发
算力是 A100 的 2.4 倍
- 单卡装下 70B 到 120B 级
Llama 3.3 70B 的 8-bit、gpt-oss 120B 的 4-bit 都放得下
- 两张用 NVLink 桥连起来
4-bit 的 Qwen3.8 Flash Next 约 135 tokens/s
不太适合
- 只是一个人聊天
同一个模型的生成速度和 A100 80GB 几乎一样，多出来的算力用不上
- 没有服务器
被动散热要靠机箱风道；供电线给的功率档不够，卡会被限到 310W 甚至不能运行
买前须知
16-pin 供电要给足
H100 PCIe 用一个 16-pin 供电口，卡会通过线上的信号针判断电源能给多少功率，再决定自己跑多快：线标的档位高于 300W，才能跑满 350W；151 到 300W 档会被限到 310W；150W 档直接不支持。用 CPU 8-pin 转 16-pin 的转接线时，先确认它报给卡的是哪一档。
别和 H100 NVL、SXM 混
挂单里常把几种 H100 混写：H100 NVL 是另一款 PCIe 卡，94GB、400W；SXM5 模组要插在专用的 HGX 基板上，个人主机用不了。到手用 nvidia-smi 看型号，原厂 H100 PCIe 显示「H100 PCIe」（lspci 设备 ID 2331，NVL 是 2321）。
风道和 NVLink 的空间
卡上没有风扇，散热片两个方向进风都行，但风量要按服务器标准给。装 NVLink 桥时，卡上方要留至少 2.5 mm、背面留 2.67 mm 的空间，三根桥都插上才有满带宽。
软件：Hopper 是主力平台
新出的推理软件基本都先支持 Hopper：vLLM 跑 FP8 模型直接用 FP8 计算，FlashAttention 3 也只支持 H100 和 H800。MIG 最多切 7 份 10GB，也能切 2 份 40GB。不过如果只是用 llama.cpp 给一个人跑，速度主要看带宽，FP8 和算力的优势发挥不出来。
和同档显卡对比
H100 PCIe 和 A100 80GB PCIe、RTX PRO 6000 的价格、显存、带宽、算力与本地大模型速度对比。
| 规格 | H100 PCIe | A100 80GB PCIe | RTX PRO 6000 |
|---|---|---|---|
| 显存 | 80 GB | 80 GB相同 | 96 GB多 20% |
| 带宽 | 2,000 GB/s | 1,935 GB/s低 3% | 1,792 GB/s低 10% |
| BF16 / FP16 算力 | 756 TFLOPS | 312 TFLOPS低 59% | 500 TFLOPS低 34% |
| INT8 算力 | 1,513 TOPS | 624 TOPS低 59% | 1,000 TOPS低 34% |
| Qwen3.8 27B 速度（2-bit） | 125.6 t/s | 122.2 t/s相同 | 114.6 t/s慢 9% |
| 最高可跑稠密模型（4-bit） | 136B | 136B相同 | 165B多 21% |
| 功耗 | 350 W | 300 W低 14% | 600 W高 71% |
| 卡间互联 | NVLink 600 GB/s | NVLink 600 GB/s | 不支持 |
| 接口 | PCIe 5.0 x16 | PCIe 4.0 x16 | PCIe 5.0 x16 |
| 发布 | 2022-03 | 2021-06 | 2025-03 |
| 闲鱼中位价 |
部分购买链接是联盟链接：通过它们购买时我们可能获得佣金，你支付的价格不变。
H100 PCIe 租用价格
H100 PCIe 按需租用每小时 ¥13.3 起（RunPod），每天用 8 小时约 ¥3,237/月。
| 方案 | 价格 | 每天 4 小时 | 每天 8 小时 | 每天 24 小时 | 去查看 |
|---|---|---|---|---|---|
 RunPod租用19分钟前更新 | ¥13.3/小时 | ¥1,619/月 | ¥3,237/月 | ¥9,711/月 | 去租 |
 Vast.ai租用19分钟前更新 | ¥23.7/小时 | ¥2,880/月 | ¥5,760/月 | ¥17,279/月 | 去租 |
租用链接是推荐链接：通过它们注册时，我们可能获得佣金或平台额度。
其他市场价格
eBay
Amazon.jp作为 eBay 合作伙伴，VRAMGlass 可能在你通过 eBay 链接购买时获得佣金，你支付的价格不变。