Tesla V100 32GB 价格与二手行情：能部署哪些大模型？
到价提醒
闲鱼价格到了你设的价，就发邮件提醒你。
Tesla V100 32GB 是 NVIDIA 2018 年的数据中心卡，4-bit 跑 Qwen3.6 35B A3B 仍有约 134 tokens/s。新版 CUDA 和 vLLM 都不再支持，只能守着旧版本用。
闲鱼
Tesla V100 32GB 价格走势
闲鱼
部分购买链接是联盟链接：通过它们购买时我们可能获得佣金，你支付的价格不变。
Tesla V100 32GB 完整规格
- 显存32 GB · HBM2
- 带宽900 GB/s
- FP16 / BF16112 TFLOPS
- INT856.1 TOPS
- 位宽
- 4,096-bit
- 架构
- Volta (GV100)
- 核心
- 5,120
- 张量核心
- 640
- 生态
- CUDA
- 接口
- PCIe 3.0 x16
- NVLink
- 不支持
- 功耗
- 250 W
- 供电接口
- 8-pin CPU (EPS-12V)
- 槽位
- 2
- 长度
- 267 mm
- 类型
- 数据中心
- 发布日期
- 2018年3月27日
单张 Tesla V100 32GB 能跑哪些模型？
单张 V100 32GB 用 4-bit 能装下 35B 以内的模型，上下文都能开到 160K 以上。8-bit 只放得下 27B 级，约 23 tokens/s。
| 模型 | 大小 | 能否运行 | 速度 t/s | 最大上下文 |
|---|---|---|---|---|
 Gemma 4 E4B8B | 3.8 GB | 能跑 | 142.5 | 128K |
 Qwen3.5 9B9.7B | 4.1 GB | 能跑 | 132.7 | 256K |
| Gemma 4 12B12B | 4.7 GB | 能跑 | 117 | 256K |
| Gemma 4 26B A4B25.2B（激活 3.8B） | 10.5 GB | 能跑 | 137.7 | 256K |
| Qwen3.6 27B27.8B | 11.8 GB | 能跑 | 53 | 256K |
| Qwen3.8 27B27.8B | 9.8 GB | 能跑 | 62.6 | 256K |
 GLM 4.7 Flash30B（激活 3B） | 11.9 GB | 能跑 | 148.4 | 198K |
| Gemma 4 31B30.7B | 11.8 GB | 能跑 | 51.1 | 246K |
| Qwen3.6 35B A3B36B（激活 3B） | 12.3 GB | 能跑 | 158.6 | 256K |
| 模型 | 大小 | 能否运行 | 速度 t/s | 最大上下文 |
|---|---|---|---|---|
| Gemma 4 E4B8B | 5 GB | 能跑 | 114.2 | 128K |
| Qwen3.5 9B9.7B | 5.7 GB | 能跑 | 101.5 | 256K |
| Gemma 4 12B12B | 7.1 GB | 能跑 | 83.2 | 256K |
| Gemma 4 26B A4B25.2B（激活 3.8B） | 16.9 GB | 能跑 | 115.5 | 256K |
| Qwen3.6 27B27.8B | 16.8 GB | 能跑 | 38.3 | 245K |
| Qwen3.8 27B27.8B | 16.5 GB | 能跑 | 38.9 | 250K |
| GLM 4.7 Flash30B（激活 3B） | 18.3 GB | 能跑 | 130.4 | 198K |
| Gemma 4 31B30.7B | 18.3 GB | 能跑 | 34.5 | 168K |
| Qwen3.6 35B A3B36B（激活 3B） | 22.1 GB | 能跑 | 133.5 | 256K |
| 模型 | 大小 | 能否运行 | 速度 t/s | 最大上下文 |
|---|---|---|---|---|
| Gemma 4 E4B8B | 8.2 GB | 能跑 | 74.6 | 128K |
| Qwen3.5 9B9.7B | 9.5 GB | 能跑 | 65.1 | 256K |
| Gemma 4 12B12B | 12.7 GB | 能跑 | 49.6 | 256K |
| Gemma 4 26B A4B25.2B（激活 3.8B） | 26.9 GB | 能跑 | 92.2 | 256K |
| Qwen3.6 27B27.8B | 28.6 GB | 能跑 | 23.1 | 69K |
| Qwen3.8 27B27.8B | 29 GB | 能跑 | 22.8 | 63K |
| GLM 4.7 Flash30B（激活 3B） | 31.8 GB | 能跑 | 103.9 | 26K |
| Gemma 4 31B30.7B | 32.6 GB | 跑不了 | — | — |
| Qwen3.6 35B A3B36B（激活 3B） | 36.9 GB | 需卸载到内存 | 34.6 | 256K |
能跑权重、KV 缓存和运行开销都装得进显存，速度按显存带宽估算。
需卸载到内存仅 MoE 模型：专家权重放进内存，速度按内存带宽 70 GB/s 估算。
跑不了这一档量化下单卡装不下，借内存也不行。
详细计算规则可在数据方法页查看。
多张 Tesla V100 32GB 能跑哪些模型？
两张 V100 32GB（64GB）能用 4-bit 跑 Llama 3.3 70B，约 14 tokens/s；大型 MoE 要四张起。换 llama.cpp 也能叠容量，但会慢不少。
| 模型 | 大小 | 需要几张 | 总价 | 总显存 | 速度 t/s | 总功耗 |
|---|---|---|---|---|---|---|
| Qwen3.8 Flash Next176B（激活 6B） | 78.9 GB | 4 张 | ¥16,800 | 128 GB | 109.1 | 1,000 W |
 DeepSeek V4 Flash284B（激活 13B） | 96.8 GB | 4 张 | ¥16,800 | 128 GB | 88.9 | 1,000 W |
 Hy3295B（激活 21B） | 107.2 GB | 4 张 | ¥16,800 | 128 GB | 42.8 | 1,000 W |
| GLM 5.3 Flash320B（激活 18B） | 108.7 GB | 4 张 | ¥16,800 | 128 GB | 72.3 | 1,000 W |
| 模型 | 大小 | 需要几张 | 总价 | 总显存 | 速度 t/s | 总功耗 |
|---|---|---|---|---|---|---|
| Qwen3.8 Flash Next176B（激活 6B） | 111.3 GB | 4 张 | ¥16,800 | 128 GB | 92.8 | 1,000 W |
| DeepSeek V4 Flash284B（激活 13B） | 155.1 GB | 8 张 | ¥33,600 | 256 GB | 66.1 | 2,000 W |
| Hy3295B（激活 21B） | 182.2 GB | 8 张 | ¥33,600 | 256 GB | 32.1 | 2,000 W |
| GLM 5.3 Flash320B（激活 18B） | 199.7 GB | 8 张 | ¥33,600 | 256 GB | 47.1 | 2,000 W |
| 模型 | 大小 | 需要几张 | 总价 | 总显存 | 速度 t/s | 总功耗 |
|---|---|---|---|---|---|---|
| DeepSeek V4 Flash284B（激活 13B） | 161.9 GB | 8 张 | ¥33,600 | 256 GB | 64.2 | 2,000 W |
| Qwen3.8 Flash Next176B（激活 6B） | 188.2 GB | 8 张 | ¥33,600 | 256 GB | 68.6 | 2,000 W |
详细计算规则可在数据方法页查看。
适合谁
适合
- 27B 到 31B 的稠密模型
4-bit 约 35 到 39 tokens/s，接近 RTX 3090，上下文能开 168K 到 250K
- Qwen3.6 35B A3B 这类 MoE
约 134 tokens/s，上下文开满 256K 也放得下
- 想用 1,000W 左右凑出 128GB
4 张就够，Qwen3.8 Flash Next 的 4-bit 放得下
不太适合
- 8-bit 跑 31B
Gemma 4 31B 的 8-bit 要 32.6 GB，装不下
- 依赖新版 vLLM
vLLM 从 0.20 版（2026 年 4 月底）起不再支持这一代，FlashAttention 2 也不支持它
- 放在普通机箱
没有风扇，要靠服务器风扇吹，GPU 到 87°C 就降频一半
买前须知
看清是 PCIe 版还是 SXM2 转接
32GB 也分原厂 PCIe 卡和 SXM2 服务器模块。SXM2 模块要配第三方转接板才能插普通主板，转接板做工参差，功耗按 300W 准备；原厂 PCIe 版 250W，一个 CPU 8-pin 接口，可以用转接线接两根 PCIe 8-pin。到手看一眼 nvidia-smi：PCIe 版显示「Tesla V100-PCIE-32GB」，转接的模块显示「Tesla V100-SXM2-32GB」。
llama.cpp 在 V100 上怎么跑
llama.cpp 在 V100 上读长提示词，默认走 FP16 计算，速度靠它 112 TFLOPS 的 FP16 算力，但会多占一些显存；显存紧时可以在编译时打开 GGML_CUDA_FORCE_MMQ，省显存，代价是批量大时会慢一些。下载预编译包时选 CUDA 12 版，CUDA 13 版已经不支持这张卡。
主板要开 Above 4G Decoding
32GB 版要占用 32 GB 的地址空间（16GB 版是 16 GB），老主板不开 Above 4G Decoding 会认不到卡，装之前先查主板 BIOS 有没有这个选项。
驱动停在 580
NVIDIA 580 是最后一个支持这一代的驱动分支，之后只有维护更新。Ollama 官方还支持它，要求 550 以上的驱动，所以用 Ollama 的话，驱动装在 550 到 580 之间。
和同档显卡对比
Tesla V100 32GB 和 GeForce RTX 3090、Instinct MI50 32GB、GeForce RTX 2080 Ti 22GB 的价格、显存、带宽、算力与本地大模型速度对比。
| 规格 | Tesla V100 32GB | GeForce RTX 3090 | Instinct MI50 32GB | GeForce RTX 2080 Ti 22GB |
|---|---|---|---|---|
| 显存 | 32 GB | 24 GB少 25% | 32 GB相同 | 22 GB少 31% |
| 带宽 | 900 GB/s | 936 GB/s高 4% | 1,024 GB/s高 14% | 616 GB/s低 32% |
| BF16 / FP16 算力 | 112 TFLOPS | 142 TFLOPS高 27% | 27 TFLOPS低 76% | 108 TFLOPS低 4% |
| INT8 算力 | 56 TOPS | 285 TOPS高 407% | 53 TOPS低 6% | 215 TOPS高 284% |
| Qwen3.8 27B 速度（2-bit） | 62.6 t/s | 64.8 t/s快 4% | 70.3 t/s快 12% | 44 t/s慢 30% |
| 最高可跑稠密模型（4-bit） | 51B | 37B少 27% | 51B相同 | 34B少 33% |
| 功耗 | 250 W | 350 W高 40% | 300 W高 20% | 250 W相同 |
| 卡间互联 | 不支持 | NVLink 112.5 GB/s | — | NVLink 100 GB/s |
| 接口 | PCIe 3.0 x16 | PCIe 4.0 x16 | PCIe 4.0 x16 | PCIe 3.0 x16 |
| 发布 | 2018-03 | 2020-09 | 2018-11 | 2018-09 |
| 闲鱼中位价 |
部分购买链接是联盟链接：通过它们购买时我们可能获得佣金，你支付的价格不变。
Tesla V100 32GB 租用价格
Tesla V100 32GB 在优云智算按需租用每小时 ¥1.34，每天用 8 小时约 ¥326/月。买一张（闲鱼中位价 ¥4,200）每天用 4、8、24 小时，分别约 2.4 年、1.2 年、5 个月回本。
| 方案 | 价格 | 每天 4 小时 | 每天 8 小时 | 每天 24 小时 | 去查看 |
|---|---|---|---|---|---|
 优云智算租用49分钟前更新 | ¥1.34/小时 | ¥163/月 | ¥326/月 | ¥978/月 | 去租 |
 闲鱼3小时前更新 | ¥4,200 | 约 2.4 年回本电费 ¥20/月 | 约 1.2 年回本电费 ¥40/月 | 约 5 个月回本电费 ¥120/月 | 去买 |
回本按中国大陆居民电价（每度 ¥0.66）和 250 W 额定功耗估算，不计残值和整机其他部分。
租用链接是推荐链接：通过它们注册时，我们可能获得佣金或平台额度。
其他市场价格
eBay
Amazon.jp作为 eBay 合作伙伴，你通过本页的 eBay 链接购买时，VRAMGlass 可能获得佣金，你支付的价格不变。