Tesla V100 32GB 價格與中古行情：能部署哪些大型語言模型？
到價提醒
閒魚價格到達你設定的價位時，寄信通知你。
Tesla V100 32GB 是 NVIDIA 2018 年的資料中心卡，4-bit 跑 Qwen3.6 35B A3B 仍有約 134 tokens/s。新版 CUDA 和 vLLM 都不再支援，只能守著舊版本用。
閒魚
Tesla V100 32GB 價格走勢
閒魚
部分購買連結是聯盟連結：透過它們購買時我們可能獲得佣金，你支付的價格不變。
Tesla V100 32GB 完整規格
- 顯存32 GB · HBM2
- 頻寬900 GB/s
- FP16 / BF16112 TFLOPS
- INT856.1 TOPS
- 位寬
- 4,096-bit
- 架構
- Volta (GV100)
- 核心
- 5,120
- 張量核心
- 640
- 生態
- CUDA
- 介面
- PCIe 3.0 x16
- NVLink
- 不支援
- 功耗
- 250 W
- 供電介面
- 8-pin CPU (EPS-12V)
- 槽位
- 2
- 長度
- 267 mm
- 類型
- 資料中心
- 發布日期
- 2018年3月27日
單張 Tesla V100 32GB 能跑哪些模型？
單張 V100 32GB 用 4-bit 放得下 35B 以內的模型，上下文都能開到 160K 以上。8-bit 只放得下 27B 級，約 23 tokens/s。
| 模型 | 大小 | 能否執行 | 速度 t/s | 最大上下文 |
|---|---|---|---|---|
 Gemma 4 E4B8B | 3.8 GB | 能跑 | 142.5 | 128K |
 Qwen3.5 9B9.7B | 4.1 GB | 能跑 | 132.7 | 256K |
| Gemma 4 12B12B | 4.7 GB | 能跑 | 117 | 256K |
| Gemma 4 26B A4B25.2B（啟用 3.8B） | 10.5 GB | 能跑 | 137.7 | 256K |
| Qwen3.6 27B27.8B | 11.8 GB | 能跑 | 53 | 256K |
| Qwen3.8 27B27.8B | 9.8 GB | 能跑 | 62.6 | 256K |
 GLM 4.7 Flash30B（啟用 3B） | 11.9 GB | 能跑 | 148.4 | 198K |
| Gemma 4 31B30.7B | 11.8 GB | 能跑 | 51.1 | 246K |
| Qwen3.6 35B A3B36B（啟用 3B） | 12.3 GB | 能跑 | 158.6 | 256K |
| 模型 | 大小 | 能否執行 | 速度 t/s | 最大上下文 |
|---|---|---|---|---|
| Gemma 4 E4B8B | 5 GB | 能跑 | 114.2 | 128K |
| Qwen3.5 9B9.7B | 5.7 GB | 能跑 | 101.5 | 256K |
| Gemma 4 12B12B | 7.1 GB | 能跑 | 83.2 | 256K |
| Gemma 4 26B A4B25.2B（啟用 3.8B） | 16.9 GB | 能跑 | 115.5 | 256K |
| Qwen3.6 27B27.8B | 16.8 GB | 能跑 | 38.3 | 245K |
| Qwen3.8 27B27.8B | 16.5 GB | 能跑 | 38.9 | 250K |
| GLM 4.7 Flash30B（啟用 3B） | 18.3 GB | 能跑 | 130.4 | 198K |
| Gemma 4 31B30.7B | 18.3 GB | 能跑 | 34.5 | 168K |
| Qwen3.6 35B A3B36B（啟用 3B） | 22.1 GB | 能跑 | 133.5 | 256K |
| 模型 | 大小 | 能否執行 | 速度 t/s | 最大上下文 |
|---|---|---|---|---|
| Gemma 4 E4B8B | 8.2 GB | 能跑 | 74.6 | 128K |
| Qwen3.5 9B9.7B | 9.5 GB | 能跑 | 65.1 | 256K |
| Gemma 4 12B12B | 12.7 GB | 能跑 | 49.6 | 256K |
| Gemma 4 26B A4B25.2B（啟用 3.8B） | 26.9 GB | 能跑 | 92.2 | 256K |
| Qwen3.6 27B27.8B | 28.6 GB | 能跑 | 23.1 | 69K |
| Qwen3.8 27B27.8B | 29 GB | 能跑 | 22.8 | 63K |
| GLM 4.7 Flash30B（啟用 3B） | 31.8 GB | 能跑 | 103.9 | 26K |
| Gemma 4 31B30.7B | 32.6 GB | 跑不了 | — | — |
| Qwen3.6 35B A3B36B（啟用 3B） | 36.9 GB | 需卸載到記憶體 | 34.6 | 256K |
能跑權重、KV 快取和執行開銷都裝得進顯存，速度按顯存頻寬估算。
需卸載到記憶體僅 MoE 模型：專家權重放進記憶體，速度按記憶體頻寬 70 GB/s 估算。
跑不了這一檔量化下單卡放不下，借記憶體也不行。
詳細計算規則可在資料方法頁查看。
多張 Tesla V100 32GB 能跑哪些模型？
兩張 V100 32GB（64GB）能用 4-bit 跑 Llama 3.3 70B，約 14 tokens/s；大型 MoE 要四張起跳。改用 llama.cpp 也能疊容量，但會慢不少。
| 模型 | 大小 | 需要幾張 | 總價 | 總顯示記憶體 | 速度 t/s | 總功耗 |
|---|---|---|---|---|---|---|
| Qwen3.8 Flash Next176B（啟用 6B） | 78.9 GB | 4 張 | NT$81,916 | 128 GB | 109.1 | 1,000 W |
 DeepSeek V4 Flash284B（啟用 13B） | 96.8 GB | 4 張 | NT$81,916 | 128 GB | 88.9 | 1,000 W |
 Hy3295B（啟用 21B） | 107.2 GB | 4 張 | NT$81,916 | 128 GB | 42.8 | 1,000 W |
| GLM 5.3 Flash320B（啟用 18B） | 108.7 GB | 4 張 | NT$81,916 | 128 GB | 72.3 | 1,000 W |
| 模型 | 大小 | 需要幾張 | 總價 | 總顯示記憶體 | 速度 t/s | 總功耗 |
|---|---|---|---|---|---|---|
| Qwen3.8 Flash Next176B（啟用 6B） | 111.3 GB | 4 張 | NT$81,916 | 128 GB | 92.8 | 1,000 W |
| DeepSeek V4 Flash284B（啟用 13B） | 155.1 GB | 8 張 | NT$163,831 | 256 GB | 66.1 | 2,000 W |
| Hy3295B（啟用 21B） | 182.2 GB | 8 張 | NT$163,831 | 256 GB | 32.1 | 2,000 W |
| GLM 5.3 Flash320B（啟用 18B） | 199.7 GB | 8 張 | NT$163,831 | 256 GB | 47.1 | 2,000 W |
| 模型 | 大小 | 需要幾張 | 總價 | 總顯示記憶體 | 速度 t/s | 總功耗 |
|---|---|---|---|---|---|---|
| DeepSeek V4 Flash284B（啟用 13B） | 161.9 GB | 8 張 | NT$163,831 | 256 GB | 64.2 | 2,000 W |
| Qwen3.8 Flash Next176B（啟用 6B） | 188.2 GB | 8 張 | NT$163,831 | 256 GB | 68.6 | 2,000 W |
詳細計算規則可在資料方法頁查看。
適合誰
適合
- 27B 到 31B 的稠密模型
4-bit 約 35 到 39 tokens/s，接近 RTX 3090，上下文能開到 168K 到 250K
- Qwen3.6 35B A3B 這類 MoE
約 134 tokens/s，上下文開滿 256K 也放得下
- 想用 1,000W 左右湊出 128GB
4 張就夠，Qwen3.8 Flash Next 的 4-bit 放得下
不太適合
- 用 8-bit 跑 31B
Gemma 4 31B 的 8-bit 需要 32.6 GB，放不下
- 依賴新版 vLLM
vLLM 從 0.20 版（2026 年 4 月底）起不再支援這一代，FlashAttention 2 也不支援它
- 放在普通機殼
沒有風扇，得靠伺服器風扇吹，GPU 到 87°C 就降頻一半
買前須知
看清是 PCIe 版還是 SXM2 轉接
32GB 版同樣分成原廠 PCIe 卡和 SXM2 伺服器模組。SXM2 模組要搭配第三方轉接板才能插上一般主機板，轉接板做工良莠不齊，功耗要以 300W 來準備；原廠 PCIe 版 250W，一個 CPU 8-pin 接頭，可以用轉接線接兩條 PCIe 8-pin。拿到後看一下 nvidia-smi：PCIe 版顯示「Tesla V100-PCIE-32GB」，轉接的模組顯示「Tesla V100-SXM2-32GB」。
llama.cpp 在 V100 上怎麼跑
llama.cpp 在 V100 上處理長提示詞時，預設走 FP16 運算，速度靠的是它 112 TFLOPS 的 FP16 運算能力，但會多佔用一些顯示記憶體；VRAM 吃緊時，可以在編譯時開啟 GGML_CUDA_FORCE_MMQ 來節省 VRAM，代價是批次大時會慢一些。下載預先編譯套件時要選 CUDA 12 版，CUDA 13 版已經不支援這張卡。
主機板要開 Above 4G Decoding
32GB 版需要佔用 32 GB 的位址空間（16GB 版是 16 GB），舊主機板沒開 Above 4G Decoding 會抓不到卡，安裝前先查主機板 BIOS 有沒有這個選項。
驅動程式停在 580
NVIDIA 580 是最後一個支援這一代的驅動程式分支，之後只有維護性更新。Ollama 官方仍支援它，要求 550 以上的驅動程式，所以要用 Ollama 的話，驅動程式版本要落在 550 到 580 之間。
與同級顯卡比較
Tesla V100 32GB 與 GeForce RTX 3090、Instinct MI50 32GB、GeForce RTX 2080 Ti 22GB 的價格、顯存、頻寬、算力與本地大模型速度比較。
| 規格 | Tesla V100 32GB | GeForce RTX 3090 | Instinct MI50 32GB | GeForce RTX 2080 Ti 22GB |
|---|---|---|---|---|
| 顯存 | 32 GB | 24 GB少 25% | 32 GB相同 | 22 GB少 31% |
| 頻寬 | 900 GB/s | 936 GB/s高 4% | 1,024 GB/s高 14% | 616 GB/s低 32% |
| BF16 / FP16 算力 | 112 TFLOPS | 142 TFLOPS高 27% | 27 TFLOPS低 76% | 108 TFLOPS低 4% |
| INT8 算力 | 56 TOPS | 285 TOPS高 407% | 53 TOPS低 6% | 215 TOPS高 284% |
| Qwen3.8 27B 速度（2-bit） | 62.6 t/s | 64.8 t/s快 4% | 70.3 t/s快 12% | 44 t/s慢 30% |
| 最高可跑稠密模型（4-bit） | 51B | 37B少 27% | 51B相同 | 34B少 33% |
| 功耗 | 250 W | 350 W高 40% | 300 W高 20% | 250 W相同 |
| 卡間互連 | 不支援 | NVLink 112.5 GB/s | — | NVLink 100 GB/s |
| 介面 | PCIe 3.0 x16 | PCIe 4.0 x16 | PCIe 4.0 x16 | PCIe 3.0 x16 |
| 發布 | 2018-03 | 2020-09 | 2018-11 | 2018-09 |
| 閒魚中位價 |
部分購買連結是聯盟連結：透過它們購買時我們可能獲得佣金，你支付的價格不變。
Tesla V100 32GB 租用價格
Tesla V100 32GB 在優雲智算隨需租用每小時 NT$6.5，每天用 8 小時約 NT$1,590/月。買一張（閒魚中位價 NT$20,479）每天用 4、8、24 小時，分別約 2.4 年、1.2 年、5 個月回本。
| 方案 | 價格 | 每天 4 小時 | 每天 8 小時 | 每天 24 小時 | 去查看 |
|---|---|---|---|---|---|
 優雲智算租用50 分鐘前更新 | NT$6.5/小時 | NT$795/月 | NT$1,590/月 | NT$4,770/月 | 去租 |
 閒魚3 小時前更新 | NT$20,479 | 約 2.4 年回本電費 NT$87/月 | 約 1.2 年回本電費 NT$175/月 | 約 5 個月回本電費 NT$524/月 | 去買 |
回本依台灣住宅平均電價（每度 NT$2.87）和 250 W 額定功耗估算，不計殘值和整機其他部分。
租用連結是推薦連結：透過它們註冊時，我們可能獲得佣金或平台額度。
其他市場價格
eBay
Amazon.jp身為 eBay 合作夥伴，你透過本頁的 eBay 連結購買時，VRAMGlass 可能獲得佣金，你支付的價格不變。