Tesla V100 32GB の価格・中古相場:実行できるローカルLLMは?
価格アラート
Amazon.jp の価格が設定した金額に達したら、メールでお知らせします。
Tesla V100 32GB は 2018 年の NVIDIA データセンター向けカードで、Qwen3.6 35B A3B の 4-bit でも約 134 tokens/s。新しい CUDA と vLLM は非対応で、旧版で使い続けるしかありません。
Amazon.jp
Tesla V100 32GB の価格推移
Amazon.jp
一部の購入リンクはアフィリエイトリンクです。リンク経由でご購入いただくと当サイトが手数料を受け取ることがありますが、お支払い金額は変わりません。
Tesla V100 32GB の詳細スペック
- メモリ32 GB · HBM2
- 帯域幅900 GB/s
- FP16 / BF16112 TFLOPS
- INT856.1 TOPS
- バス幅
- 4,096-bit
- アーキテクチャ
- Volta (GV100)
- コア
- 5,120
- Tensor コア
- 640
- エコシステム
- CUDA
- インターフェース
- PCIe 3.0 x16
- NVLink
- 非対応
- 消費電力
- 250 W
- 補助電源
- 8-pin CPU (EPS-12V)
- スロット
- 2
- 長さ
- 267 mm
- 種別
- データセンター
- 発売日
- 2018年3月27日
Tesla V100 32GB 1 枚で動かせるモデルは?
V100 32GB 1 枚なら 4-bit で 35B までが収まり、どれもコンテキストを 160K 以上取れます。8-bit で入るのは 27B 級までで、約 23 tokens/s です。
| モデル | サイズ | 動作 | 速度 t/s | 最大コンテキスト |
|---|---|---|---|---|
| 3.8 GB | 動く | 142.5 | 128K | |
| 4.1 GB | 動く | 132.7 | 256K | |
| 4.7 GB | 動く | 117 | 256K | |
| 10.5 GB | 動く | 137.7 | 256K | |
| 11.8 GB | 動く | 53 | 256K | |
| 9.8 GB | 動く | 62.6 | 256K | |
| 11.9 GB | 動く | 148.4 | 198K | |
| 11.8 GB | 動く | 51.1 | 246K | |
| 12.3 GB | 動く | 158.6 | 256K |
| モデル | サイズ | 動作 | 速度 t/s | 最大コンテキスト |
|---|---|---|---|---|
| 5 GB | 動く | 114.2 | 128K | |
| 5.7 GB | 動く | 101.5 | 256K | |
| 7.1 GB | 動く | 83.2 | 256K | |
| 16.9 GB | 動く | 115.5 | 256K | |
| 16.8 GB | 動く | 38.3 | 245K | |
| 16.5 GB | 動く | 38.9 | 250K | |
| 18.3 GB | 動く | 130.4 | 198K | |
| 18.3 GB | 動く | 34.5 | 168K | |
| 22.1 GB | 動く | 133.5 | 256K |
| モデル | サイズ | 動作 | 速度 t/s | 最大コンテキスト |
|---|---|---|---|---|
| 8.2 GB | 動く | 74.6 | 128K | |
| 9.5 GB | 動く | 65.1 | 256K | |
| 12.7 GB | 動く | 49.6 | 256K | |
| 26.9 GB | 動く | 92.2 | 256K | |
| 28.6 GB | 動く | 23.1 | 69K | |
| 29 GB | 動く | 22.8 | 63K | |
| 31.8 GB | 動く | 103.9 | 26K | |
| 32.6 GB | 入らない | — | — | |
| 36.9 GB | RAM オフロードが必要 | 34.6 | 256K |
動く重みも KV キャッシュも VRAM に収まり、速度は VRAM 帯域幅から推定します。
RAM オフロードが必要MoE モデルのみ。エキスパート重みをシステム RAM に置くため、速度は RAM 帯域幅 70 GB/s から推定します。
入らないこの量子化では 1 枚に収まらず、RAM へのオフロードでも動きません。
詳しい計算ルールはデータの作り方ページをご覧ください。
Tesla V100 32GB を複数枚使うと動かせるモデルは?
V100 32GB 2 枚(64GB)で 4-bit の Llama 3.3 70B が約 14 tokens/s、大型 MoE は 4 枚からです。llama.cpp でも容量は合算できますが、かなり遅くなります。
| モデル | サイズ | 必要枚数 | 合計価格 | 合計 VRAM | 速度 t/s | 合計消費電力 |
|---|---|---|---|---|---|---|
| 78.9 GB | 4 枚 | 価格なし | 128 GB | 109.1 | 1,000 W | |
| 96.8 GB | 4 枚 | 価格なし | 128 GB | 88.9 | 1,000 W | |
| 107.2 GB | 4 枚 | 価格なし | 128 GB | 42.8 | 1,000 W | |
| 108.7 GB | 4 枚 | 価格なし | 128 GB | 72.3 | 1,000 W |
| モデル | サイズ | 必要枚数 | 合計価格 | 合計 VRAM | 速度 t/s | 合計消費電力 |
|---|---|---|---|---|---|---|
| 111.3 GB | 4 枚 | 価格なし | 128 GB | 92.8 | 1,000 W | |
| 155.1 GB | 8 枚 | 価格なし | 256 GB | 66.1 | 2,000 W | |
| 182.2 GB | 8 枚 | 価格なし | 256 GB | 32.1 | 2,000 W | |
| 199.7 GB | 8 枚 | 価格なし | 256 GB | 47.1 | 2,000 W |
| モデル | サイズ | 必要枚数 | 合計価格 | 合計 VRAM | 速度 t/s | 合計消費電力 |
|---|---|---|---|---|---|---|
| 161.9 GB | 8 枚 | 価格なし | 256 GB | 64.2 | 2,000 W | |
| 188.2 GB | 8 枚 | 価格なし | 256 GB | 68.6 | 2,000 W |
詳しい計算ルールはデータの作り方ページをご覧ください。
向いている人・向かない人
向いている
- 27B〜31B の Dense モデル
4-bit で約 35〜39 tokens/s と RTX 3090 に迫り、コンテキストは 168K〜250K 取れる
- Qwen3.6 35B A3B のような MoE
約 134 tokens/s、コンテキストを 256K いっぱいにしても載る
- 1,000W 前後で 128GB を揃えたい
4 枚で足り、Qwen3.8 Flash Next の 4-bit が載る
向かない
- 31B を 8-bit で動かす
Gemma 4 31B の 8-bit は 32.6 GB 必要で、載らない
- 新しい vLLM が必要
vLLM は 0.20(2026 年 4 月末)からこの世代をサポートしておらず、FlashAttention 2 も非対応
- 普通のケースに入れる
ファンがなくサーバーのファンで冷やす前提で、GPU は 87°C でクロックが半分に下がる
購入前のチェックポイント
PCIe 版か SXM2 の変換品かを見極める
32GB 版にも、純正の PCIe カードと SXM2 のサーバー用モジュールがあります。SXM2 モジュールは、サードパーティの変換基板と組み合わせないと普通のマザーボードに挿せません。変換基板は品質にばらつきがあり、消費電力は 300W で見込んでおきます。純正の PCIe 版は 250W、CPU 8-pin コネクタ 1 つで、変換ケーブルで PCIe 8-pin 2 本につなげます。届いたら nvidia-smi を見てください。PCIe 版は「Tesla V100-PCIE-32GB」、変換基板経由のモジュールは「Tesla V100-SXM2-32GB」と表示されます。
V100 での llama.cpp の動かし方
V100 上の llama.cpp は、長いプロンプトをデフォルトで FP16 演算で処理し、112 TFLOPS の FP16 演算性能を生かして速く進みますが、VRAM をやや多く使います。VRAM が厳しいときはビルド時に GGML_CUDA_FORCE_MMQ を有効にすれば VRAM を節約できますが、バッチが大きいとやや遅くなります。ビルド済みパッケージをダウンロードするときは CUDA 12 版を選んでください。CUDA 13 版はすでにこのカードをサポートしていません。
マザーボードで Above 4G Decoding を有効にする
32GB 版は 32 GB のアドレス空間を占有するため(16GB 版は 16 GB)、古いマザーボードでは Above 4G Decoding を有効にしないとカードが認識されません。組む前に、マザーボードの BIOS にこの項目があるか確認してください。
ドライバーは 580 止まり
NVIDIA 580 がこの世代をサポートする最後のドライバーブランチで、今後はメンテナンス更新だけになります。Ollama は公式にまだサポートしており、550 以降のドライバーが必要なので、Ollama を使うならドライバーは 550〜580 の間で入れてください。
同クラスの GPU との比較
Tesla V100 32GB と GeForce RTX 3090、Instinct MI50 32GB、GeForce RTX 2080 Ti 22GB の価格・VRAM・帯域幅・演算性能・ローカル LLM の速度を比較。
| スペック | Instinct MI50 32GB | |||
|---|---|---|---|---|
| メモリ | 32 GB | 24 GB25% 少ない | 32 GB同じ | 22 GB31% 少ない |
| 帯域幅 | 900 GB/s | 936 GB/s4% 高い | 1,024 GB/s14% 高い | 616 GB/s32% 低い |
| BF16 / FP16 演算性能 | 112 TFLOPS | 142 TFLOPS27% 高い | 27 TFLOPS76% 低い | 108 TFLOPS4% 低い |
| INT8 演算性能 | 56 TOPS | 285 TOPS407% 高い | 53 TOPS6% 低い | 215 TOPS284% 高い |
| Qwen3.8 27B の速度(2-bit) | 62.6 t/s | 64.8 t/s4% 速い | 70.3 t/s12% 速い | 44 t/s30% 遅い |
| 最大で動かせる密モデル(4-bit) | 51B | 37B27% 少ない | 51B同じ | 34B33% 少ない |
| 消費電力 | 250 W | 350 W40% 高い | 300 W20% 高い | 250 W同じ |
| GPU 間接続 | 非対応 | NVLink 112.5 GB/s | — | NVLink 100 GB/s |
| インターフェース | PCIe 3.0 x16 | PCIe 4.0 x16 | PCIe 4.0 x16 | PCIe 3.0 x16 |
| 発売 | 2018-03 | 2020-09 | 2018-11 | 2018-09 |
| Amazon.jp中央値 |
一部の購入リンクはアフィリエイトリンクです。リンク経由でご購入いただくと当サイトが手数料を受け取ることがありますが、お支払い金額は変わりません。
Tesla V100 32GB のレンタル料金
Tesla V100 32GB は Vast.ai で 1 時間 ¥30.2、1 日 8 時間なら月約 ¥7,349 でレンタルできます。カード購入費(eBay 中央値 ¥141,611)は 1 日 4・8・24 時間の利用で、約 4.3 年・2.2 年・9 か月で回収できます。
| 方法 | 価格 | 1 日 4 時間 | 1 日 8 時間 | 1 日 24 時間 | 見る |
|---|---|---|---|---|---|
| ¥30.2/時間 | ¥3,675/月 | ¥7,349/月 | ¥22,048/月 | 借りる | |
| ¥141,611 | 約 4.3 年で回収電気代 ¥943/月 | 約 2.2 年で回収電気代 ¥1,886/月 | 約 9 か月で回収電気代 ¥5,658/月 | 買う |
回収期間は電気代 1kWh ¥31(電力料金目安単価)と定格 250 W で試算。売却額やほかのパーツ代は含みません。
レンタルのリンクは紹介リンクです。リンク経由で登録すると、当サイトが手数料またはクレジットを受け取ることがあります。eBay パートナーとして、このページの eBay リンク経由でご購入いただいた場合、VRAMGlass が報酬を受け取ることがあります。お支払い金額は変わりません。
他市場の価格
eBay パートナーとして、このページの eBay リンク経由でご購入いただいた場合、VRAMGlass が報酬を受け取ることがあります。お支払い金額は変わりません。