Tesla V100 16GB の価格・中古相場:実行できるローカルLLMは?
価格アラート
Amazon.jp の価格が設定した金額に達したら、メールでお知らせします。
Tesla V100 16GB は NVIDIA の 2017 年のデータセンター用カードで、12B 級の 4-bit がいまも約 83 tokens/s 出ます。帯域幅は 900 GB/s ありますが、新しい CUDA と vLLM はこの世代を切り捨て済みです。
Amazon.jp
Tesla V100 16GB の価格推移
Amazon.jp
一部の購入リンクはアフィリエイトリンクです。リンク経由でご購入いただくと当サイトが手数料を受け取ることがありますが、お支払い金額は変わりません。
Tesla V100 16GB の詳細スペック
- メモリ16 GB · HBM2
- 帯域幅900 GB/s
- FP16 / BF16112 TFLOPS
- INT856.1 TOPS
- バス幅
- 4,096-bit
- アーキテクチャ
- Volta (GV100)
- コア
- 5,120
- Tensor コア
- 640
- エコシステム
- CUDA
- インターフェース
- PCIe 3.0 x16
- NVLink
- 非対応
- 消費電力
- 250 W
- 補助電源
- 8-pin CPU (EPS-12V)
- スロット
- 2
- 長さ
- 267 mm
- 種別
- データセンター
- 発売日
- 2017年6月21日
Tesla V100 16GB 1 枚で動かせるモデルは?
V100 16GB 1 枚に最適なのは 12B までの 4-bit です。30B 級 MoE は 2-bit なら丸ごと載って約 150 tokens/s、4-bit でメインメモリを借りると 3 分の 1 です。
| モデル | サイズ | 動作 | 速度 t/s | 最大コンテキスト |
|---|---|---|---|---|
| 3.8 GB | 動く | 142.5 | 128K | |
| 4.1 GB | 動く | 132.7 | 256K | |
| 4.7 GB | 動く | 117 | 256K | |
| 10.5 GB | 動く | 137.7 | 256K | |
| 11.8 GB | 動く | 53 | 64K | |
| 9.8 GB | 動く | 62.6 | 93K | |
| 11.9 GB | 動く | 148.4 | 75K | |
| 11.8 GB | 動く | 51.1 | 41K | |
| 12.3 GB | 動く | 158.6 | 181K |
| モデル | サイズ | 動作 | 速度 t/s | 最大コンテキスト |
|---|---|---|---|---|
| 5 GB | 動く | 114.2 | 128K | |
| 5.7 GB | 動く | 101.5 | 256K | |
| 7.1 GB | 動く | 83.2 | 256K | |
| 16.9 GB | RAM オフロードが必要 | 38.7 | 256K | |
| 16.8 GB | 入らない | — | — | |
| 16.5 GB | 入らない | — | — | |
| 18.3 GB | RAM オフロードが必要 | 36.5 | 198K | |
| 18.3 GB | 入らない | — | — | |
| 22.1 GB | RAM オフロードが必要 | 52 | 256K |
| モデル | サイズ | 動作 | 速度 t/s | 最大コンテキスト |
|---|---|---|---|---|
| 8.2 GB | 動く | 74.6 | 128K | |
| 9.5 GB | 動く | 65.1 | 196K | |
| 12.7 GB | 動く | 49.6 | 183K | |
| 26.9 GB | RAM オフロードが必要 | 26.2 | 256K | |
| 28.6 GB | 入らない | — | — | |
| 29 GB | 入らない | — | — | |
| 31.8 GB | RAM オフロードが必要 | 22.8 | 198K | |
| 32.6 GB | 入らない | — | — | |
| 36.9 GB | RAM オフロードが必要 | 34.6 | 256K |
動く重みも KV キャッシュも VRAM に収まり、速度は VRAM 帯域幅から推定します。
RAM オフロードが必要MoE モデルのみ。エキスパート重みをシステム RAM に置くため、速度は RAM 帯域幅 70 GB/s から推定します。
入らないこの量子化では 1 枚に収まらず、RAM へのオフロードでも動きません。
詳しい計算ルールはデータの作り方ページをご覧ください。
Tesla V100 16GB を複数枚使うと動かせるモデルは?
V100 16GB で大型 MoE を動かすには 8 枚(128GB)必要で、4-bit の Qwen3.8 Flash Next が約 93 tokens/s です。vLLM は 0.19 以前で止める必要があります。
| モデル | サイズ | 必要枚数 | 合計価格 | 合計 VRAM | 速度 t/s | 合計消費電力 |
|---|---|---|---|---|---|---|
| 78.9 GB | 8 枚 | ¥933,016 | 128 GB | 109.1 | 2,000 W | |
| 96.8 GB | 8 枚 | ¥933,016 | 128 GB | 88.9 | 2,000 W | |
| 108.7 GB | 8 枚 | ¥933,016 | 128 GB | 72.3 | 2,000 W |
| モデル | サイズ | 必要枚数 | 合計価格 | 合計 VRAM | 速度 t/s | 合計消費電力 |
|---|---|---|---|---|---|---|
| 111.3 GB | 8 枚 | ¥933,016 | 128 GB | 92.8 | 2,000 W |
この量子化では、Tesla V100 16GB を 8 枚使っても 50B 以上のモデルは収まりません。
詳しい計算ルールはデータの作り方ページをご覧ください。
向いている人・向かない人
向いている
- 小さなモデルを速く動かしたい
Qwen3.5 9B の 4-bit で約 102 tokens/s、8-bit でも約 65
- 35B 級 MoE を 2-bit で動かす
Qwen3.6 35B A3B の 2-bit で約 159 tokens/s、コンテキスト 181K
- SXM2 サーバーで 8 枚構成を組む
SXM2 版はモジュール同士が NVLink で直結されている
向かない
- 27B を 4-bit で使いたい
16GB ではかなり足りず、2-bit に落とすか 32GB 版にするしかない
- vLLM、BF16、長期的なドライバー更新が必要
新しい vLLM はこの世代をサポートしておらず、580 がこのカードをサポートする最後のドライバーブランチ
購入前のチェックポイント
SXM2 モジュールか PCIe カードか
V100 には 2 つの形態があります。PCIe 版は標準的な拡張カードで 250W、CPU 8-pin 1 つで給電します。SXM2 版はサーバー用モジュールで 300W、モジュール同士が NVLink でつながります。中古市場では SXM2 モジュールにサードパーティの変換基板を組み合わせたものが多く売られていますが、変換基板が担うのは給電とスロットだけで、冷却は自分で用意する必要があります。80mm ファンと 3D プリントのダクトを組み合わせる人もいます。変換基板付きのセットを買う前に、冷却パーツと電源ケーブルが含まれているかを確認してください。
温度の上限と電力制限
PCIe 版にはファンがなく、NVIDIA の製品概要によると、GPU は 87°C でクロックが半分に下がり、90°C でシャットダウンします。VRAM の上限は 85°C です。サーバーのエアフローがないなら、ファンを自分で追加するしかありません。nvidia-smi -pl で消費電力を抑える手もあり、NVIDIA は 180W を例に挙げています。
ECC で容量は減らず、映像出力はない
HBM2 の VRAM はネイティブで ECC を備えており、NVIDIA は ECC を有効にしても容量も帯域幅も減らないと明記しているので、16GB をすべて使えます。カードに映像出力はないので、画面表示には内蔵 GPU か別のカードが必要です。
ソフトウェアサポートの期限
CUDA 13 はすでにこの世代をサポートしておらず、NVIDIA 580 がこのカードをサポートする最後のドライバーブランチです。llama.cpp と Ollama はまだ使えますが、vLLM は 0.19 で止めておくしかありません。BF16 にも対応していないので、BF16 で公開されたモデルは FP16 として読み込む必要があります。
同クラスの GPU との比較
Tesla V100 16GB と Tesla V100 32GB、Tesla T10、GeForce RTX 5060 Ti 16GB の価格・VRAM・帯域幅・演算性能・ローカル LLM の速度を比較。
| スペック | ||||
|---|---|---|---|---|
| メモリ | 16 GB | 32 GB100% 多い | 16 GB同じ | 16 GB同じ |
| 帯域幅 | 900 GB/s | 900 GB/s同じ | 403 GB/s55% 低い | 448 GB/s50% 低い |
| BF16 / FP16 演算性能 | 112 TFLOPS | 112 TFLOPS同じ | 80 TFLOPS29% 低い | 95 TFLOPS15% 低い |
| INT8 演算性能 | 56 TOPS | 56 TOPS同じ | 160 TOPS185% 高い | 190 TOPS238% 高い |
| Qwen3.8 27B の速度(2-bit) | 62.6 t/s | 62.6 t/s同じ | 29.4 t/s53% 遅い | 32.6 t/s48% 遅い |
| 最大で動かせる密モデル(4-bit) | 23B | 51B122% 多い | 23B同じ | 23B同じ |
| 消費電力 | 250 W | 250 W同じ | 150 W40% 低い | 180 W28% 低い |
| インターフェース | PCIe 3.0 x16 | PCIe 3.0 x16 | PCIe 3.0 x16 | PCIe 5.0 x8 |
| 発売 | 2017-06 | 2018-03 | 2020-02 | 2025-04 |
| Amazon.jp中央値 |
一部の購入リンクはアフィリエイトリンクです。リンク経由でご購入いただくと当サイトが手数料を受け取ることがありますが、お支払い金額は変わりません。
Tesla V100 16GB のレンタル料金
Tesla V100 16GB のレンタルは 1 時間 ¥15.2 から(Vast.ai)、1 日 8 時間なら月約 ¥3,708 です。カード購入費(Amazon.jp 中央値 ¥116,627)は 1 日 4・8・24 時間の利用で、約 10.7 年・5.3 年・1.8 年で回収できます。
| 方法 | 価格 | 1 日 4 時間 | 1 日 8 時間 | 1 日 24 時間 | 見る |
|---|---|---|---|---|---|
| ¥15.2/時間 | ¥1,854/月 | ¥3,708/月 | ¥11,123/月 | 借りる | |
| ¥30.1/時間 | ¥3,658/月 | ¥7,315/月 | ¥21,946/月 | 借りる | |
| ¥116,627 | 約 10.7 年で回収電気代 ¥943/月 | 約 5.3 年で回収電気代 ¥1,886/月 | 約 1.8 年で回収電気代 ¥5,658/月 | 買う |
回収期間は電気代 1kWh ¥31(電力料金目安単価)と定格 250 W で試算。売却額やほかのパーツ代は含みません。
レンタルのリンクは紹介リンクです。リンク経由で登録すると、当サイトが手数料またはクレジットを受け取ることがあります。
他市場の価格
eBay パートナーとして、このページの eBay リンク経由でご購入いただいた場合、VRAMGlass が報酬を受け取ることがあります。お支払い金額は変わりません。