L40S の価格・中古相場:実行できるローカルLLMは?
L40S は 2023 年の NVIDIA 製 48GB データセンター向けカードで、サーバーで複数人に提供する用途向き、30B 級 MoE は約 131 tokens/s です。ファンがなく、普通のワークステーションでは冷やしきれません。
Amazon.jp
L40S の価格推移
Amazon.jp
一部の購入リンクはアフィリエイトリンクです。リンク経由でご購入いただくと当サイトが手数料を受け取ることがありますが、お支払い金額は変わりません。
L40S の詳細スペック
- メモリ48 GB · GDDR6
- 帯域幅864 GB/s
- FP16 / BF16362.1 TFLOPS
- FP8 / INT8733 / 733 TOPS
- バス幅
- 384-bit
- アーキテクチャ
- Ada Lovelace (AD102)
- コア
- 18,176
- Tensor コア
- 568
- エコシステム
- CUDA
- インターフェース
- PCIe 4.0 x16
- NVLink
- 非対応
- 消費電力
- 350 W
- 補助電源
- 16-pin
- スロット
- 2
- 長さ
- 267 mm
- 種別
- データセンター
- 発売日
- 2023年8月8日
L40S 1 枚で動かせるモデルは?
L40S 1 枚なら 8-bit で 35B までが入りますが、帯域幅は低めで、27B の Dense は 4-bit でも 30 tokens/s 台です。30B 級 MoE は 8-bit でも約 100 出ます。
| モデル | サイズ | 動作 | 速度 t/s | 最大コンテキスト |
|---|---|---|---|---|
| 4.7 GB | 動く | 113.1 | 256K | |
| 10.5 GB | 動く | 135.7 | 256K | |
| 11.8 GB | 動く | 51 | 256K | |
| 9.8 GB | 動く | 60.3 | 256K | |
| 11.9 GB | 動く | 146.5 | 198K | |
| 11.8 GB | 動く | 49.2 | 256K | |
| 12.3 GB | 動く | 156.9 | 256K |
| モデル | サイズ | 動作 | 速度 t/s | 最大コンテキスト |
|---|---|---|---|---|
| 7.1 GB | 動く | 80.2 | 256K | |
| 16.9 GB | 動く | 113.3 | 256K | |
| 16.8 GB | 動く | 36.8 | 256K | |
| 16.5 GB | 動く | 37.4 | 256K | |
| 18.3 GB | 動く | 128.4 | 198K | |
| 18.3 GB | 動く | 33.2 | 256K | |
| 22.1 GB | 動く | 131.4 | 256K |
| モデル | サイズ | 動作 | 速度 t/s | 最大コンテキスト |
|---|---|---|---|---|
| 12.7 GB | 動く | 47.8 | 256K | |
| 26.9 GB | 動く | 90.1 | 256K | |
| 28.6 GB | 動く | 22.2 | 256K | |
| 29 GB | 動く | 21.9 | 256K | |
| 31.8 GB | 動く | 101.7 | 198K | |
| 32.6 GB | 動く | 19.3 | 202K | |
| 36.9 GB | 動く | 105.6 | 256K |
動く重みも KV キャッシュも VRAM に収まり、速度は VRAM 帯域幅から推定します。
RAM オフロードが必要MoE モデルのみ。エキスパート重みをシステム RAM に置くため、速度は RAM 帯域幅 70 GB/s から推定します。
入らないこの量子化では 1 枚に収まらず、RAM へのオフロードでも動きません。
詳しい計算ルールはデータの作り方ページをご覧ください。
L40S を複数枚使うと動かせるモデルは?
L40S は普通 4 枚か 8 枚で使い、4 枚(192GB)なら 4-bit の DeepSeek V4 Flash が約 64 tokens/s です。2 枚なら gpt-oss 120B 向き。NVLink は非対応です。
| モデル | サイズ | 必要枚数 | 合計価格 | 合計 VRAM | 速度 t/s | 合計消費電力 |
|---|---|---|---|---|---|---|
| 78.9 GB | 2 枚 | 価格なし | 96 GB | 106.9 | 700 W | |
| 96.8 GB | 4 枚 | 価格なし | 192 GB | 86.8 | 1,400 W | |
| 107.2 GB | 4 枚 | 価格なし | 192 GB | 41.4 | 1,400 W | |
| 108.7 GB | 4 枚 | 価格なし | 192 GB | 70.4 | 1,400 W | |
| 253.9 GB | 8 枚 | 価格なし | 384 GB | 36.4 | 2,800 W | |
| 307.2 GB推定 | 8 枚 | 価格なし | 384 GB | 27.5 | 2,800 W | |
| 311.2 GB | 8 枚 | 価格なし | 384 GB | 32.5 | 2,800 W | |
| 339.5 GB | 8 枚 | 価格なし | 384 GB | 43.9 | 2,800 W | |
| 340.5 GB | 8 枚 | 価格なし | 384 GB | 43.8 | 2,800 W |
| モデル | サイズ | 必要枚数 | 合計価格 | 合計 VRAM | 速度 t/s | 合計消費電力 |
|---|---|---|---|---|---|---|
| 111.3 GB | 4 枚 | 価格なし | 192 GB | 90.7 | 1,400 W | |
| 155.1 GB | 4 枚 | 価格なし | 192 GB | 64.3 | 1,400 W | |
| 182.2 GB | 8 枚 | 価格なし | 384 GB | 31 | 2,800 W | |
| 199.7 GB | 8 枚 | 価格なし | 384 GB | 45.6 | 2,800 W |
| モデル | サイズ | 必要枚数 | 合計価格 | 合計 VRAM | 速度 t/s | 合計消費電力 |
|---|---|---|---|---|---|---|
| 161.9 GB | 4 枚 | 価格なし | 192 GB | 62.4 | 1,400 W | |
| 188.2 GB | 8 枚 | 価格なし | 384 GB | 66.7 | 2,800 W | |
| 317.7 GB | 8 枚 | 価格なし | 384 GB | 21.4 | 2,800 W | |
| 341 GB | 8 枚 | 価格なし | 384 GB | 29.5 | 2,800 W |
詳しい計算ルールはデータの作り方ページをご覧ください。
向いている人・向かない人
向いている
- 27B〜31B の Dense モデルを 8-bit で動かしたい
Qwen3.8 27B の 8-bit で 256K まで使い切れて、約 22 tokens/s です
- 4〜8 枚挿せる GPU サーバーをすでに持っている
4 枚で合計 192GB になり、4-bit の DeepSeek V4 Flash が動きます
- vLLM で FP8 を使いたい
Ada は FP8 演算に対応しているので、FP8 モデルで実際に高速化できます
向かない
- 普通のデスクトップ PC やタワー型ワークステーションに入れたい
ファンがなく、サーバー並みの強いエアフローがないとオーバーヒートします
- ディスプレイをつないでメインのカードとして使いたい
4 つの DP 端子は出荷時に無効になっていて、NVIDIA のツールでモードを切り替える必要があります
- 2026 年の大型 MoE を 1 枚で動かしたい
48GB では 2-bit の Qwen3.8 Flash Next すら収まらず、最低でも 2 枚必要です
購入前のチェックポイント
サーバーにしか入らない
L40S にはファンがなく、サーバーのケースの前後を貫く強いエアフローで冷やします。NVIDIA の開発者フォーラムでは、Dell Precision 7875 ワークステーションに入れたところアイドルでも 100°C に達したという投稿があり、返信でもワークステーションには向かないと指摘されています。購入前にサーバーメーカーの互換性リストを確認しましょう。たとえば Lenovo の SR650 V3 や SR675 V3 はリストに載っています。
電源ケーブルは付属しない
電源コネクタは 16-pin が 1 つで、フルロード時は 350W です。カード自体に電源ケーブルは付いておらず、Lenovo の製品ガイドには、ケーブル長はサーバーの機種に合わせて別途用意する(200〜450 mm)と明記されています。サーバーから取り外した中古カードを買う場合は特に、サーバーに対応するケーブルがあるか確認しましょう。
映像出力は初期設定で無効
カードには DP 端子が 4 つありますが出荷時は無効になっていて、ディスプレイをつなぐには NVIDIA の displaymodeselector ツールで表示モードを切り替える必要があります。計算用カードとして使うだけなら影響はありません。
L40 と取り違えない
L40 と L40S は同じチップで同じ 48GB ですが、L40S のほうが演算性能が高く、消費電力は 350W です。中古の出品では両者が混同されがちなので、型番の S を必ず確認しましょう。
同クラスの GPU との比較
L40S と RTX 6000 Ada、A100 80GB PCIe、RTX PRO 5000 48GB の価格・VRAM・帯域幅・演算性能・ローカル LLM の速度を比較。
| スペック | ||||
|---|---|---|---|---|
| メモリ | 48 GB | 48 GB同じ | 80 GB67% 多い | 48 GB同じ |
| 帯域幅 | 864 GB/s | 960 GB/s11% 高い | 1,935 GB/s124% 高い | 1,344 GB/s56% 高い |
| BF16 / FP16 演算性能 | 362 TFLOPS | 364 TFLOPS同じ | 312 TFLOPS14% 低い | 258 TFLOPS29% 低い |
| INT8 演算性能 | 733 TOPS | 729 TOPS同じ | 624 TOPS15% 低い | 516 TOPS30% 低い |
| Qwen3.8 27B の速度(2-bit) | 60.3 t/s | 66.3 t/s10% 速い | 122.2 t/s103% 速い | 89.5 t/s48% 速い |
| 最大で動かせる密モデル(4-bit) | 79B | 79B同じ | 136B72% 多い | 79B同じ |
| 消費電力 | 350 W | 300 W14% 低い | 300 W14% 低い | 300 W14% 低い |
| GPU 間接続 | 非対応 | 非対応 | NVLink 600 GB/s | 非対応 |
| インターフェース | PCIe 4.0 x16 | PCIe 4.0 x16 | PCIe 4.0 x16 | PCIe 5.0 x16 |
| 発売 | 2023-08 | 2022-09 | 2021-06 | 2025-03 |
| Amazon.jp中央値 |
一部の購入リンクはアフィリエイトリンクです。リンク経由でご購入いただくと当サイトが手数料を受け取ることがありますが、お支払い金額は変わりません。
L40S のレンタル料金
L40S のレンタルは 1 時間 ¥126 から(RunPod)、1 日 8 時間なら月約 ¥30,719 です。カード購入費(eBay 中央値 ¥1,618,289)は 1 日 4・8・24 時間の利用で、約 9.6 年・4.8 年・1.6 年で回収できます。
| 方法 | 価格 | 1 日 4 時間 | 1 日 8 時間 | 1 日 24 時間 | 見る |
|---|---|---|---|---|---|
| ¥126/時間 | ¥15,359/月 | ¥30,719/月 | ¥92,156/月 | 借りる | |
| ¥128/時間 | ¥15,583/月 | ¥31,165/月 | ¥93,496/月 | 借りる | |
| ¥1,618,289 | 約 9.6 年で回収電気代 ¥1,320/月 | 約 4.8 年で回収電気代 ¥2,640/月 | 約 1.6 年で回収電気代 ¥7,921/月 | 買う |
回収期間は電気代 1kWh ¥31(電力料金目安単価)と定格 350 W で試算。売却額やほかのパーツ代は含みません。
レンタルのリンクは紹介リンクです。リンク経由で登録すると、当サイトが手数料またはクレジットを受け取ることがあります。eBay パートナーとして、このページの eBay リンク経由でご購入いただいた場合、VRAMGlass が報酬を受け取ることがあります。お支払い金額は変わりません。
他市場の価格
eBay パートナーとして、このページの eBay リンク経由でご購入いただいた場合、VRAMGlass が報酬を受け取ることがあります。お支払い金額は変わりません。