L40S 價格與中古行情:能部署哪些大型語言模型?
到價提醒
閒魚價格到達你設定的價位時,寄信通知你。
L40S 是 NVIDIA 2023 年的 48GB 資料中心卡,適合裝在伺服器裡給多人跑模型,30B 級 MoE 約 131 tokens/s。卡上沒有風扇,一般工作站壓不住它的熱。
閒魚
L40S 價格走勢
閒魚
部分購買連結是聯盟連結:透過它們購買時我們可能獲得佣金,你支付的價格不變。
L40S 完整規格
- 顯存48 GB · GDDR6
- 頻寬864 GB/s
- FP16 / BF16362.1 TFLOPS
- FP8 / INT8733 / 733 TOPS
- 位寬
- 384-bit
- 架構
- Ada Lovelace (AD102)
- 核心
- 18,176
- 張量核心
- 568
- 生態
- CUDA
- 介面
- PCIe 4.0 x16
- NVLink
- 不支援
- 功耗
- 350 W
- 供電介面
- 16-pin
- 槽位
- 2
- 長度
- 267 mm
- 類型
- 資料中心
- 發布日期
- 2023年8月8日
單張 L40S 能跑哪些模型?
單張 L40S 用 8-bit 放得下 35B 以內的模型,但頻寬偏低:27B 稠密模型 4-bit 才三十多 tokens/s,30B 級 MoE 用 8-bit 仍有約 100。
| 模型 | 大小 | 能否執行 | 速度 t/s | 最大上下文 |
|---|---|---|---|---|
| 4.7 GB | 能跑 | 113.1 | 256K | |
| 10.5 GB | 能跑 | 135.7 | 256K | |
| 11.8 GB | 能跑 | 51 | 256K | |
| 9.8 GB | 能跑 | 60.3 | 256K | |
| 11.9 GB | 能跑 | 146.5 | 198K | |
| 11.8 GB | 能跑 | 49.2 | 256K | |
| 12.3 GB | 能跑 | 156.9 | 256K |
| 模型 | 大小 | 能否執行 | 速度 t/s | 最大上下文 |
|---|---|---|---|---|
| 7.1 GB | 能跑 | 80.2 | 256K | |
| 16.9 GB | 能跑 | 113.3 | 256K | |
| 16.8 GB | 能跑 | 36.8 | 256K | |
| 16.5 GB | 能跑 | 37.4 | 256K | |
| 18.3 GB | 能跑 | 128.4 | 198K | |
| 18.3 GB | 能跑 | 33.2 | 256K | |
| 22.1 GB | 能跑 | 131.4 | 256K |
| 模型 | 大小 | 能否執行 | 速度 t/s | 最大上下文 |
|---|---|---|---|---|
| 12.7 GB | 能跑 | 47.8 | 256K | |
| 26.9 GB | 能跑 | 90.1 | 256K | |
| 28.6 GB | 能跑 | 22.2 | 256K | |
| 29 GB | 能跑 | 21.9 | 256K | |
| 31.8 GB | 能跑 | 101.7 | 198K | |
| 32.6 GB | 能跑 | 19.3 | 202K | |
| 36.9 GB | 能跑 | 105.6 | 256K |
能跑權重、KV 快取和執行開銷都裝得進顯存,速度按顯存頻寬估算。
需卸載到記憶體僅 MoE 模型:專家權重放進記憶體,速度按記憶體頻寬 70 GB/s 估算。
跑不了這一檔量化下單卡放不下,借記憶體也不行。
詳細計算規則可在資料方法頁查看。
多張 L40S 能跑哪些模型?
L40S 通常 4 張或 8 張一起用:四張(192GB)用 4-bit 跑 DeepSeek V4 Flash,約 64 tokens/s;只插兩張適合 gpt-oss 120B。不支援 NVLink。
| 模型 | 大小 | 需要幾張 | 總價 | 總顯示記憶體 | 速度 t/s | 總功耗 |
|---|---|---|---|---|---|---|
| 78.9 GB | 2 張 | 暫無 | 96 GB | 106.9 | 700 W | |
| 96.8 GB | 4 張 | 暫無 | 192 GB | 86.8 | 1,400 W | |
| 107.2 GB | 4 張 | 暫無 | 192 GB | 41.4 | 1,400 W | |
| 108.7 GB | 4 張 | 暫無 | 192 GB | 70.4 | 1,400 W | |
| 253.9 GB | 8 張 | 暫無 | 384 GB | 36.4 | 2,800 W | |
| 307.2 GB估 | 8 張 | 暫無 | 384 GB | 27.5 | 2,800 W | |
| 311.2 GB | 8 張 | 暫無 | 384 GB | 32.5 | 2,800 W | |
| 339.5 GB | 8 張 | 暫無 | 384 GB | 43.9 | 2,800 W | |
| 340.5 GB | 8 張 | 暫無 | 384 GB | 43.8 | 2,800 W |
| 模型 | 大小 | 需要幾張 | 總價 | 總顯示記憶體 | 速度 t/s | 總功耗 |
|---|---|---|---|---|---|---|
| 111.3 GB | 4 張 | 暫無 | 192 GB | 90.7 | 1,400 W | |
| 155.1 GB | 4 張 | 暫無 | 192 GB | 64.3 | 1,400 W | |
| 182.2 GB | 8 張 | 暫無 | 384 GB | 31 | 2,800 W | |
| 199.7 GB | 8 張 | 暫無 | 384 GB | 45.6 | 2,800 W |
| 模型 | 大小 | 需要幾張 | 總價 | 總顯示記憶體 | 速度 t/s | 總功耗 |
|---|---|---|---|---|---|---|
| 161.9 GB | 4 張 | 暫無 | 192 GB | 62.4 | 1,400 W | |
| 188.2 GB | 8 張 | 暫無 | 384 GB | 66.7 | 2,800 W | |
| 317.7 GB | 8 張 | 暫無 | 384 GB | 21.4 | 2,800 W | |
| 341 GB | 8 張 | 暫無 | 384 GB | 29.5 | 2,800 W |
詳細計算規則可在資料方法頁查看。
適合誰
適合
- 想用 8-bit 跑 27B 到 31B 的稠密模型
Qwen3.8 27B 的 8-bit 能開滿 256K,約 22 tokens/s
- 已經有能插 4 到 8 張卡的 GPU 伺服器
4 張合計 192GB,能跑 4-bit 的 DeepSeek V4 Flash
- 要在 vLLM 裡用 FP8
Ada 支援 FP8 運算,FP8 模型能真正加速
不太適合
- 放進一般桌機或塔式工作站
沒有風扇,少了伺服器等級的強力風道就會過熱
- 要接螢幕當主顯示卡
4 個 DP 埠出廠時是關閉的,要用 NVIDIA 的工具切換模式
- 單卡跑 2026 年的大型 MoE
48GB 連 2-bit 的 Qwen3.8 Flash Next 都放不下,至少要兩張
買前須知
只能裝進伺服器
L40S 沒有風扇,靠伺服器機殼前後貫通的強力風道散熱。NVIDIA 開發者論壇上有人把它裝進 Dell Precision 7875 工作站,閒置時就到 100°C,回覆的人也說它不適合工作站。購買前先查伺服器廠商的相容清單,例如聯想 SR650 V3、SR675 V3 都有列入。
供電線不隨卡附贈
供電接頭是單一 16-pin,滿載 350W。卡本身不附供電線,聯想的產品指南註明線長要依伺服器型號另外搭配(200 到 450 mm 不等)。買拆機卡尤其要確認伺服器裡有對應的線材。
影像輸出預設關閉
卡上有 4 個 DP 埠,出廠時是關閉的,要用 NVIDIA 的 displaymodeselector 工具切換顯示模式才能接螢幕。只當運算卡用的話不受影響。
別和 L40 買錯
L40 和 L40S 是同一顆晶片、同樣 48GB,但 L40S 算力更高、功耗 350W。二手商品刊登常把兩者混在一起寫,要認明型號裡的 S。
與同級顯卡比較
L40S 與 RTX 6000 Ada、A100 80GB PCIe、RTX PRO 5000 48GB 的價格、顯存、頻寬、算力與本地大模型速度比較。
| 規格 | ||||
|---|---|---|---|---|
| 顯存 | 48 GB | 48 GB相同 | 80 GB多 67% | 48 GB相同 |
| 頻寬 | 864 GB/s | 960 GB/s高 11% | 1,935 GB/s高 124% | 1,344 GB/s高 56% |
| BF16 / FP16 算力 | 362 TFLOPS | 364 TFLOPS相同 | 312 TFLOPS低 14% | 258 TFLOPS低 29% |
| INT8 算力 | 733 TOPS | 729 TOPS相同 | 624 TOPS低 15% | 516 TOPS低 30% |
| Qwen3.8 27B 速度(2-bit) | 60.3 t/s | 66.3 t/s快 10% | 122.2 t/s快 103% | 89.5 t/s快 48% |
| 最高可跑稠密模型(4-bit) | 79B | 79B相同 | 136B多 72% | 79B相同 |
| 功耗 | 350 W | 300 W低 14% | 300 W低 14% | 300 W低 14% |
| 卡間互連 | 不支援 | 不支援 | NVLink 600 GB/s | 不支援 |
| 介面 | PCIe 4.0 x16 | PCIe 4.0 x16 | PCIe 4.0 x16 | PCIe 5.0 x16 |
| 發布 | 2023-08 | 2022-09 | 2021-06 | 2025-03 |
| 閒魚中位價 |
部分購買連結是聯盟連結:透過它們購買時我們可能獲得佣金,你支付的價格不變。
L40S 租用價格
L40S 隨需租用每小時 NT$26 起(RunPod),每天用 8 小時約 NT$6,327/月。買一張(eBay 中位價 NT$333,320)每天用 4、8、24 小時,分別約 9.1 年、4.6 年、1.5 年回本。
| 方案 | 價格 | 每天 4 小時 | 每天 8 小時 | 每天 24 小時 | 去查看 |
|---|---|---|---|---|---|
| NT$26/小時 | NT$3,164/月 | NT$6,327/月 | NT$18,982/月 | 去租 | |
| NT$26.4/小時 | NT$3,210/月 | NT$6,419/月 | NT$19,257/月 | 去租 | |
| NT$333,320 | 約 9.1 年回本電費 NT$122/月 | 約 4.6 年回本電費 NT$244/月 | 約 1.5 年回本電費 NT$733/月 | 去買 |
回本依台灣住宅平均電價(每度 NT$2.87)和 350 W 額定功耗估算,不計殘值和整機其他部分。
租用連結是推薦連結:透過它們註冊時,我們可能獲得佣金或平台額度。身為 eBay 合作夥伴,你透過本頁的 eBay 連結購買時,VRAMGlass 可能獲得佣金,你支付的價格不變。
其他市場價格
身為 eBay 合作夥伴,你透過本頁的 eBay 連結購買時,VRAMGlass 可能獲得佣金,你支付的價格不變。