L40S 价格走势、显存规格与本地大模型部署
到价提醒
闲鱼价格到了你设的价,就发邮件提醒你。
L40S 是 NVIDIA 2023 年的 48GB 数据中心卡,适合插在服务器里给多人跑模型,30B 级 MoE 约 131 tokens/s。卡上无风扇,普通工作站压不住它的热量。
闲鱼
L40S 价格走势
闲鱼
部分购买链接是联盟链接:通过它们购买时我们可能获得佣金,你支付的价格不变。
L40S 完整规格
- 显存48 GB · GDDR6
- 带宽864 GB/s
- FP16 / BF16362.1 TFLOPS
- FP8 / INT8733 / 733 TOPS
- 位宽
- 384-bit
- 架构
- Ada Lovelace (AD102)
- 核心
- 18,176
- 张量核心
- 568
- 生态
- CUDA
- 接口
- PCIe 4.0 x16
- NVLink
- 不支持
- 功耗
- 350 W
- 供电接口
- 16-pin
- 槽位
- 2
- 长度
- 267 mm
- 类型
- 数据中心
- 发布日期
- 2023年8月8日
单张 L40S 能跑哪些模型?
单张 L40S 用 8-bit 能装下 35B 以内的模型,但带宽偏低:27B 稠密模型 4-bit 才三十多 tokens/s,30B 级 MoE 用 8-bit 仍有约 100。
| 模型 | 大小 | 能否运行 | 速度 t/s | 最大上下文 |
|---|---|---|---|---|
| 4.7 GB | 能跑 | 113.1 | 256K | |
| 10.5 GB | 能跑 | 135.7 | 256K | |
| 11.8 GB | 能跑 | 51 | 256K | |
| 9.8 GB | 能跑 | 60.3 | 256K | |
| 11.9 GB | 能跑 | 146.5 | 198K | |
| 11.8 GB | 能跑 | 49.2 | 256K | |
| 12.3 GB | 能跑 | 156.9 | 256K |
| 模型 | 大小 | 能否运行 | 速度 t/s | 最大上下文 |
|---|---|---|---|---|
| 7.1 GB | 能跑 | 80.2 | 256K | |
| 16.9 GB | 能跑 | 113.3 | 256K | |
| 16.8 GB | 能跑 | 36.8 | 256K | |
| 16.5 GB | 能跑 | 37.4 | 256K | |
| 18.3 GB | 能跑 | 128.4 | 198K | |
| 18.3 GB | 能跑 | 33.2 | 256K | |
| 22.1 GB | 能跑 | 131.4 | 256K |
| 模型 | 大小 | 能否运行 | 速度 t/s | 最大上下文 |
|---|---|---|---|---|
| 12.7 GB | 能跑 | 47.8 | 256K | |
| 26.9 GB | 能跑 | 90.1 | 256K | |
| 28.6 GB | 能跑 | 22.2 | 256K | |
| 29 GB | 能跑 | 21.9 | 256K | |
| 31.8 GB | 能跑 | 101.7 | 198K | |
| 32.6 GB | 能跑 | 19.3 | 202K | |
| 36.9 GB | 能跑 | 105.6 | 256K |
能跑权重、KV 缓存和运行开销都装得进显存,速度按显存带宽估算。
需卸载到内存仅 MoE 模型:专家权重放进内存,速度按内存带宽 70 GB/s 估算。
跑不了这一档量化下单卡装不下,借内存也不行。
详细计算规则可在数据方法页查看。
多张 L40S 能跑哪些模型?
四张 L40S(192GB)能用 4-bit 跑 DeepSeek V4 Flash,约 64 tokens/s;只插两张适合 gpt-oss 120B。一般 4 张或 8 张一起用,不支持 NVLink。
| 模型 | 大小 | 需要几张 | 总价 | 总显存 | 速度 t/s | 总功耗 |
|---|---|---|---|---|---|---|
| 78.9 GB | 2 张 | 暂无 | 96 GB | 106.9 | 700 W | |
| 96.8 GB | 4 张 | 暂无 | 192 GB | 86.8 | 1,400 W | |
| 107.2 GB | 4 张 | 暂无 | 192 GB | 41.4 | 1,400 W | |
| 108.7 GB | 4 张 | 暂无 | 192 GB | 70.4 | 1,400 W | |
| 253.9 GB | 8 张 | 暂无 | 384 GB | 36.4 | 2,800 W | |
| 307.2 GB估 | 8 张 | 暂无 | 384 GB | 27.5 | 2,800 W | |
| 311.2 GB | 8 张 | 暂无 | 384 GB | 32.5 | 2,800 W | |
| 339.5 GB | 8 张 | 暂无 | 384 GB | 43.9 | 2,800 W | |
| 340.5 GB | 8 张 | 暂无 | 384 GB | 43.8 | 2,800 W |
| 模型 | 大小 | 需要几张 | 总价 | 总显存 | 速度 t/s | 总功耗 |
|---|---|---|---|---|---|---|
| 111.3 GB | 4 张 | 暂无 | 192 GB | 90.7 | 1,400 W | |
| 155.1 GB | 4 张 | 暂无 | 192 GB | 64.3 | 1,400 W | |
| 182.2 GB | 8 张 | 暂无 | 384 GB | 31 | 2,800 W | |
| 199.7 GB | 8 张 | 暂无 | 384 GB | 45.6 | 2,800 W |
| 模型 | 大小 | 需要几张 | 总价 | 总显存 | 速度 t/s | 总功耗 |
|---|---|---|---|---|---|---|
| 161.9 GB | 4 张 | 暂无 | 192 GB | 62.4 | 1,400 W | |
| 188.2 GB | 8 张 | 暂无 | 384 GB | 66.7 | 2,800 W | |
| 317.7 GB | 8 张 | 暂无 | 384 GB | 21.4 | 2,800 W | |
| 341 GB | 8 张 | 暂无 | 384 GB | 29.5 | 2,800 W |
详细计算规则可在数据方法页查看。
适合谁
适合
- 想用 8-bit 跑 27B 到 31B 的稠密模型
Qwen3.8 27B 的 8-bit 能开满 256K,约 22 tokens/s
- 已经有能插 4 到 8 张卡的 GPU 服务器
4 张共 192GB,能跑 4-bit 的 DeepSeek V4 Flash
- 要在 vLLM 里用 FP8
Ada 支持 FP8 计算,FP8 模型能真正提速
不太适合
- 放进普通台式机或塔式工作站
没有风扇,没有服务器级的强风道就会过热
- 要接显示器当主卡
4 个 DP 口出厂是关的,要用 NVIDIA 的工具切换模式
- 单卡跑 2026 年的大号 MoE
48GB 连 2-bit 的 Qwen3.8 Flash Next 都装不下,至少两张
买前须知
只能装进服务器
L40S 没有风扇,靠服务器机箱前后贯通的强风道散热。NVIDIA 开发者论坛上有人把它装进 Dell Precision 7875 工作站,空闲就到 100°C,回复的人也说它不适合工作站。买之前先查服务器厂商的兼容列表,比如联想 SR650 V3、SR675 V3 都在列。
供电线不随卡附带
供电口是单个 16-pin,满载 350W。卡本身不带供电线,联想的产品指南写明线长要按服务器型号另配(200 到 450 mm 不等)。买拆机卡尤其要确认服务器里有对应的线。
视频输出默认关闭
卡上有 4 个 DP 口,出厂是关的,要用 NVIDIA 的 displaymodeselector 工具切换显示模式才能接显示器。只当计算卡用不受影响。
和 L40 别买混
L40 和 L40S 是同一颗芯片、同样 48GB,但 L40S 算力更高、功耗 350W。二手挂单常把两者混写,认准型号里的 S。
和同档显卡对比
L40S 和 RTX 6000 Ada、A100 80GB PCIe、RTX PRO 5000 48GB 的价格、显存、带宽、算力与本地大模型速度对比。
| 规格 | ||||
|---|---|---|---|---|
| 显存 | 48 GB | 48 GB相同 | 80 GB多 67% | 48 GB相同 |
| 带宽 | 864 GB/s | 960 GB/s高 11% | 1,935 GB/s高 124% | 1,344 GB/s高 56% |
| BF16 / FP16 算力 | 362 TFLOPS | 364 TFLOPS相同 | 312 TFLOPS低 14% | 258 TFLOPS低 29% |
| INT8 算力 | 733 TOPS | 729 TOPS相同 | 624 TOPS低 15% | 516 TOPS低 30% |
| Qwen3.8 27B 速度(2-bit) | 60.3 t/s | 66.3 t/s快 10% | 122.2 t/s快 103% | 89.5 t/s快 48% |
| 最高可跑稠密模型(4-bit) | 79B | 79B相同 | 136B多 72% | 79B相同 |
| 功耗 | 350 W | 300 W低 14% | 300 W低 14% | 300 W低 14% |
| 卡间互联 | 不支持 | 不支持 | NVLink 600 GB/s | 不支持 |
| 接口 | PCIe 4.0 x16 | PCIe 4.0 x16 | PCIe 4.0 x16 | PCIe 5.0 x16 |
| 发布 | 2023-08 | 2022-09 | 2021-06 | 2025-03 |
| 闲鱼中位价 |
部分购买链接是联盟链接:通过它们购买时我们可能获得佣金,你支付的价格不变。
L40S 租用价格
L40S 按需租用每小时 ¥5.3 起(RunPod),每天用 8 小时约 ¥1,285/月。买一张(eBay 在售报价中位数 ¥67,698)每天用 4、8、24 小时,分别约 9.2 年、4.6 年、1.5 年回本。
| 方案 | 价格 | 每天 4 小时 | 每天 8 小时 | 每天 24 小时 | 去查看 |
|---|---|---|---|---|---|
| ¥5.3/小时 | ¥643/月 | ¥1,285/月 | ¥3,855/月 | 去租 | |
| ¥5.4/小时 | ¥652/月 | ¥1,304/月 | ¥3,911/月 | 去租 | |
| ¥67,698 | 约 9.2 年回本电费 ¥28/月 | 约 4.6 年回本电费 ¥56/月 | 约 1.5 年回本电费 ¥169/月 | 去买 |
回本按中国大陆居民电价(每度 ¥0.66)和 350 W 额定功耗估算,不计残值和整机其他部分。
租用链接是推荐链接:通过它们注册时,我们可能获得佣金或平台额度。作为 eBay 合作伙伴,VRAMGlass 可能在你通过 eBay 链接购买时获得佣金,你支付的价格不变。
其他市场价格
作为 eBay 合作伙伴,VRAMGlass 可能在你通过 eBay 链接购买时获得佣金,你支付的价格不变。