Tesla P40 價格與中古行情:能部署哪些大型語言模型?
到價提醒
閒魚價格到達你設定的價位時,寄信通知你。
Tesla P40 是 NVIDIA 2016 年的 24GB 資料中心卡,搭 llama.cpp 跑 30B 級 MoE 約 81 tokens/s,vLLM 不能用。供電是 CPU 8-pin,要備好轉接線。
閒魚
Tesla P40 價格走勢
閒魚
部分購買連結是聯盟連結:透過它們購買時我們可能獲得佣金,你支付的價格不變。
Tesla P40 完整規格
- 顯存24 GB · GDDR5
- 頻寬347 GB/s
- INT847 TOPS
- 位寬
- 384-bit
- 架構
- Pascal (GP102)
- 核心
- 3,840
- 生態
- CUDA
- 介面
- PCIe 3.0 x16
- NVLink
- 不支援
- 功耗
- 250 W
- 供電介面
- 8-pin CPU (EPS-12V)
- 槽位
- 2
- 長度
- 267 mm
- 類型
- 資料中心
- 發布日期
- 2016年9月13日
單張 Tesla P40 能跑哪些模型?
單張 P40 最推薦 4-bit 的 30B 級 MoE,約 80 tokens/s,上下文 11 萬以上。27B 到 31B 稠密模型只有 14 到 16,8-bit 意義不大。
| 模型 | 大小 | 能否執行 | 速度 t/s | 最大上下文 |
|---|---|---|---|---|
| 3.8 GB | 能跑 | 62.6 | 128K | |
| 4.1 GB | 能跑 | 57.8 | 256K | |
| 4.7 GB | 能跑 | 50.2 | 256K | |
| 10.5 GB | 能跑 | 88.1 | 256K | |
| 11.8 GB | 能跑 | 21.4 | 192K | |
| 9.8 GB | 能跑 | 25.5 | 221K | |
| 11.9 GB | 能跑 | 100.1 | 198K | |
| 11.8 GB | 能跑 | 20.6 | 143K | |
| 12.3 GB | 能跑 | 112.8 | 256K |
| 模型 | 大小 | 能否執行 | 速度 t/s | 最大上下文 |
|---|---|---|---|---|
| 5 GB | 能跑 | 48.8 | 128K | |
| 5.7 GB | 能跑 | 42.9 | 256K | |
| 7.1 GB | 能跑 | 34.5 | 256K | |
| 16.9 GB | 能跑 | 66.8 | 256K | |
| 16.8 GB | 能跑 | 15.3 | 117K | |
| 16.5 GB | 能跑 | 15.5 | 122K | |
| 18.3 GB | 能跑 | 80.7 | 115K | |
| 18.3 GB | 能跑 | 13.7 | 66K | |
| 22.1 GB | 能跑 | 83.7 | 123K |
| 模型 | 大小 | 能否執行 | 速度 t/s | 最大上下文 |
|---|---|---|---|---|
| 8.2 GB | 能跑 | 30.8 | 128K | |
| 9.5 GB | 能跑 | 26.6 | 256K | |
| 12.7 GB | 能跑 | 20 | 256K | |
| 26.9 GB | 需卸載到記憶體 | 22.5 | 256K | |
| 28.6 GB | 跑不了 | — | — | |
| 29 GB | 跑不了 | — | — | |
| 31.8 GB | 需卸載到記憶體 | 21.1 | 198K | |
| 32.6 GB | 跑不了 | — | — | |
| 36.9 GB | 需卸載到記憶體 | 29.7 | 256K |
能跑權重、KV 快取和執行開銷都裝得進顯存,速度按顯存頻寬估算。
需卸載到記憶體僅 MoE 模型:專家權重放進記憶體,速度按記憶體頻寬 70 GB/s 估算。
跑不了這一檔量化下單卡放不下,借記憶體也不行。
詳細計算規則可在資料方法頁查看。
Tesla P40 用 Strata 能跑多大的模型?
Strata 把模型主體放在記憶體和硬碟裡,顯示卡只存最常用的專家,所以 Tesla P40 也能跑顯示記憶體遠遠裝不下的大模型。以下是 Strata 作者和社群在這張卡上的實測,多卡的標了張數,價格由本站依現價補上。
Strata 把模型分三處放
Qwen3.8 Flash Next Q2_0 · 66.4 GB- 顯示記憶體 24 GB:每個字都要用的部分,加上最常用的專家
- 記憶體約 40 GB:全部專家,顯示卡沒存的由 CPU 即時計算
- 硬碟 28.8 GB:查找表,每個字只讀幾行
IQ2_XS · 68 GB實測
部分購買連結是聯盟連結:透過它們購買時我們可能獲得佣金,你支付的價格不變。
多張 Tesla P40 能跑哪些模型?
四張 P40 放得下 4-bit 的 gpt-oss 120B,但 vLLM 不支援 P40,用 llama.cpp 分卡會更慢。兩張只夠 70B 級的 2-bit,不到 10 tokens/s。
| 模型 | 大小 | 需要幾張 | 總價 | 總顯示記憶體 | 速度 t/s | 總功耗 |
|---|---|---|---|---|---|---|
| 78.9 GB | 4 張 | NT$25,603 | 96 GB | 61.4 | 1,000 W | |
| 96.8 GB | 8 張 | NT$51,205 | 192 GB | 46.1 | 2,000 W | |
| 107.2 GB | 8 張 | NT$51,205 | 192 GB | 18.8 | 2,000 W | |
| 108.7 GB | 8 張 | NT$51,205 | 192 GB | 35.3 | 2,000 W |
| 模型 | 大小 | 需要幾張 | 總價 | 總顯示記憶體 | 速度 t/s | 總功耗 |
|---|---|---|---|---|---|---|
| 111.3 GB | 8 張 | NT$51,205 | 192 GB | 48.9 | 2,000 W | |
| 155.1 GB | 8 張 | NT$51,205 | 192 GB | 31.5 | 2,000 W |
| 模型 | 大小 | 需要幾張 | 總價 | 總顯示記憶體 | 速度 t/s | 總功耗 |
|---|---|---|---|---|---|---|
| 161.9 GB | 8 張 | NT$51,205 | 192 GB | 30.4 | 2,000 W |
詳細計算規則可在資料方法頁查看。
適合誰
適合
- 主要跑 MoE
Qwen3.6 35B A3B、GLM 4.7 Flash 的 4-bit 約 81 到 84 tokens/s,上下文能開到 115K 以上
- 只用 llama.cpp 或 Ollama,能接受 27B 稠密模型約 16 tokens/s
- 有強力風道的伺服器,或願意自己加裝導風罩和風扇
不太適合
- 要用 vLLM 或 FP16 運算
vLLM 從來沒支援過這一代,FP16 運算能力只有 FP32 的 1/64
- 想一直跟上新驅動程式和新 CUDA
CUDA 13 已經不支援它,580 之後的驅動程式也不再支援
- 普通機殼、沒有風道
250W 被動散熱,卡上沒有風扇
買前須知
供電是 CPU 8-pin,不是顯示卡 8-pin
P40 卡尾是一個 CPU 8-pin(EPS)插座,和顯示卡常用的 PCIe 8-pin 針腳定義不同,別把顯示卡的線硬插上去。NVIDIA 明確寫出可以直接接電源的 CPU 線,或用轉接線把兩條 PCIe 8-pin 合成一個 CPU 8-pin,轉接線一定要買對。
被動散熱要自己加風扇
P40 沒有風扇,設計上靠伺服器風道散熱,散熱片從兩個方向進風都可以。裝進桌機得自己加導風罩和高轉速風扇(常見的是 3D 列印導風罩),也有人每張卡配兩顆 40mm 風扇。卡上也沒有影像輸出,組裝時要有內顯或另一張顯示卡來接螢幕。
主機板要開 Above 4G Decoding
P40 需要佔用很大一塊位址空間(32 GB),主機板 BIOS 沒開 Above 4G Decoding 就可能抓不到卡。舊平台和部分家用主機板沒有這個選項,購買前先查主機板手冊。
先看 ECC 有沒有開
P40 出廠預設開啟 ECC,這時 nvidia-smi 顯示的顯示記憶體總量只有 22912 MiB,比 24GB 少了約 1.6 GB。如果不需要 ECC,可以用 nvidia-smi -e 0 關掉,重新開機後就能用滿 24GB。
軟體只剩 llama.cpp 這一系
這一代沒有 Tensor Core,FP16 運算能力極低,依賴 FP16 運算的框架在它上面會非常慢。llama.cpp 會自動避開 FP16、改用 FP32 和 INT8 運算,GGUF 量化模型照樣能跑;Ollama 也仍支援它,但需要 570 以上的驅動程式,而 580 是支援它的最後一個分支。下載 llama.cpp 預先編譯套件時要選 CUDA 12 版,CUDA 13 版已經不再支援這張卡。
與同級顯卡比較
Tesla P40 與 GeForce RTX 3090、Instinct MI50 32GB、GeForce RTX 2080 Ti 22GB 的價格、顯存、頻寬、算力與本地大模型速度比較。
| 規格 | Instinct MI50 32GB | |||
|---|---|---|---|---|
| 顯存 | 24 GB | 24 GB相同 | 32 GB多 33% | 22 GB少 8% |
| 頻寬 | 347 GB/s | 936 GB/s高 170% | 1,024 GB/s高 195% | 616 GB/s高 78% |
| BF16 / FP16 算力 | — | 142 TFLOPS | 27 TFLOPS | 108 TFLOPS |
| INT8 算力 | 47 TOPS | 285 TOPS高 506% | 53 TOPS高 13% | 215 TOPS高 358% |
| Qwen3.8 27B 速度(2-bit) | 25.5 t/s | 64.8 t/s快 154% | 70.3 t/s快 176% | 44 t/s快 73% |
| 最高可跑稠密模型(4-bit) | 37B | 37B相同 | 51B多 38% | 34B少 8% |
| 功耗 | 250 W | 350 W高 40% | 300 W高 20% | 250 W相同 |
| 卡間互連 | 不支援 | NVLink 112.5 GB/s | — | NVLink 100 GB/s |
| 介面 | PCIe 3.0 x16 | PCIe 4.0 x16 | PCIe 4.0 x16 | PCIe 3.0 x16 |
| 發布 | 2016-09 | 2020-09 | 2018-11 | 2018-09 |
| 閒魚中位價 |
部分購買連結是聯盟連結:透過它們購買時我們可能獲得佣金,你支付的價格不變。
Tesla P40 租用價格
Tesla P40 在優雲智算隨需租用每小時 NT$1.87,每天用 8 小時約 NT$455/月。買一張(閒魚中位價 NT$6,401)每天用 4、8、24 小時,分別約 3.8 年、1.9 年、8 個月回本。
| 方案 | 價格 | 每天 4 小時 | 每天 8 小時 | 每天 24 小時 | 去查看 |
|---|---|---|---|---|---|
| NT$1.87/小時 | NT$228/月 | NT$455/月 | NT$1,366/月 | 去租 | |
| NT$6,401 | 約 3.8 年回本電費 NT$87/月 | 約 1.9 年回本電費 NT$175/月 | 約 8 個月回本電費 NT$524/月 | 去買 |
回本依台灣住宅平均電價(每度 NT$2.87)和 250 W 額定功耗估算,不計殘值和整機其他部分。
租用連結是推薦連結:透過它們註冊時,我們可能獲得佣金或平台額度。
其他市場價格
身為 eBay 合作夥伴,你透過本頁的 eBay 連結購買時,VRAMGlass 可能獲得佣金,你支付的價格不變。