RTX PRO 5000 48GB 價格與中古行情:能部署哪些大型語言模型?
到價提醒
閒魚價格到達你設定的價位時,寄信通知你。
RTX PRO 5000 Blackwell 48GB 是 NVIDIA 2025 年的工作站卡,35B 以內都能用 8-bit,30B 級 MoE 約 129 tokens/s。跑 NVFP4 模型要用新版 vLLM。
閒魚
RTX PRO 5000 48GB 價格走勢
閒魚
部分購買連結是聯盟連結:透過它們購買時我們可能獲得佣金,你支付的價格不變。
RTX PRO 5000 48GB 完整規格
- 顯存48 GB · GDDR7 ECC
- 頻寬1,344 GB/s
- FP16 / BF16258 TFLOPS
- FP8 / INT8516 / 516 TOPS
- 位寬
- 384-bit
- 架構
- Blackwell (GB202)
- 核心
- 14,080
- 張量核心
- 440
- 生態
- CUDA
- 介面
- PCIe 5.0 x16
- NVLink
- 不支援
- 功耗
- 300 W
- 槽位
- 2
- 長度
- 267 mm
- 類型
- 工作站
- 發布日期
- 2025年3月18日
單張 RTX PRO 5000 48GB 能跑哪些模型?
單張 PRO 5000 48GB 跑 35B 以內用 8-bit,上下文開滿 256K;要快就換 4-bit,稠密模型快六、七成。單卡上限是 70B 級的 4-bit。
| 模型 | 大小 | 能否執行 | 速度 t/s | 最大上下文 |
|---|---|---|---|---|
| 4.7 GB | 能跑 | 161.7 | 256K | |
| 10.5 GB | 能跑 | 155.9 | 256K | |
| 11.8 GB | 能跑 | 76.3 | 256K | |
| 9.8 GB | 能跑 | 89.5 | 256K | |
| 11.9 GB | 能跑 | 164.9 | 198K | |
| 11.8 GB | 能跑 | 73.7 | 256K | |
| 12.3 GB | 能跑 | 173.1 | 256K |
| 模型 | 大小 | 能否執行 | 速度 t/s | 最大上下文 |
|---|---|---|---|---|
| 7.1 GB | 能跑 | 117.4 | 256K | |
| 16.9 GB | 能跑 | 136 | 256K | |
| 16.8 GB | 能跑 | 55.7 | 256K | |
| 16.5 GB | 能跑 | 56.6 | 256K | |
| 18.3 GB | 能跑 | 149.5 | 198K | |
| 18.3 GB | 能跑 | 50.3 | 256K | |
| 22.1 GB | 能跑 | 152.2 | 256K |
| 模型 | 大小 | 能否執行 | 速度 t/s | 最大上下文 |
|---|---|---|---|---|
| 12.7 GB | 能跑 | 71.7 | 256K | |
| 26.9 GB | 能跑 | 113.4 | 256K | |
| 28.6 GB | 能跑 | 34 | 256K | |
| 29 GB | 能跑 | 33.6 | 256K | |
| 31.8 GB | 能跑 | 125 | 198K | |
| 32.6 GB | 能跑 | 29.6 | 202K | |
| 36.9 GB | 能跑 | 128.7 | 256K |
能跑權重、KV 快取和執行開銷都裝得進顯存,速度按顯存頻寬估算。
需卸載到記憶體僅 MoE 模型:專家權重放進記憶體,速度按記憶體頻寬 70 GB/s 估算。
跑不了這一檔量化下單卡放不下,借記憶體也不行。
詳細計算規則可在資料方法頁查看。
多張 RTX PRO 5000 48GB 能跑哪些模型?
四張 PRO 5000 48GB(192GB)能用 4-bit 跑 DeepSeek V4 Flash,約 86 tokens/s,8-bit 也放得下;兩張適合 gpt-oss 120B。沒有 NVLink。
| 模型 | 大小 | 需要幾張 | 總價 | 總顯示記憶體 | 速度 t/s | 總功耗 |
|---|---|---|---|---|---|---|
| 78.9 GB | 2 張 | NT$436,396 | 96 GB | 130 | 600 W | |
| 96.8 GB | 4 張 | NT$872,791 | 192 GB | 110 | 1,200 W | |
| 107.2 GB | 4 張 | NT$872,791 | 192 GB | 58.1 | 1,200 W | |
| 108.7 GB | 4 張 | NT$872,791 | 192 GB | 92.5 | 1,200 W | |
| 253.9 GB | 8 張 | NT$1,745,583 | 384 GB | 51.7 | 2,400 W | |
| 307.2 GB估 | 8 張 | NT$1,745,583 | 384 GB | 39.9 | 2,400 W | |
| 311.2 GB | 8 張 | NT$1,745,583 | 384 GB | 46.6 | 2,400 W | |
| 339.5 GB | 8 張 | NT$1,745,583 | 384 GB | 61.2 | 2,400 W | |
| 340.5 GB | 8 張 | NT$1,745,583 | 384 GB | 61.1 | 2,400 W |
| 模型 | 大小 | 需要幾張 | 總價 | 總顯示記憶體 | 速度 t/s | 總功耗 |
|---|---|---|---|---|---|---|
| 111.3 GB | 4 張 | NT$872,791 | 192 GB | 114.1 | 1,200 W | |
| 155.1 GB | 4 張 | NT$872,791 | 192 GB | 85.6 | 1,200 W | |
| 182.2 GB | 8 張 | NT$1,745,583 | 384 GB | 44.7 | 2,400 W | |
| 199.7 GB | 8 張 | NT$1,745,583 | 384 GB | 63.4 | 2,400 W |
| 模型 | 大小 | 需要幾張 | 總價 | 總顯示記憶體 | 速度 t/s | 總功耗 |
|---|---|---|---|---|---|---|
| 161.9 GB | 4 張 | NT$872,791 | 192 GB | 83.5 | 1,200 W | |
| 188.2 GB | 8 張 | NT$1,745,583 | 384 GB | 88.4 | 2,400 W | |
| 317.7 GB | 8 張 | NT$1,745,583 | 384 GB | 31.5 | 2,400 W | |
| 341 GB | 8 張 | NT$1,745,583 | 384 GB | 42.6 | 2,400 W |
詳細計算規則可在資料方法頁查看。
適合誰
適合
- 單卡跑 27B 到 31B 的稠密模型
4-bit 約 50 到 57 tokens/s,8-bit 約 30 到 34
- 想用 FP4(NVFP4)格式的量化模型
- 一張卡同時跑兩個服務
支援 MIG,可以切成 2 張 24GB 的小卡
不太適合
- 單卡跑 70B 以上的模型
70B 級的 4-bit 剛好放得下,再大就要看 72GB 版
- 以處理長文件、跑批次請求為主
運算能力比 RTX 6000 Ada 低(BF16 約 258 對 364 TFLOPS)
買前須知
MIG 怎麼切
MIG 能把這張卡切成 2 個 24GB 的執行個體,顯示記憶體和運算能力各自獨立,等於兩張 24GB 卡:每個執行個體放得下 4-bit 的 Qwen3.8 27B(16.5 GB),但放不下它的 8-bit(29 GB)。
FP4 要用新版軟體
這一代工作站卡的架構編號是 sm_120,和資料中心的 Blackwell(sm_100)不同。vLLM 一度只認得後者,在這張卡上載入 NVFP4 的 MoE 模型會直接報錯(issue #33416,現已修復);使用 NVFP4 版模型前,先把 vLLM 更新到新版本。
可以直接替換 6000 Ada
雙槽、長約 267 mm、300W、一個 16-pin 供電,這些都和 RTX 6000 Ada 相同,渦輪也一樣從擋板排風,舊工作站換卡基本上不必更動機殼和電源供應器。
與同級顯卡比較
RTX PRO 5000 48GB 與 RTX 6000 Ada、GeForce RTX 4090 48GB、RTX PRO 5000 72GB 的價格、顯存、頻寬、算力與本地大模型速度比較。
| 規格 | ||||
|---|---|---|---|---|
| 顯存 | 48 GB | 48 GB相同 | 48 GB相同 | 72 GB多 50% |
| 頻寬 | 1,344 GB/s | 960 GB/s低 29% | 1,008 GB/s低 25% | 1,344 GB/s相同 |
| BF16 / FP16 算力 | 258 TFLOPS | 364 TFLOPS高 41% | 330 TFLOPS高 28% | 258 TFLOPS相同 |
| INT8 算力 | 516 TOPS | 729 TOPS高 41% | 661 TOPS高 28% | 516 TOPS相同 |
| Qwen3.8 27B 速度(2-bit) | 89.5 t/s | 66.3 t/s慢 26% | 69.3 t/s慢 23% | 89.5 t/s相同 |
| 最高可跑稠密模型(4-bit) | 79B | 79B相同 | 79B相同 | 122B多 54% |
| 功耗 | 300 W | 300 W相同 | 450 W高 50% | 300 W相同 |
| 介面 | PCIe 5.0 x16 | PCIe 4.0 x16 | PCIe 4.0 x16 | PCIe 5.0 x16 |
| 發布 | 2025-03 | 2022-09 | 2022-10 | 2025-12 |
| 閒魚中位價 |
部分購買連結是聯盟連結:透過它們購買時我們可能獲得佣金,你支付的價格不變。
RTX PRO 5000 48GB 租用價格
RTX PRO 5000 48GB 隨需租用每小時 NT$24.8 起(Vast.ai),每天用 8 小時約 NT$6,025/月。買一張(閒魚中位價 NT$218,198)每天用 4、8、24 小時,分別約 6.3 年、3.1 年、1 年回本。
| 方案 | 價格 | 每天 4 小時 | 每天 8 小時 | 每天 24 小時 | 去查看 |
|---|---|---|---|---|---|
| NT$24.8/小時 | NT$3,012/月 | NT$6,025/月 | NT$18,075/月 | 去租 | |
| NT$26.8/小時 | NT$3,255/月 | NT$6,510/月 | NT$19,530/月 | 去租 | |
| NT$218,198 | 約 6.3 年回本電費 NT$105/月 | 約 3.1 年回本電費 NT$210/月 | 約 1 年回本電費 NT$629/月 | 去買 |
回本依台灣住宅平均電價(每度 NT$2.87)和 300 W 額定功耗估算,不計殘值和整機其他部分。
租用連結是推薦連結:透過它們註冊時,我們可能獲得佣金或平台額度。
其他市場價格
身為 eBay 合作夥伴,你透過本頁的 eBay 連結購買時,VRAMGlass 可能獲得佣金,你支付的價格不變。