RTX A6000 價格與中古行情:能部署哪些大型語言模型?
到價提醒
閒魚價格到達你設定的價位時,寄信通知你。
RTX A6000 是 NVIDIA 2020 年的 48GB 工作站卡,顯示記憶體有 ECC,35B 以內能用 8-bit 跑,但頻寬偏低,MoE 比稠密模型快得多。供電接頭是 CPU 8-pin。
閒魚
RTX A6000 價格走勢
閒魚
部分購買連結是聯盟連結:透過它們購買時我們可能獲得佣金,你支付的價格不變。
RTX A6000 完整規格
- 顯存48 GB · GDDR6 ECC
- 頻寬768 GB/s
- FP16 / BF16154.9 TFLOPS
- INT8309.7 TOPS
- 位寬
- 384-bit
- 架構
- Ampere (GA102)
- 核心
- 10,752
- 張量核心
- 336
- 生態
- CUDA
- 介面
- PCIe 4.0 x16
- NVLink
- 112.5 GB/s
- 功耗
- 300 W
- 供電介面
- 8-pin EPS
- 槽位
- 2
- 長度
- 267 mm
- 類型
- 工作站
- 發布日期
- 2020年10月5日
單張 RTX A6000 能跑哪些模型?
單張 A6000 最值得跑 4-bit 的 30B 級 MoE,約 125 tokens/s。稠密的 Qwen3.8 27B 用 8-bit 只有約 20,4-bit 也才三十出頭。
| 模型 | 大小 | 能否執行 | 速度 t/s | 最大上下文 |
|---|---|---|---|---|
| 4.7 GB | 能跑 | 102.3 | 256K | |
| 10.5 GB | 能跑 | 129.8 | 256K | |
| 11.8 GB | 能跑 | 45.7 | 256K | |
| 9.8 GB | 能跑 | 54.1 | 256K | |
| 11.9 GB | 能跑 | 141 | 198K | |
| 11.8 GB | 能跑 | 44.1 | 256K | |
| 12.3 GB | 能跑 | 151.9 | 256K |
| 模型 | 大小 | 能否執行 | 速度 t/s | 最大上下文 |
|---|---|---|---|---|
| 7.1 GB | 能跑 | 72.2 | 256K | |
| 16.9 GB | 能跑 | 107 | 256K | |
| 16.8 GB | 能跑 | 32.9 | 256K | |
| 16.5 GB | 能跑 | 33.5 | 256K | |
| 18.3 GB | 能跑 | 122.3 | 198K | |
| 18.3 GB | 能跑 | 29.6 | 256K | |
| 22.1 GB | 能跑 | 125.4 | 256K |
| 模型 | 大小 | 能否執行 | 速度 t/s | 最大上下文 |
|---|---|---|---|---|
| 12.7 GB | 能跑 | 42.8 | 256K | |
| 26.9 GB | 能跑 | 84 | 256K | |
| 28.6 GB | 能跑 | 19.8 | 256K | |
| 29 GB | 能跑 | 19.6 | 256K | |
| 31.8 GB | 能跑 | 95.5 | 198K | |
| 32.6 GB | 能跑 | 17.2 | 202K | |
| 36.9 GB | 能跑 | 99.3 | 256K |
能跑權重、KV 快取和執行開銷都裝得進顯存,速度按顯存頻寬估算。
需卸載到記憶體僅 MoE 模型:專家權重放進記憶體,速度按記憶體頻寬 70 GB/s 估算。
跑不了這一檔量化下單卡放不下,借記憶體也不行。
詳細計算規則可在資料方法頁查看。
多張 RTX A6000 能跑哪些模型?
兩張 A6000(96GB)主要跑 MoE,gpt-oss 120B 約 97 tokens/s;四張能用 4-bit 跑 DeepSeek V4 Flash。支援 NVLink,但只能兩兩相連。
| 模型 | 大小 | 需要幾張 | 總價 | 總顯示記憶體 | 速度 t/s | 總功耗 |
|---|---|---|---|---|---|---|
| 78.9 GB | 2 張 | NT$310,187 | 96 GB | 100.6 | 600 W | |
| 96.8 GB | 4 張 | NT$620,374 | 192 GB | 80.8 | 1,200 W | |
| 107.2 GB | 4 張 | NT$620,374 | 192 GB | 37.6 | 1,200 W | |
| 108.7 GB | 4 張 | NT$620,374 | 192 GB | 65 | 1,200 W | |
| 253.9 GB | 8 張 | NT$1,240,749 | 384 GB | 33 | 2,400 W | |
| 307.2 GB估 | 8 張 | NT$1,240,749 | 384 GB | 24.8 | 2,400 W | |
| 311.2 GB | 8 張 | NT$1,240,749 | 384 GB | 29.4 | 2,400 W | |
| 339.5 GB | 8 張 | NT$1,240,749 | 384 GB | 39.9 | 2,400 W | |
| 340.5 GB | 8 張 | NT$1,240,749 | 384 GB | 39.8 | 2,400 W |
| 模型 | 大小 | 需要幾張 | 總價 | 總顯示記憶體 | 速度 t/s | 總功耗 |
|---|---|---|---|---|---|---|
| 111.3 GB | 4 張 | NT$620,374 | 192 GB | 84.6 | 1,200 W | |
| 155.1 GB | 4 張 | NT$620,374 | 192 GB | 59.1 | 1,200 W | |
| 182.2 GB | 8 張 | NT$1,240,749 | 384 GB | 28 | 2,400 W | |
| 199.7 GB | 8 張 | NT$1,240,749 | 384 GB | 41.5 | 2,400 W |
| 模型 | 大小 | 需要幾張 | 總價 | 總顯示記憶體 | 速度 t/s | 總功耗 |
|---|---|---|---|---|---|---|
| 161.9 GB | 4 張 | NT$620,374 | 192 GB | 57.3 | 1,200 W | |
| 188.2 GB | 8 張 | NT$1,240,749 | 384 GB | 61.5 | 2,400 W | |
| 317.7 GB | 8 張 | NT$1,240,749 | 384 GB | 19.2 | 2,400 W | |
| 341 GB | 8 張 | NT$1,240,749 | 384 GB | 26.6 | 2,400 W |
詳細計算規則可在資料方法頁查看。
適合誰
適合
- 要 48GB 又要完整的 CUDA 生態系
Qwen3.8 27B 的 8-bit(29 GB)單卡放得下,約 20 tokens/s
- 主要跑 MoE
頻寬短板對它影響不大,Qwen3.6 35B A3B 的 4-bit 約 125 tokens/s,將近稠密 Qwen3.8 27B 的四倍
- 打算兩張合用
支援 NVLink 橋接,兩張合計 96GB
- 在意整機功耗和體積
300W、雙槽,比兩張 3090 好塞
不太適合
- 看重生成速度
4-bit 跑 Qwen3.8 27B 約 34 tokens/s,比 3090 和 RTX 6000 Ada 都慢
- 要用 FP8 或 FP4
這一代不支援 FP8 運算,FP8 模型只能省顯示記憶體、無法提速
買前須知
供電口是 CPU 8-pin
A6000 的供電口是 CPU 8-pin(EPS-12V),而不是顯示卡常見的 PCIe 8-pin,兩種插頭不能混用。NVIDIA 的電源指南允許使用「兩條 PCIe 8-pin 轉一個 CPU 8-pin」的轉接線;換機殼、換電源供應器之前,先確認線材。
NVLink 橋接器依槽距挑選
官方橋接器有 2 槽和 3 槽兩種間距,只能連接兩張卡。買橋接器前先量好主機板上兩條 x16 插槽的間距,間距不對就插不上。
量化格式怎麼選
這一代不支援 FP8 運算,vLLM 遇到 FP8 模型時,只會把權重以 FP8 儲存、運算仍用 16 位元,能省顯示記憶體但不會提速。在這張卡上,優先選用 GGUF 的 4-bit 到 8-bit,或 AWQ、GPTQ 這類 4-bit 格式。
和 3090 同一顆晶片
A6000 用的是完整版 GA102,3090 則是同一顆晶片的刪減版,但 3090 搭配速度更快的 GDDR6X,所以跑模型反而比較快。A6000 的 48GB 顯示記憶體具備 ECC,可以自動修正記憶體中的單位元錯誤。
與同級顯卡比較
RTX A6000 與 RTX 6000 Ada、GeForce RTX 3090、GeForce RTX 4090 48GB 的價格、顯存、頻寬、算力與本地大模型速度比較。
| 規格 | ||||
|---|---|---|---|---|
| 顯存 | 48 GB | 48 GB相同 | 24 GB少 50% | 48 GB相同 |
| 頻寬 | 768 GB/s | 960 GB/s高 25% | 936 GB/s高 22% | 1,008 GB/s高 31% |
| BF16 / FP16 算力 | 155 TFLOPS | 364 TFLOPS高 135% | 142 TFLOPS低 8% | 330 TFLOPS高 113% |
| INT8 算力 | 310 TOPS | 729 TOPS高 135% | 285 TOPS低 8% | 661 TOPS高 113% |
| Qwen3.8 27B 速度(2-bit) | 54.1 t/s | 66.3 t/s快 23% | 64.8 t/s快 20% | 69.3 t/s快 28% |
| 最高可跑稠密模型(4-bit) | 79B | 79B相同 | 37B少 53% | 79B相同 |
| 功耗 | 300 W | 300 W相同 | 350 W高 17% | 450 W高 50% |
| 卡間互連 | NVLink 112.5 GB/s | 不支援 | NVLink 112.5 GB/s | 不支援 |
| 介面 | PCIe 4.0 x16 | PCIe 4.0 x16 | PCIe 4.0 x16 | PCIe 4.0 x16 |
| 發布 | 2020-10 | 2022-09 | 2020-09 | 2022-10 |
| 閒魚中位價 |
部分購買連結是聯盟連結:透過它們購買時我們可能獲得佣金,你支付的價格不變。
RTX A6000 租用價格
RTX A6000 隨需租用每小時 NT$10.9 起(RunPod),每天用 8 小時約 NT$2,643/月。買一張(閒魚中位價 NT$155,094)每天用 4、8、24 小時,分別約 10.6 年、5.3 年、1.8 年回本。
| 方案 | 價格 | 每天 4 小時 | 每天 8 小時 | 每天 24 小時 | 去查看 |
|---|---|---|---|---|---|
| NT$10.9/小時 | NT$1,321/月 | NT$2,643/月 | NT$7,929/月 | 去租 | |
| NT$14.1/小時 | NT$1,720/月 | NT$3,441/月 | NT$10,323/月 | 去租 | |
| NT$155,094 | 約 10.6 年回本電費 NT$105/月 | 約 5.3 年回本電費 NT$210/月 | 約 1.8 年回本電費 NT$629/月 | 去買 |
回本依台灣住宅平均電價(每度 NT$2.87)和 300 W 額定功耗估算,不計殘值和整機其他部分。
租用連結是推薦連結:透過它們註冊時,我們可能獲得佣金或平台額度。
其他市場價格
身為 eBay 合作夥伴,你透過本頁的 eBay 連結購買時,VRAMGlass 可能獲得佣金,你支付的價格不變。