Instinct MI50 32GB 價格與中古行情:能部署哪些大型語言模型?
到價提醒
閒魚價格到達你設定的價位時,寄信通知你。
Instinct MI50 32GB 是 AMD 2018 年的資料中心卡,4-bit 跑 Qwen3.8 27B 約 44 tokens/s。它已不在 ROCm 支援之列,用 llama.cpp 的 Vulkan 後端最省事。
閒魚
Instinct MI50 32GB 價格走勢
閒魚
部分購買連結是聯盟連結:透過它們購買時我們可能獲得佣金,你支付的價格不變。
Instinct MI50 32GB 完整規格
- 顯存32 GB · HBM2
- 頻寬1,024 GB/s
- FP16 / BF1626.5 TFLOPS
- INT853 TOPS
- 位寬
- 4,096-bit
- 架構
- GCN 5 (Vega 20)
- 核心
- 3,840
- 生態
- ROCm
- 介面
- PCIe 4.0 x16
- 功耗
- 300 W
- 供電介面
- 2× 8-pin
- 槽位
- 2
- 長度
- 267 mm
- 類型
- 資料中心
- 發布日期
- 2018年11月18日
單張 Instinct MI50 32GB 能跑哪些模型?
單張 MI50 能整卡跑 35B 以內的模型:MoE 用 8-bit(Gemma 4 26B A4B 約 99 tokens/s),稠密模型用 4-bit(約 40)。沒有矩陣單元,讀長文件偏慢。
| 模型 | 大小 | 能否執行 | 速度 t/s | 最大上下文 |
|---|---|---|---|---|
| 3.8 GB | 能跑 | 157.8 | 128K | |
| 4.1 GB | 能跑 | 147.3 | 256K | |
| 4.7 GB | 能跑 | 130.2 | 256K | |
| 10.5 GB | 能跑 | 143.8 | 256K | |
| 11.8 GB | 能跑 | 59.6 | 256K | |
| 9.8 GB | 能跑 | 70.3 | 256K | |
| 11.9 GB | 能跑 | 154 | 198K | |
| 11.8 GB | 能跑 | 57.6 | 246K | |
| 12.3 GB | 能跑 | 163.6 | 256K |
| 模型 | 大小 | 能否執行 | 速度 t/s | 最大上下文 |
|---|---|---|---|---|
| 5 GB | 能跑 | 127.1 | 128K | |
| 5.7 GB | 能跑 | 113.3 | 256K | |
| 7.1 GB | 能跑 | 93.1 | 256K | |
| 16.9 GB | 能跑 | 122.2 | 256K | |
| 16.8 GB | 能跑 | 43.2 | 245K | |
| 16.5 GB | 能跑 | 43.9 | 250K | |
| 18.3 GB | 能跑 | 136.8 | 198K | |
| 18.3 GB | 能跑 | 39 | 168K | |
| 22.1 GB | 能跑 | 139.8 | 256K |
| 模型 | 大小 | 能否執行 | 速度 t/s | 最大上下文 |
|---|---|---|---|---|
| 8.2 GB | 能跑 | 83.7 | 128K | |
| 9.5 GB | 能跑 | 73.1 | 256K | |
| 12.7 GB | 能跑 | 55.9 | 256K | |
| 26.9 GB | 能跑 | 99 | 256K | |
| 28.6 GB | 能跑 | 26.2 | 69K | |
| 29 GB | 能跑 | 25.9 | 63K | |
| 31.8 GB | 能跑 | 110.8 | 26K | |
| 32.6 GB | 跑不了 | — | — | |
| 36.9 GB | 需卸載到記憶體 | 35 | 256K |
能跑權重、KV 快取和執行開銷都裝得進顯存,速度按顯存頻寬估算。
需卸載到記憶體僅 MoE 模型:專家權重放進記憶體,速度按記憶體頻寬 70 GB/s 估算。
跑不了這一檔量化下單卡放不下,借記憶體也不行。
詳細計算規則可在資料方法頁查看。
多張 Instinct MI50 32GB 能跑哪些模型?
四張 MI50(128GB)能用 4-bit 跑 Qwen3.8 Flash Next,約 100 tokens/s,但要用社群版 vLLM;llama.cpp 分卡最穩,速度則慢得多。
| 模型 | 大小 | 需要幾張 | 總價 | 總顯示記憶體 | 速度 t/s | 總功耗 |
|---|---|---|---|---|---|---|
| 78.9 GB | 4 張 | NT$61,053 | 128 GB | 115.9 | 1,200 W | |
| 96.8 GB | 4 張 | NT$61,053 | 128 GB | 95.6 | 1,200 W | |
| 107.2 GB | 4 張 | NT$61,053 | 128 GB | 47.4 | 1,200 W | |
| 108.7 GB | 4 張 | NT$61,053 | 128 GB | 78.6 | 1,200 W |
| 模型 | 大小 | 需要幾張 | 總價 | 總顯示記憶體 | 速度 t/s | 總功耗 |
|---|---|---|---|---|---|---|
| 111.3 GB | 4 張 | NT$61,053 | 128 GB | 99.6 | 1,200 W | |
| 155.1 GB | 8 張 | NT$122,105 | 256 GB | 72.2 | 2,400 W | |
| 182.2 GB | 8 張 | NT$122,105 | 256 GB | 35.8 | 2,400 W | |
| 199.7 GB | 8 張 | NT$122,105 | 256 GB | 52 | 2,400 W |
| 模型 | 大小 | 需要幾張 | 總價 | 總顯示記憶體 | 速度 t/s | 總功耗 |
|---|---|---|---|---|---|---|
| 161.9 GB | 8 張 | NT$122,105 | 256 GB | 70.2 | 2,400 W | |
| 188.2 GB | 8 張 | NT$122,105 | 256 GB | 74.8 | 2,400 W |
詳細計算規則可在資料方法頁查看。
適合誰
適合
- 需要 24GB 的卡給不了的長上下文
Qwen3.8 27B 的 4-bit 能開到 250K,約 44 tokens/s
- 想用 8-bit
Qwen3.8 27B 的 8-bit(29 GB)放得下,約 26 tokens/s
- 願意在 Linux 上自己摸索
llama.cpp 的 Vulkan 後端不依賴 ROCm,可以直接用
不太適合
- 要用 Windows
AMD 對這張卡只提供 Linux 支援
- 要用官方 vLLM,或直接跑 BF16 原版權重
官方 vLLM 不支援它,晶片也不支援 BF16
- 放在一般機殼裡又不想改風道
被動散熱,滿載 300W
買前須知
ROCm 版本要自己挑
AMD 已經把 MI50 移出 ROCm 支援清單,裝上新版 ROCm 後,預先編譯的函式庫會出現執行階段錯誤(社群指出 ROCm 7.x 的 rocBLAS 缺少這張卡的運算核心)。社群的解法有三種:安裝舊一點的 ROCm;把 6.4.3 版裡這張卡的 rocBLAS 檔案補進新版;或者乾脆用 llama.cpp 的 Vulkan 後端,完全繞過 ROCm,這是最省事的。
被動散熱要配導風罩
卡上沒有風扇,設計上是靠伺服器風道從卡的一端吹到另一端。放進桌機要在卡尾加導風罩和高靜壓風扇,不然很快就會過熱降頻。社群指南還建議把功耗牆降到 150 到 180W:生成速度主要看顯示記憶體頻寬,降功耗幾乎不掉速,溫度卻能降低 15°C 以上。
確認是 32GB 版本,也要查平台
MI50 有 16GB 和 32GB 兩個版本,驗貨時用 rocm-smi 或 amd-smi 看記憶體容量。平台也要確認:ROCm 要求 CPU 支援 PCIe atomics(AMD 第一代 Zen、Intel Haswell 及之後的世代),更舊的 Xeon 平台可能用不了;BIOS 裡還要開啟 Above 4G Decoding 和 Resizable BAR。
沒有矩陣單元,也沒有 BF16
這一代晶片沒有矩陣運算單元,FP16 算力只有 26.5 TFLOPS,也不支援 BF16。用 llama.cpp 跑 GGUF 量化版時,生成速度不受影響,只是處理長提示詞會明顯比有矩陣核心的卡慢;BF16 原版權重要先轉成 FP16,或者直接用 GGUF。
與同級顯卡比較
Instinct MI50 32GB 與 Tesla V100 32GB、Instinct MI100、GeForce RTX 3090 的價格、顯存、頻寬、算力與本地大模型速度比較。
| 規格 | Instinct MI50 32GB | Instinct MI100 | ||
|---|---|---|---|---|
| 顯存 | 32 GB | 32 GB相同 | 32 GB相同 | 24 GB少 25% |
| 頻寬 | 1,024 GB/s | 900 GB/s低 12% | 1,229 GB/s高 20% | 936 GB/s低 9% |
| BF16 / FP16 算力 | 27 TFLOPS | 112 TFLOPS高 323% | 92 TFLOPS高 248% | 142 TFLOPS高 437% |
| INT8 算力 | 53 TOPS | 56 TOPS高 6% | 92 TOPS高 74% | 285 TOPS高 437% |
| Qwen3.8 27B 速度(2-bit) | 70.3 t/s | 62.6 t/s慢 11% | 82.8 t/s快 18% | 64.8 t/s慢 8% |
| 最高可跑稠密模型(4-bit) | 51B | 51B相同 | 51B相同 | 37B少 27% |
| 功耗 | 300 W | 250 W低 17% | 300 W相同 | 350 W高 17% |
| 卡間互連 | — | 不支援 | — | NVLink 112.5 GB/s |
| 介面 | PCIe 4.0 x16 | PCIe 3.0 x16 | PCIe 4.0 x16 | PCIe 4.0 x16 |
| 發布 | 2018-11 | 2018-03 | 2020-11 | 2020-09 |
| 閒魚中位價 |
部分購買連結是聯盟連結:透過它們購買時我們可能獲得佣金,你支付的價格不變。
其他市場價格
身為 eBay 合作夥伴,你透過本頁的 eBay 連結購買時,VRAMGlass 可能獲得佣金,你支付的價格不變。