Instinct MI100 價格與中古行情：能部署哪些大型語言模型？

Instinct MI100 是 AMD 2020 年的 32GB 資料中心卡，頻寬 1.2 TB/s，跑 30B 級模型依然很快。只能在 Linux 下使用，官方 vLLM 也不支援它。

閒魚

Instinct MI100 價格走勢

暫無報價

閒魚

價格更新於 —

資料不足，暫時無法產生走勢

累積足夠的有效報價後，將顯示中位價走勢。

部分購買連結是聯盟連結：透過它們購買時我們可能獲得佣金，你支付的價格不變。

單張 MI100 用 4-bit 放得下 35B 以內的模型，Qwen3.8 27B 約 52 tokens/s，30B 級 MoE 接近 150。8-bit 只放得下 27B 級。

模型	大小	能否執行	速度 t/s	最大上下文
Gemma 4 E4B8B	3.8 GB	能跑	181.3	128K
Qwen3.5 9B9.7B	4.1 GB	能跑	169.7	256K
Gemma 4 12B12B	4.7 GB	能跑	150.7	256K
Gemma 4 26B A4B25.2B（啟用 3.8B）	10.5 GB	能跑	152	256K
Qwen3.6 27B27.8B	11.8 GB	能跑	70.4	256K
Qwen3.8 27B27.8B	9.8 GB	能跑	82.8	256K
GLM 4.7 Flash30B（啟用 3B）	11.9 GB	能跑	161.5	198K
Gemma 4 31B30.7B	11.8 GB	能跑	68	246K
Qwen3.6 35B A3B36B（啟用 3B）	12.3 GB	能跑	170.2	256K

模型	大小	能否執行	速度 t/s	最大上下文
Gemma 4 E4B8B	5 GB	能跑	147.3	128K
Qwen3.5 9B9.7B	5.7 GB	能跑	131.7	256K
Gemma 4 12B12B	7.1 GB	能跑	108.9	256K
Gemma 4 26B A4B25.2B（啟用 3.8B）	16.9 GB	能跑	131.6	256K
Qwen3.6 27B27.8B	16.8 GB	能跑	51.2	245K
Qwen3.8 27B27.8B	16.5 GB	能跑	52.1	250K
GLM 4.7 Flash30B（啟用 3B）	18.3 GB	能跑	145.5	198K
Gemma 4 31B30.7B	18.3 GB	能跑	46.3	168K
Qwen3.6 35B A3B36B（啟用 3B）	22.1 GB	能跑	148.3	256K

模型	大小	能否執行	速度 t/s	最大上下文
Gemma 4 E4B8B	8.2 GB	能跑	98.2	128K
Qwen3.5 9B9.7B	9.5 GB	能跑	86	256K
Gemma 4 12B12B	12.7 GB	能跑	66.1	256K
Gemma 4 26B A4B25.2B（啟用 3.8B）	26.9 GB	能跑	108.7	256K
Qwen3.6 27B27.8B	28.6 GB	能跑	31.2	69K
Qwen3.8 27B27.8B	29 GB	能跑	30.8	63K
GLM 4.7 Flash30B（啟用 3B）	31.8 GB	能跑	120.4	26K
Gemma 4 31B30.7B	32.6 GB	跑不了	—	—
Qwen3.6 35B A3B36B（啟用 3B）	36.9 GB	需卸載到記憶體	35.6	256K

能跑權重、KV 快取和執行開銷都裝得進顯存，速度按顯存頻寬估算。

需卸載到記憶體僅 MoE 模型：專家權重放進記憶體，速度按記憶體頻寬 70 GB/s 估算。

跑不了這一檔量化下單卡放不下，借記憶體也不行。

詳細計算規則可在資料方法頁查看。

四張 MI100（128GB）能用 4-bit 跑 Qwen3.8 Flash Next，約 109 tokens/s，但官方 vLLM 不支援，改用 llama.cpp 會慢不少。可用 Infinity Fabric 橋接器串 4 張。

模型	大小	需要幾張	總價	總顯示記憶體	速度 t/s	總功耗
Qwen3.8 Flash Next176B（啟用 6B）	78.9 GB	4 張	暫無	128 GB	125.4	1,200 W
DeepSeek V4 Flash284B（啟用 13B）	96.8 GB	4 張	暫無	128 GB	105.3	1,200 W
Hy3295B（啟用 21B）	107.2 GB	4 張	暫無	128 GB	54.4	1,200 W
GLM 5.3 Flash320B（啟用 18B）	108.7 GB	4 張	暫無	128 GB	87.8	1,200 W

模型	大小	需要幾張	總價	總顯示記憶體	速度 t/s	總功耗
Qwen3.8 Flash Next176B（啟用 6B）	111.3 GB	4 張	暫無	128 GB	109.3	1,200 W
DeepSeek V4 Flash284B（啟用 13B）	155.1 GB	8 張	暫無	256 GB	81.1	2,400 W
Hy3295B（啟用 21B）	182.2 GB	8 張	暫無	256 GB	41.6	2,400 W
GLM 5.3 Flash320B（啟用 18B）	199.7 GB	8 張	暫無	256 GB	59.5	2,400 W

模型	大小	需要幾張	總價	總顯示記憶體	速度 t/s	總功耗
DeepSeek V4 Flash284B（啟用 13B）	161.9 GB	8 張	暫無	256 GB	79	2,400 W
Qwen3.8 Flash Next176B（啟用 6B）	188.2 GB	8 張	暫無	256 GB	83.8	2,400 W

詳細計算規則可在資料方法頁查看。

只能用 Linux，發行版也要挑
MI100 只能在 Linux 下使用，而且 ROCm 只支援 Ubuntu、RHEL 和 SLES 三種發行版，Debian、Rocky Linux、Oracle Linux 都不在清單上。安裝前先決定好系統版本，再依照 AMD 的相容性表搭配核心和驅動程式。
FP16 和 BF16 差一倍
MI100 的 BF16 算力只有 FP16 的一半。用 PyTorch 直接跑 BF16 原版權重，處理長提示詞會慢上一截，先轉成 FP16 才能把矩陣算力用滿。用 llama.cpp 跑 GGUF 量化版則不受影響。
風道
卡上沒有風扇，300W 的熱全靠機殼裡前後貫通的強力風道帶走。它和 MI50 外形相同（全高、雙槽、長 267 mm），替 MI50 設計的卡尾導風罩方案可以直接參考；多張緊靠著插時，夾在中間的那張最容易過熱。

Instinct MI100 與 Instinct MI50 32GB、Instinct MI210、Tesla V100 32GB 的價格、顯存、頻寬、算力與本地大模型速度比較。

規格	Instinct MI100	Instinct MI50 32GB	Instinct MI210	Tesla V100 32GB
顯存	32 GB	32 GB相同	64 GB多 100%	32 GB相同
頻寬	1,229 GB/s	1,024 GB/s低 17%	1,638 GB/s高 33%	900 GB/s低 27%
BF16 / FP16 算力	92 TFLOPS	27 TFLOPS低 71%	181 TFLOPS高 96%	112 TFLOPS高 21%
INT8 算力	92 TOPS	53 TOPS低 43%	181 TOPS高 96%	56 TOPS低 39%
Qwen3.8 27B 速度（2-bit）	82.8 t/s	70.3 t/s慢 15%	106.2 t/s快 28%	62.6 t/s慢 24%
最高可跑稠密模型（4-bit）	51B	51B相同	107B多 110%	51B相同
功耗	300 W	300 W相同	300 W相同	250 W低 17%
介面	PCIe 4.0 x16	PCIe 4.0 x16	PCIe 4.0 x16	PCIe 3.0 x16
發布	2020-11	2018-11	2022-03	2018-03
閒魚中位價	去閒魚查看 · Instinct MI100	NT$16,251去購買 Instinct MI50 32GB	NT$90,200去購買 Instinct MI210	NT$20,479去購買 Tesla V100 32GB