Instinct MI100 价格与二手行情：能部署哪些大模型？

Instinct MI100 是 AMD 2020 年的 32GB 数据中心卡，带宽 1.2 TB/s，跑 30B 级模型仍然很快。只能在 Linux 下用，官方 vLLM 也不支持它。

闲鱼

Instinct MI100 价格走势

暂无报价

闲鱼

价格更新于 —

数据不足，暂无法生成走势

积累足够的有效报价后，将展示中位价走势。

部分购买链接是联盟链接：通过它们购买时我们可能获得佣金，你支付的价格不变。

单张 MI100 用 4-bit 能装下 35B 以内的模型，Qwen3.8 27B 约 52 tokens/s，30B 级 MoE 接近 150。8-bit 只放得下 27B 级。

模型	大小	能否运行	速度 t/s	最大上下文
Gemma 4 E4B8B	3.8 GB	能跑	181.3	128K
Qwen3.5 9B9.7B	4.1 GB	能跑	169.7	256K
Gemma 4 12B12B	4.7 GB	能跑	150.7	256K
Gemma 4 26B A4B25.2B（激活 3.8B）	10.5 GB	能跑	152	256K
Qwen3.6 27B27.8B	11.8 GB	能跑	70.4	256K
Qwen3.8 27B27.8B	9.8 GB	能跑	82.8	256K
GLM 4.7 Flash30B（激活 3B）	11.9 GB	能跑	161.5	198K
Gemma 4 31B30.7B	11.8 GB	能跑	68	246K
Qwen3.6 35B A3B36B（激活 3B）	12.3 GB	能跑	170.2	256K

模型	大小	能否运行	速度 t/s	最大上下文
Gemma 4 E4B8B	5 GB	能跑	147.3	128K
Qwen3.5 9B9.7B	5.7 GB	能跑	131.7	256K
Gemma 4 12B12B	7.1 GB	能跑	108.9	256K
Gemma 4 26B A4B25.2B（激活 3.8B）	16.9 GB	能跑	131.6	256K
Qwen3.6 27B27.8B	16.8 GB	能跑	51.2	245K
Qwen3.8 27B27.8B	16.5 GB	能跑	52.1	250K
GLM 4.7 Flash30B（激活 3B）	18.3 GB	能跑	145.5	198K
Gemma 4 31B30.7B	18.3 GB	能跑	46.3	168K
Qwen3.6 35B A3B36B（激活 3B）	22.1 GB	能跑	148.3	256K

模型	大小	能否运行	速度 t/s	最大上下文
Gemma 4 E4B8B	8.2 GB	能跑	98.2	128K
Qwen3.5 9B9.7B	9.5 GB	能跑	86	256K
Gemma 4 12B12B	12.7 GB	能跑	66.1	256K
Gemma 4 26B A4B25.2B（激活 3.8B）	26.9 GB	能跑	108.7	256K
Qwen3.6 27B27.8B	28.6 GB	能跑	31.2	69K
Qwen3.8 27B27.8B	29 GB	能跑	30.8	63K
GLM 4.7 Flash30B（激活 3B）	31.8 GB	能跑	120.4	26K
Gemma 4 31B30.7B	32.6 GB	跑不了	—	—
Qwen3.6 35B A3B36B（激活 3B）	36.9 GB	需卸载到内存	35.6	256K

能跑权重、KV 缓存和运行开销都装得进显存，速度按显存带宽估算。

需卸载到内存仅 MoE 模型：专家权重放进内存，速度按内存带宽 70 GB/s 估算。

跑不了这一档量化下单卡装不下，借内存也不行。

详细计算规则可在数据方法页查看。

四张 MI100（128GB）能用 4-bit 跑 Qwen3.8 Flash Next，约 109 tokens/s，但官方 vLLM 不支持，换 llama.cpp 会慢不少。可用 Infinity Fabric 桥连 4 张。

模型	大小	需要几张	总价	总显存	速度 t/s	总功耗
Qwen3.8 Flash Next176B（激活 6B）	78.9 GB	4 张	暂无	128 GB	125.4	1,200 W
DeepSeek V4 Flash284B（激活 13B）	96.8 GB	4 张	暂无	128 GB	105.3	1,200 W
Hy3295B（激活 21B）	107.2 GB	4 张	暂无	128 GB	54.4	1,200 W
GLM 5.3 Flash320B（激活 18B）	108.7 GB	4 张	暂无	128 GB	87.8	1,200 W

模型	大小	需要几张	总价	总显存	速度 t/s	总功耗
Qwen3.8 Flash Next176B（激活 6B）	111.3 GB	4 张	暂无	128 GB	109.3	1,200 W
DeepSeek V4 Flash284B（激活 13B）	155.1 GB	8 张	暂无	256 GB	81.1	2,400 W
Hy3295B（激活 21B）	182.2 GB	8 张	暂无	256 GB	41.6	2,400 W
GLM 5.3 Flash320B（激活 18B）	199.7 GB	8 张	暂无	256 GB	59.5	2,400 W

模型	大小	需要几张	总价	总显存	速度 t/s	总功耗
DeepSeek V4 Flash284B（激活 13B）	161.9 GB	8 张	暂无	256 GB	79	2,400 W
Qwen3.8 Flash Next176B（激活 6B）	188.2 GB	8 张	暂无	256 GB	83.8	2,400 W

详细计算规则可在数据方法页查看。

只能用 Linux，发行版也要挑
MI100 只能在 Linux 下用，而且 ROCm 只支持 Ubuntu、RHEL 和 SLES 三种发行版，Debian、Rocky Linux、Oracle Linux 都不在列。装之前先定好系统版本，再按 AMD 的兼容表配内核和驱动。
FP16 和 BF16 差一倍
MI100 的 BF16 算力只有 FP16 的一半。用 PyTorch 直接跑 BF16 原版权重，读长提示词会慢一截，先转成 FP16 才能吃满矩阵算力。用 llama.cpp 跑 GGUF 量化版不受影响。
风道
卡上没有风扇，300W 的热量全靠机箱里前后贯通的强风道带走。它和 MI50 外形一样（全高、双槽、长 267 mm），给 MI50 做的卡尾导风罩方案可以直接参考；多张紧挨着插时，夹在中间那张最容易过热。

Instinct MI100 和 Instinct MI50 32GB、Instinct MI210、Tesla V100 32GB 的价格、显存、带宽、算力与本地大模型速度对比。

规格	Instinct MI100	Instinct MI50 32GB	Instinct MI210	Tesla V100 32GB
显存	32 GB	32 GB相同	64 GB多 100%	32 GB相同
带宽	1,229 GB/s	1,024 GB/s低 17%	1,638 GB/s高 33%	900 GB/s低 27%
BF16 / FP16 算力	92 TFLOPS	27 TFLOPS低 71%	181 TFLOPS高 96%	112 TFLOPS高 21%
INT8 算力	92 TOPS	53 TOPS低 43%	181 TOPS高 96%	56 TOPS低 39%
Qwen3.8 27B 速度（2-bit）	82.8 t/s	70.3 t/s慢 15%	106.2 t/s快 28%	62.6 t/s慢 24%
最高可跑稠密模型（4-bit）	51B	51B相同	107B多 110%	51B相同
功耗	300 W	300 W相同	300 W相同	250 W低 17%
接口	PCIe 4.0 x16	PCIe 4.0 x16	PCIe 4.0 x16	PCIe 3.0 x16
发布	2020-11	2018-11	2022-03	2018-03
闲鱼中位价	去闲鱼查看 · Instinct MI100	¥3,333去购买 Instinct MI50 32GB	¥18,499去购买 Instinct MI210	¥4,200去购买 Tesla V100 32GB