Instinct MI100 价格与二手行情：能部署哪些大模型？
Instinct MI100 有 32GB HBM2 显存，带宽 1,229 GB/s。暂无价数据。Q4 量化下最大能跑到 32B 参数的模型，预估 31 tokens/s。
Instinct MI100 价走势
AmazonJP
Instinct MI100 完整规格
核心7,680
张量核心480
架构CDNA (Arcturus)
显存32 GB · HBM2
位宽4,096-bit
带宽1,229 GB/s
BF16 / FP8 / INT892.3 / — / 92.3
生态ROCm
别名MI100 · AMD MI100 32GB
类型数据中心
功耗300 W
供电接口2× 8-pin
槽位2
长度267 mm
接口PCIe 4.0 x16
发布日期2020年11月16日
官方定价—
Instinct MI100 能跑哪些模型？
只列 2026 年起发布、50B 以内的版本| 模型 | 2-bit | 4-bit | 8-bit | ||||||
|---|---|---|---|---|---|---|---|---|---|
| 装得下 | 速度 t/s | 上下文 | 装得下 | 速度 t/s | 上下文 | 装得下 | 速度 t/s | 上下文 | |
| GemmaGemma 4 E4B | ✓ | 159.2 | 128K | ✓ | 114.2 | 128K | ✓ | 66.1 | 128K |
| QwenQwen3.5 9B | ✓ | 131.9 | 128K | ✓ | 94.6 | 128K | ✓ | 54.8 | 128K |
| GemmaGemma 4 12B | ✓ | 94 | 32K | ✓ | 69.7 | 32K | ✓ | 41.9 | 32K |
| GemmaGemma 4 26B A4B | ✓ | 125 | 32K | ✓ | 108.3 | 32K | ✓ | 80.5 | 8K |
| QwenQwen3.6 27B | ✓ | 51 | 32K | ✓ | 35.5 | 32K | ✓ | 19.9 | 8K |
| QwenQwen3.8 27B | ✓ | 51 | 32K | ✓ | 35.5 | 32K | ✓ | 19.9 | 8K |
| GLMGLM 4.7 Flash | ✓ | 161.5 | 128K | ✓ | 140.5 | 128K | 卸载 | 22.1 | — |
| GemmaGemma 4 31B | ✓ | 38.1 | 8K | ✓ | 27.8 | 8K | ✗ | — | — |
| QwenQwen3.6 35B A3B | ✓ | 157.1 | 128K | ✓ | 137.1 | 128K | 卸载 | 32.4 | — |
判定口径：权重 + KV cache + 运行开销 ≤ 可用显存，单卡。MoE 模型标「卸载」表示把专家权重放进系统内存后能跑（显存只放注意力层与 KV cache），速度按内存带宽 70 GB/s 估算。上下文列给的是能装下的最大档位。
各平台价格
常见问题
Instinct MI100 有多大显存？
Instinct MI100 有 32GB HBM2 显存，带宽 1,229 GB/s。
Instinct MI100 能跑 70B 模型吗？
单卡跑不了。在 Q4_K_M 量化、8K 上下文下，70B 稠密模型约需 43GB，超过 Instinct MI100 的 32GB。
Instinct MI100 多少钱？
暂无价数据，价格接入后会显示在这里。