Instinct MI100 能跑什麼模型？32GB 記憶體 · 二手價 · 速度
查價
Instinct MI100 有 32GB HBM2 顯存，頻寬 1,229 GB/s。暫無二手價資料。Q4 量化下最大能跑到 32B 參數的模型，預估 31 tokens/s。
Instinct MI100 完整規格
核心7,680
張量核心480
架構CDNA (Arcturus)
顯存32 GB · HBM2
位寬4,096-bit
頻寬1,229 GB/s
BF16 / FP8 / INT892.3 / — / 92.3
生態ROCm
別名MI100 · AMD MI100 32GB
閒魚二手—暫無價格資料
類型資料中心
功耗300 W
供電介面2× 8-pin
槽位2
長度267 mm
介面PCIe 4.0 x16
發布日期2020年11月16日
官方定價—
Instinct MI100 能跑哪些模型？
參考模型取每個家族的主力版本| 模型 | Q4_K_M | Q8_0 | FP16 | ||||||
|---|---|---|---|---|---|---|---|---|---|
| 裝得下 | 速度 t/s | 上下文 | 裝得下 | 速度 t/s | 上下文 | 裝得下 | 速度 t/s | 上下文 | |
| DeepSeekDeepSeek R1 Qwen3 8B | ✓ | 107.4 | 128K | ✓ | 63.1 | 128K | ✓ | 35.2 | 32K |
| GemmaGemma 4 31B | ✓ | 27.8 | 8K | ✗ | — | — | ✗ | — | — |
| GLMGLM 4.7 Flash | ✓ | 140.5 | 128K | 卸載 | 22.1 | — | 卸載 | 12.2 | — |
| gpt-ossgpt-oss 20B | ✓ | 130.8 | 128K | ✓ | 95.1 | 128K | 卸載 | 9.2 | — |
| KimiKimi Linear 48B A3B | ✓ | 146.3 | 128K | 卸載 | 25.7 | — | 卸載 | 14.3 | — |
| LlamaLlama 3.1 8B | ✓ | 110.3 | 128K | ✓ | 64.7 | 128K | ✓ | 36 | 32K |
| MistralMistral 7B v0.3 | ✓ | 119.9 | 32K | ✓ | 70.8 | 32K | ✓ | 39.7 | 32K |
| QwenQwen3 8B | ✓ | 107.4 | 32K | ✓ | 63.1 | 32K | ✓ | 35.2 | 32K |
判定口徑：權重 + KV cache + 執行開銷 ≤ 可用記憶體，單卡。MoE 模型標「卸載」表示把專家權重放進系統記憶體後能跑（顯存只放注意力層與 KV cache），速度按記憶體頻寬 70 GB/s 估算。上下文欄給的是能裝下的最大檔位。
Instinct MI100 二手價走勢
歷史資料還不夠繪製走勢圖，價格追蹤剛開始。
各平台價格
常見問題
Instinct MI100 有多大顯存？
Instinct MI100 有 32GB HBM2 顯存，頻寬 1,229 GB/s。
Instinct MI100 能跑 70B 模型嗎？
單卡跑不了。在 Q4_K_M 量化、8K 上下文下，70B 稠密模型約需 43GB，超過 Instinct MI100 的 32GB。
Instinct MI100 二手多少錢？
暫無二手價資料，價格接入後會顯示在這裡。