Instinct MI100 の価格・中古相場：実行できるローカルLLMは？
価格アラート
Amazon.jp の価格が設定した金額に達したら、メールでお知らせします。
Instinct MI100 は AMD が 2020 年に出した 32GB のデータセンター向けカードで、帯域幅 1.2 TB/s のおかげで 30B 級はいまも高速です。Linux 専用で、公式 vLLM も対応していません。
Amazon.jp
Instinct MI100 の価格推移
Amazon.jp
一部の購入リンクはアフィリエイトリンクです。リンク経由でご購入いただくと当サイトが手数料を受け取ることがありますが、お支払い金額は変わりません。
Instinct MI100 の詳細スペック
- メモリ32 GB · HBM2
- 帯域幅1,229 GB/s
- FP16 / BF1692.3 TFLOPS
- INT892.3 TOPS
- バス幅
- 4,096-bit
- アーキテクチャ
- CDNA (Arcturus)
- コア
- 7,680
- Tensor コア
- 480
- エコシステム
- ROCm
- インターフェース
- PCIe 4.0 x16
- 消費電力
- 300 W
- 補助電源
- 2× 8-pin
- スロット
- 2
- 長さ
- 267 mm
- 種別
- データセンター
- 発売日
- 2020年11月16日
Instinct MI100 1 枚で動かせるモデルは？
MI100 1 枚なら 4-bit で 35B までが収まり、Qwen3.8 27B は約 52 tokens/s、30B 級 MoE は 150 近く出ます。8-bit で入るのは 27B 級までです。
| モデル | サイズ | 動作 | 速度 t/s | 最大コンテキスト |
|---|---|---|---|---|
 Gemma 4 E4B8B | 3.8 GB | 動く | 181.3 | 128K |
 Qwen3.5 9B9.7B | 4.1 GB | 動く | 169.7 | 256K |
| Gemma 4 12B12B | 4.7 GB | 動く | 150.7 | 256K |
| Gemma 4 26B A4B25.2B（有効 3.8B） | 10.5 GB | 動く | 152 | 256K |
| Qwen3.6 27B27.8B | 11.8 GB | 動く | 70.4 | 256K |
| Qwen3.8 27B27.8B | 9.8 GB | 動く | 82.8 | 256K |
 GLM 4.7 Flash30B（有効 3B） | 11.9 GB | 動く | 161.5 | 198K |
| Gemma 4 31B30.7B | 11.8 GB | 動く | 68 | 246K |
| Qwen3.6 35B A3B36B（有効 3B） | 12.3 GB | 動く | 170.2 | 256K |
| モデル | サイズ | 動作 | 速度 t/s | 最大コンテキスト |
|---|---|---|---|---|
| Gemma 4 E4B8B | 5 GB | 動く | 147.3 | 128K |
| Qwen3.5 9B9.7B | 5.7 GB | 動く | 131.7 | 256K |
| Gemma 4 12B12B | 7.1 GB | 動く | 108.9 | 256K |
| Gemma 4 26B A4B25.2B（有効 3.8B） | 16.9 GB | 動く | 131.6 | 256K |
| Qwen3.6 27B27.8B | 16.8 GB | 動く | 51.2 | 245K |
| Qwen3.8 27B27.8B | 16.5 GB | 動く | 52.1 | 250K |
| GLM 4.7 Flash30B（有効 3B） | 18.3 GB | 動く | 145.5 | 198K |
| Gemma 4 31B30.7B | 18.3 GB | 動く | 46.3 | 168K |
| Qwen3.6 35B A3B36B（有効 3B） | 22.1 GB | 動く | 148.3 | 256K |
| モデル | サイズ | 動作 | 速度 t/s | 最大コンテキスト |
|---|---|---|---|---|
| Gemma 4 E4B8B | 8.2 GB | 動く | 98.2 | 128K |
| Qwen3.5 9B9.7B | 9.5 GB | 動く | 86 | 256K |
| Gemma 4 12B12B | 12.7 GB | 動く | 66.1 | 256K |
| Gemma 4 26B A4B25.2B（有効 3.8B） | 26.9 GB | 動く | 108.7 | 256K |
| Qwen3.6 27B27.8B | 28.6 GB | 動く | 31.2 | 69K |
| Qwen3.8 27B27.8B | 29 GB | 動く | 30.8 | 63K |
| GLM 4.7 Flash30B（有効 3B） | 31.8 GB | 動く | 120.4 | 26K |
| Gemma 4 31B30.7B | 32.6 GB | 入らない | — | — |
| Qwen3.6 35B A3B36B（有効 3B） | 36.9 GB | RAM オフロードが必要 | 35.6 | 256K |
動く重みも KV キャッシュも VRAM に収まり、速度は VRAM 帯域幅から推定します。
RAM オフロードが必要MoE モデルのみ。エキスパート重みをシステム RAM に置くため、速度は RAM 帯域幅 70 GB/s から推定します。
入らないこの量子化では 1 枚に収まらず、RAM へのオフロードでも動きません。
詳しい計算ルールはデータの作り方ページをご覧ください。
Instinct MI100 を複数枚使うと動かせるモデルは？
MI100 4 枚（128GB）で 4-bit の Qwen3.8 Flash Next が約 109 tokens/s ですが、公式 vLLM は非対応で llama.cpp だとかなり遅め。Infinity Fabric で 4 枚連結可。
| モデル | サイズ | 必要枚数 | 合計価格 | 合計 VRAM | 速度 t/s | 合計消費電力 |
|---|---|---|---|---|---|---|
| Qwen3.8 Flash Next176B（有効 6B） | 78.9 GB | 4 枚 | 価格なし | 128 GB | 125.4 | 1,200 W |
 DeepSeek V4 Flash284B（有効 13B） | 96.8 GB | 4 枚 | 価格なし | 128 GB | 105.3 | 1,200 W |
 Hy3295B（有効 21B） | 107.2 GB | 4 枚 | 価格なし | 128 GB | 54.4 | 1,200 W |
| GLM 5.3 Flash320B（有効 18B） | 108.7 GB | 4 枚 | 価格なし | 128 GB | 87.8 | 1,200 W |
| モデル | サイズ | 必要枚数 | 合計価格 | 合計 VRAM | 速度 t/s | 合計消費電力 |
|---|---|---|---|---|---|---|
| Qwen3.8 Flash Next176B（有効 6B） | 111.3 GB | 4 枚 | 価格なし | 128 GB | 109.3 | 1,200 W |
| DeepSeek V4 Flash284B（有効 13B） | 155.1 GB | 8 枚 | 価格なし | 256 GB | 81.1 | 2,400 W |
| Hy3295B（有効 21B） | 182.2 GB | 8 枚 | 価格なし | 256 GB | 41.6 | 2,400 W |
| GLM 5.3 Flash320B（有効 18B） | 199.7 GB | 8 枚 | 価格なし | 256 GB | 59.5 | 2,400 W |
| モデル | サイズ | 必要枚数 | 合計価格 | 合計 VRAM | 速度 t/s | 合計消費電力 |
|---|---|---|---|---|---|---|
| DeepSeek V4 Flash284B（有効 13B） | 161.9 GB | 8 枚 | 価格なし | 256 GB | 79 | 2,400 W |
| Qwen3.8 Flash Next176B（有効 6B） | 188.2 GB | 8 枚 | 価格なし | 256 GB | 83.8 | 2,400 W |
詳しい計算ルールはデータの作り方ページをご覧ください。
向いている人・向かない人
向いている
- 3090 より速く、しかも 32GB が欲しい
Gemma 4 31B の 4-bit で約 46 tokens/s、コンテキストは 168K まで伸ばせます
- 長いプロンプトをよく読ませる
行列演算コアがあり、FP16 の行列演算性能は MI50 の 7 倍です
- 32GB で、しかも ROCm の公式サポートが欲しい
ROCm 10.0 のサポート表にまだ載っていて、Ollama の Linux 向け ROCm 版も対応しています
向かない
- vLLM を使いたい
公式ドキュメントに挙がっている AMD のカードに MI100 は入っていません
- Windows を使いたい
ROCm は Linux のいくつかのディストリビューションでしか MI100 をサポートしていません
- BF16 の元の重みをそのまま動かしたい
BF16 の演算性能は FP16 の半分しかないので、先に FP16 に変換する必要があります
購入前のチェックポイント
Linux 専用で、ディストリビューションも選ぶ
MI100 は Linux でしか使えず、しかも ROCm がサポートするディストリビューションは Ubuntu、RHEL、SLES の 3 つだけで、Debian、Rocky Linux、Oracle Linux は入っていません。インストール前に OS のバージョンを決め、AMD の互換性表に沿ってカーネルとドライバーをそろえましょう。
FP16 と BF16 で 2 倍の差
MI100 の BF16 演算性能は FP16 の半分しかありません。PyTorch で BF16 の元の重みをそのまま動かすと、長いプロンプトの処理が一段遅くなるので、先に FP16 に変換して行列演算性能を使い切りましょう。llama.cpp で GGUF の量子化版を動かす場合は影響を受けません。
エアフロー
カードにファンはなく、300W の熱はすべてケースの前後を貫く強いエアフローで逃がします。外形は MI50 と同じ（フルハイト、2 スロット、長さ 267 mm）なので、MI50 向けに考えられたカード後端のダクトの方法がそのまま参考になります。複数枚を隣り合わせに挿すと、間に挟まれたカードが最もオーバーヒートしやすくなります。
同クラスの GPU との比較
Instinct MI100 と Instinct MI50 32GB、Instinct MI210、Tesla V100 32GB の価格・VRAM・帯域幅・演算性能・ローカル LLM の速度を比較。
| スペック | Instinct MI100 | Instinct MI50 32GB | Instinct MI210 |  Tesla V100 32GB |
|---|---|---|---|---|
| メモリ | 32 GB | 32 GB同じ | 64 GB100% 多い | 32 GB同じ |
| 帯域幅 | 1,229 GB/s | 1,024 GB/s17% 低い | 1,638 GB/s33% 高い | 900 GB/s27% 低い |
| BF16 / FP16 演算性能 | 92 TFLOPS | 27 TFLOPS71% 低い | 181 TFLOPS96% 高い | 112 TFLOPS21% 高い |
| INT8 演算性能 | 92 TOPS | 53 TOPS43% 低い | 181 TOPS96% 高い | 56 TOPS39% 低い |
| Qwen3.8 27B の速度（2-bit） | 82.8 t/s | 70.3 t/s15% 遅い | 106.2 t/s28% 速い | 62.6 t/s24% 遅い |
| 最大で動かせる密モデル（4-bit） | 51B | 51B同じ | 107B110% 多い | 51B同じ |
| 消費電力 | 300 W | 300 W同じ | 300 W同じ | 250 W17% 低い |
| インターフェース | PCIe 4.0 x16 | PCIe 4.0 x16 | PCIe 4.0 x16 | PCIe 3.0 x16 |
| 発売 | 2020-11 | 2018-11 | 2022-03 | 2018-03 |
| Amazon.jp中央値 |
一部の購入リンクはアフィリエイトリンクです。リンク経由でご購入いただくと当サイトが手数料を受け取ることがありますが、お支払い金額は変わりません。
他市場の価格
eBay
XianyueBay パートナーとして、このページの eBay リンク経由でご購入いただいた場合、VRAMGlass が報酬を受け取ることがあります。お支払い金額は変わりません。