DeepSeek V3.2 のローカル実行に必要なVRAMは？

MoE：総パラメータ 671B すべてをメモリに常駐させる必要があり、速度は 1 トークンあたり有効な 37B で決まります。

合計 = 重み + KV キャッシュ（FP16）+ 実行時オーバーヘッド 1GB。GGUF と付いた重みはリポジトリの実測ファイルサイズ、「推定」はパラメータあたりのバイト数からの概算です。このモデルの上限 160K を超えるコンテキストは「—」と表示します。

判定基準：重み + KV キャッシュ + 実行時オーバーヘッド ≤ 利用可能メモリ、1 枚構成。MoE モデルの「オフロード」はエキスパート重みをシステム RAM に置けば動作することを示し（VRAM にはアテンション層と KV キャッシュのみ）、その速度は RAM 帯域幅 70 GB/s を前提に推定。コンテキスト列は収まる最大段階です。

エキスパート重みはシステム RAM に置き（365 GB 以上が必要）、VRAM にはアテンション層・共有エキスパート・KV キャッシュのみで Q4 なら最低 12 GB。速度は RAM 帯域幅（70 GB/s で推定）に縛られ、全量 VRAM 構成よりかなり遅くなります。

デバイス	VRAMGB	中古価格	必要 RAMGB	推定 t/s
GeForce RTX 4080	16	—	365	3.8
GeForce RTX 5070 Ti	16	—	365	3.9
GeForce RTX 5080	16	—	365	3.9
Radeon RX 7800 XT	16	—	365	3.7
Radeon RX 9070 XT	16	—	365	3.7
Tesla V100 16GB	16	—	365	3.9
Radeon RX 7900 XT	20	—	365	3.8
Arc Pro B60	24	—	365	3.5
GeForce RTX 3090	24	—	365	3.9
GeForce RTX 4090	24	—	365	3.9
GeForce RTX 5090 D V2	24	—	365	4
Radeon RX 7900 XTX	24	—	365	3.8
RTX PRO 4000 Blackwell	24	—	365	3.8
Arc Pro B65	32	—	365	3.6
Arc Pro B70	32	—	365	3.6
GeForce RTX 4080 SUPER 32GB (改造)	32	—	365	3.8
GeForce RTX 5090	32	—	365	4
GeForce RTX 5090 D	32	—	365	4
Instinct MI100	32	—	365	3.9
Radeon AI PRO R9700	32	—	365	3.7
Radeon PRO W7800	32	—	365	3.6
RTX PRO 4500 Blackwell	32	—	365	3.9
Tesla V100 32GB	32	—	365	3.9
A100 40GB PCIe	40	—	365	4
CMP 170HX 40GB (改造)	40	—	365	4
GeForce RTX 4090 48GB (改造)	48	—	365	3.9
Radeon PRO W7900	48	—	365	3.8
RTX PRO 5000 Blackwell 48GB	48	—	365	4
CMP 170HX 64GB (改造)	64	—	365	4
Instinct MI210	64	—	365	3.9
RTX PRO 5000 Blackwell 72GB	72	—	365	4
RTX PRO 6000D	84	—	365	4
RTX PRO 6000 Blackwell	96	—	365	4
DGX Spark 128GB	128	—	365	3.4
Mac Studio M4 Max 128GB	128	—	365	3.6
Mac Studio M5 Max 128GB	128	—	365	3.7
MacBook Pro M4 Max 128GB	128	—	365	3.6
MacBook Pro M5 Max 128GB	128	—	365	3.7
Ryzen AI Max+ 395 128GB	128	—	365	3.1

vllm serve deepseek-ai/DeepSeek-V3.2

ファイル名はその週のモデルライブラリ取得時点のものです。定義はデータ方法を参照してください。 データ方法