DeepSeek V4 Pro のローカル実行に必要なVRAMは？

MoE：総パラメータ 1,600B すべてをメモリに常駐させる必要があり、速度は 1 トークンあたり有効な 49B で決まります。

合計 = 重み + KV キャッシュ（FP16）+ 実行時オーバーヘッド 1GB。GGUF と付いた重みはリポジトリの実測ファイルサイズ、「推定」はパラメータあたりのバイト数からの概算です。このモデルの上限 1M を超えるコンテキストは「—」と表示します。各段はリポジトリにあるそのビット幅のファイルを使い、unsloth 動的量子化を優先するため、ファイル名はモデルごとに異なります。

エキスパート重みはシステム RAM に置き（879 GB 以上が必要）、VRAM にはアテンション層・共有エキスパート・KV キャッシュのみで Q4 なら最低 17 GB。速度は RAM 帯域幅（70 GB/s で推定）に縛られ、全量 VRAM 構成よりかなり遅くなります。

デバイス	VRAMGB	中古価格	必要 RAMGB	推定 t/s
Radeon RX 7900 XT	20	—	879	3.1
Arc Pro B60	24	—	879	2.8
GeForce RTX 3090	24	—	879	3.2
GeForce RTX 4090	24	—	879	3.2
GeForce RTX 5090 D V2	24	—	879	3.3
Radeon RX 7900 XTX	24	—	879	3.1
RTX PRO 4000 Blackwell	24	—	879	3.1
Arc Pro B65	32	—	879	2.9
Arc Pro B70	32	—	879	2.9
GeForce RTX 4080 SUPER 32GB (改造)	32	—	879	3.1
GeForce RTX 5090	32	—	879	3.3
GeForce RTX 5090 D	32	—	879	3.3
Instinct MI100	32	—	879	3.2
Radeon AI PRO R9700	32	—	879	3
Radeon PRO W7800	32	—	879	2.9
RTX PRO 4500 Blackwell	32	—	879	3.2
Tesla V100 32GB	32	—	879	3.2
A100 40GB PCIe	40	—	879	3.3
CMP 170HX 40GB (改造)	40	—	879	3.3
GeForce RTX 4090 48GB (改造)	48	—	879	3.2
Radeon PRO W7900	48	—	879	3.1
RTX PRO 5000 Blackwell 48GB	48	—	879	3.3
CMP 170HX 64GB (改造)	64	—	879	3.3
Instinct MI210	64	—	879	3.2
RTX PRO 5000 Blackwell 72GB	72	—	879	3.3
RTX PRO 6000D	84	—	879	3.3
RTX PRO 6000 Blackwell	96	—	879	3.3
DGX Spark 128GB	128	—	879	2.7
Mac Studio M4 Max 128GB	128	—	879	3
Mac Studio M5 Max 128GB	128	—	879	3
MacBook Pro M4 Max 128GB	128	—	879	3
MacBook Pro M5 Max 128GB	128	—	879	3
Ryzen AI Max+ 395 128GB	128	—	879	2.5
Mac Studio M3 Ultra 512GB	512	—	879	3.1

llama-server -hf unsloth/DeepSeek-V4-Pro-0813-GGUF:Q4_K_M -c 8192

vllm serve deepseek-ai/DeepSeek-V4-Pro-0813

ファイル名はその週のモデルライブラリ取得時点のものです。定義はデータ方法を参照してください。 データ方法