DeepSeek V4 Flash のローカル実行に必要なVRAMは？

MoE：総パラメータ 284B すべてをメモリに常駐させる必要があり、速度は 1 トークンあたり有効な 13B で決まります。

合計 = 重み + KV キャッシュ（FP16）+ 実行時オーバーヘッド 1GB。GGUF と付いた重みはリポジトリの実測ファイルサイズ、「推定」はパラメータあたりのバイト数からの概算です。このモデルの上限 1M を超えるコンテキストは「—」と表示します。

判定基準：重み + KV キャッシュ + 実行時オーバーヘッド ≤ 利用可能メモリ、1 枚構成。MoE モデルの「オフロード」はエキスパート重みをシステム RAM に置けば動作することを示し（VRAM にはアテンション層と KV キャッシュのみ）、その速度は RAM 帯域幅 70 GB/s を前提に推定。コンテキスト列は収まる最大段階です。

エキスパート重みはシステム RAM に置き（155 GB 以上が必要）、VRAM にはアテンション層・共有エキスパート・KV キャッシュのみで Q4 なら最低 7 GB。速度は RAM 帯域幅（70 GB/s で推定）に縛られ、全量 VRAM 構成よりかなり遅くなります。

デバイス	VRAMGB	中古価格	必要 RAMGB	推定 t/s
GeForce RTX 2080 Ti	11	—	155	11.2
GeForce RTX 4080	16	—	155	11.4
GeForce RTX 5070 Ti	16	—	155	11.6
GeForce RTX 5080	16	—	155	11.7
Radeon RX 7800 XT	16	—	155	10.8
Radeon RX 9070 XT	16	—	155	10.8
Tesla V100 16GB	16	—	155	11.6
Radeon RX 7900 XT	20	—	155	11.1
Arc Pro B60	24	—	155	10.1
GeForce RTX 3090	24	—	155	11.7
GeForce RTX 4090	24	—	155	11.7
GeForce RTX 5090 D V2	24	—	155	11.9
Radeon RX 7900 XTX	24	—	155	11.4
RTX PRO 4000 Blackwell	24	—	155	11.3
Arc Pro B65	32	—	155	10.6
Arc Pro B70	32	—	155	10.6
GeForce RTX 4080 SUPER 32GB (改造)	32	—	155	11.4
GeForce RTX 5090	32	—	155	12.1
GeForce RTX 5090 D	32	—	155	12.1
Instinct MI100	32	—	155	11.6
Radeon AI PRO R9700	32	—	155	10.8
Radeon PRO W7800	32	—	155	10.7
RTX PRO 4500 Blackwell	32	—	155	11.6
Tesla V100 32GB	32	—	155	11.6
A100 40GB PCIe	40	—	155	12
CMP 170HX 40GB (改造)	40	—	155	12
GeForce RTX 4090 48GB (改造)	48	—	155	11.7
Radeon PRO W7900	48	—	155	11.2
RTX PRO 5000 Blackwell 48GB	48	—	155	11.9
CMP 170HX 64GB (改造)	64	—	155	12
Instinct MI210	64	—	155	11.8
RTX PRO 5000 Blackwell 72GB	72	—	155	11.9
RTX PRO 6000D	84	—	155	12
RTX PRO 6000 Blackwell	96	—	155	12.1
DGX Spark 128GB	128	—	155	9.9
Mac Studio M4 Max 128GB	128	—	155	10.7
Mac Studio M5 Max 128GB	128	—	155	10.9
MacBook Pro M4 Max 128GB	128	—	155	10.7
MacBook Pro M5 Max 128GB	128	—	155	10.9
Ryzen AI Max+ 395 128GB	128	—	155	9

vllm serve deepseek-ai/DeepSeek-V4-Flash-0731

ファイル名はその週のモデルライブラリ取得時点のものです。定義はデータ方法を参照してください。 データ方法