GLM 5.3 Flash のローカル実行に必要なVRAMは？

MoE：総パラメータ 320B すべてをメモリに常駐させる必要があり、速度は 1 トークンあたり有効な 18B で決まります。

合計 = 重み + KV キャッシュ（FP16）+ 実行時オーバーヘッド 1GB。GGUF と付いた重みはリポジトリの実測ファイルサイズ、「推定」はパラメータあたりのバイト数からの概算です。このモデルの上限 1M を超えるコンテキストは「—」と表示します。

判定基準：重み + KV キャッシュ + 実行時オーバーヘッド ≤ 利用可能メモリ、1 枚構成。MoE モデルの「オフロード」はエキスパート重みをシステム RAM に置けば動作することを示し（VRAM にはアテンション層と KV キャッシュのみ）、その速度は RAM 帯域幅 70 GB/s を前提に推定。コンテキスト列は収まる最大段階です。

エキスパート重みはシステム RAM に置き（174 GB 以上が必要）、VRAM にはアテンション層・共有エキスパート・KV キャッシュのみで Q4 なら最低 30 GB。速度は RAM 帯域幅（70 GB/s で推定）に縛られ、全量 VRAM 構成よりかなり遅くなります。

デバイス	VRAMGB	中古価格	必要 RAMGB	推定 t/s
Arc Pro B65	32	—	174	6.1
Arc Pro B70	32	—	174	6.1
GeForce RTX 4080 SUPER 32GB (改造)	32	—	174	7.3
GeForce RTX 5090	32	—	174	8.5
GeForce RTX 5090 D	32	—	174	8.5
Instinct MI100	32	—	174	7.6
Radeon AI PRO R9700	32	—	174	6.4
Radeon PRO W7800	32	—	174	6.2
RTX PRO 4500 Blackwell	32	—	174	7.6
Tesla V100 32GB	32	—	174	7.7
A100 40GB PCIe	40	—	174	8.4
CMP 170HX 40GB (改造)	40	—	174	8.4
GeForce RTX 4090 48GB (改造)	48	—	174	7.8
Radeon PRO W7900	48	—	174	7
RTX PRO 5000 Blackwell 48GB	48	—	174	8.2
CMP 170HX 64GB (改造)	64	—	174	8.3
Instinct MI210	64	—	174	8
RTX PRO 5000 Blackwell 72GB	72	—	174	8.2
RTX PRO 6000D	84	—	174	8.4
RTX PRO 6000 Blackwell	96	—	174	8.5
DGX Spark 128GB	128	—	174	5.2
Mac Studio M4 Max 128GB	128	—	174	6.3
Mac Studio M5 Max 128GB	128	—	174	6.5
MacBook Pro M4 Max 128GB	128	—	174	6.3
MacBook Pro M5 Max 128GB	128	—	174	6.5
Ryzen AI Max+ 395 128GB	128	—	174	4.3

llama-server -hf unsloth/GLM-5.3-Flash-GGUF:Q4_K_M -c 8192

vllm serve zai-org/GLM-5.3-Flash

ファイル名はその週のモデルライブラリ取得時点のものです。定義はデータ方法を参照してください。 データ方法