Llama 4 Scout 17B 16E 如何本地部署？

VRAMGlass 編輯部 · 更新於 2026年9月10日

Llama 4 Scout 17B 16E 是 MoE 模型，總參數 108.6B，每 token 啟用 17B。Q4 量化整機放顯存需要 64GB；把專家放進系統記憶體後只需 10GB 顯存 + 55GB 記憶體。目前最便宜能跑的顯示卡是 Instinct MI210，約 NT$158,799，預估 59.7 tokens/s。卸載模式下最便宜能跑的顯示卡是 Tesla V100 16GB，預估 12 tokens/s。

Llama 4 Scout 17B 16E 版本資訊

發布日期2025年4月2日

Hugging Face 倉庫meta-llama/Llama-4-Scout-17B-16E-Instruct

小版本—

授權Llama 4 Community License

架構MoE

GGUF 倉庫unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF

Ollama 標籤llama4:scout

Q4 最低記憶體64 GB · Q4_K_M · 8K

專家卸載10 GB 顯存 + 55 GB 記憶體

參數量108.6B

MoE17B

層數48

隱藏維度5,120

KV 頭8

頭維度128

上下文上限10M

廠商Meta AI

Llama 4 Scout 17B 16E 本地部署需要多少顯示記憶體？

MoE：總參數 108.6B 全部要常駐記憶體，速度按每 token 啟用的 17B 計算。

量化	權重體積GB	8K 總記憶體GB	32K 總記憶體GB	128K 總記憶體GB
1-bit	35GGUF	28	32.5	50.5
2-bit	42.4GGUF	42.9	47.4	65.4
3-bit	49GGUF	54.6	59.1	77.1
4-bit	65.4GGUF	63.1	67.6	85.6
5-bit	76.5GGUF	75.8	80.3	98.3
8-bit	114.5GGUF	115.1	119.6	137.6
FP16	215.6GGUF	215	219.5	237.5

總記憶體 = 權重 + KV cache（FP16）+ 1GB 執行開銷。標 GGUF 的權重是倉庫裡的實測檔案體積，標「估」的按每參數位元組估算。超過這個模型 10M 上下文上限的檔位寫「—」。各檔取倉庫裡該位元數的任一檔案，優先 unsloth 動態量化，所以同一檔不同模型對應的檔名可能不同。

什麼顯示卡能跑 Llama 4 Scout 17B 16E？

eBay

裝置	顯存GB	價	預估 t/s	建議上下文
Instinct MI210	64	NT$158,79911 筆掛單	59.7	8K
MacBook Pro M4 Max 128GB	128	NT$174,6283 筆掛單	25.8	128K
Mac Studio M4 Max 128GB	128	NT$206,0364 筆掛單	25.8	128K
MacBook Pro M5 Max 128GB	128	NT$228,1595 筆掛單	28.6	128K
RTX PRO 6000 Blackwell	96	NT$534,5224 筆掛單	81.2	128K
Mac Studio M3 Ultra 512GB	512	NT$692,34511 筆掛單	36.8	128K
CMP 170HX 64GB	64	—暫無掛單	71.5	8K
RTX PRO 5000 Blackwell 72GB	72	—暫無掛單	66.2	32K
RTX PRO 6000D	84	—暫無掛單	74	32K
DGX Spark 128GB	128	—暫無掛單	17.1	128K
Mac Studio M5 Max 128GB	128	—暫無掛單	28.6	128K
Ryzen AI Max+ 395 128GB	128	—暫無掛單	11.7	128K

判定口徑：權重 + KV cache + 執行開銷 ≤ 可用記憶體，單卡。MoE 模型標「卸載」表示把專家權重放進系統記憶體後能跑（顯存只放注意力層與 KV cache），速度按記憶體頻寬 70 GB/s 估算。上下文欄給的是能裝下的最大檔位。

Llama 4 Scout 17B 16E 混合推論推薦顯示卡

eBay

專家權重放系統記憶體，需要 ≥ 55 GB 記憶體；顯存只放注意力層、共享專家和 KV cache，Q4 下最低 10 GB。速度受記憶體頻寬限制（按 70 GB/s 估算），比整機放顯存慢得多。

裝置	顯存GB	價	需記憶體GB	預估 t/s
Tesla V100 16GB	16	NT$9,598	55	11.6
Radeon RX 6950 XT	16	NT$15,735	55	10.1
GeForce RTX 2080 Ti 22GB	22	NT$17,340	55	11
Radeon RX 7800 XT	16	NT$17,875	55	10.3
GeForce RTX 5060 Ti 16GB	16	NT$22,029	55	10.3
Radeon RX 7900 XT	20	NT$22,029	55	10.8
Tesla V100 32GB	32	NT$22,659	55	11.6
Instinct MI50 32GB	32	NT$24,169	55	11.3
GeForce RTX 5070	12	NT$24,389	55	11.1
Radeon RX 9070 XT	16	NT$25,019	55	10.3
Radeon RX 7900 XTX	24	NT$31,439	55	11.2
Instinct MI100	32	NT$31,439	55	11.6
GeForce RTX 5070 Ti	16	NT$37,764	55	11.6
GeForce RTX 4080	16	NT$39,747	55	11.2
GeForce RTX 3090	24	NT$48,779	55	11.7
GeForce RTX 5080	16	NT$56,646	55	11.7
RTX PRO 4000 Blackwell	24	NT$92,837	55	11.1
GeForce RTX 4090	24	NT$100,673	55	11.8
Radeon PRO W7900	48	NT$109,988	55	11
RTX PRO 4500 Blackwell	32	NT$135,322	55	11.6
A100 40GB PCIe	40	NT$154,173	55	12.3
GeForce RTX 5090	32	NT$204,556	55	12.4
Arc Pro B60	24	—	55	9.2
GeForce RTX 5090 D V2	24	—	55	12.1
Arc Pro B65	32	—	55	10
Arc Pro B70	32	—	55	10
GeForce RTX 4080 SUPER 32GB	32	—	55	11.3
GeForce RTX 5090 D	32	—	55	12.4
Radeon AI PRO R9700	32	—	55	10.3
Radeon PRO W7800	32	—	55	10.1
CMP 170HX 40GB	40	—	55	12.3
GeForce RTX 4090 48GB	48	—	55	11.8
RTX PRO 5000 Blackwell 48GB	48	—	55	12.1

用 Ollama / llama.cpp / vLLM 本地部署 Llama 4 Scout 17B 16E

Ollama

Ollama 一行指令拉起，量化檔位由官方標籤決定。

ollama run llama4:scout

llama.cpp

llama.cpp 直接從 Hugging Face 拉 GGUF，-c 是上下文長度。

llama-server -hf unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF:Q4_K_M -c 8192

vLLM

vLLM 跑的是原始精度權重，記憶體需求比 GGUF 高得多，通常要多卡。

vllm serve meta-llama/Llama-4-Scout-17B-16E-Instruct

量化檔名以模型庫當週抓取為準，口徑見資料方法。資料方法

常見問題

Llama 4 Scout 17B 16E 需要多少記憶體？

在 Q4_K_M 量化、8K 上下文下 Llama 4 Scout 17B 16E 約需 64GB 記憶體，留到 76GB 更穩。

哪張顯示卡最便宜能跑 Llama 4 Scout 17B 16E？

Instinct MI210，64GB 記憶體，目前中位價約 NT$158,799，預估 59.7 tokens/s。

Llama 4 Scout 17B 16E 能用 Ollama 跑嗎？

能，指令是 ollama run llama4:scout。