本地部署 Llama 需要什麼顯示卡？各版本記憶體需求一覽
Llama 目前有 4 個能本地部署的版本，最小的 Llama 3.2 3B 在 Q4 量化下需要 4GB 記憶體，最大的 Llama 4 Scout 17B 16E 需要 10GB。最便宜能跑起來的裝置是 GeForce RTX 2080 Ti，二手約 NT$7,897。
Llama 各版本的記憶體需求
共 4 個版本| 版本 | 發布日期 | 上下文 | ||||
|---|---|---|---|---|---|---|
| Llama 3.2 3B稠密 | 3.2B | 2024年9月18日 | 128K | 4 | GeForce RTX 2080 TiNT$7,897 · 11 GB | 1,419,885 |
| Llama 3.1 8B稠密 | 8B | 2024年7月18日 | 128K | 7 | GeForce RTX 2080 TiNT$7,897 · 11 GB | 5,734,979 |
| Llama 3.3 70B稠密 | 70.6B | 2024年11月26日 | 128K | 43 | CMP 170HX 64GB (改裝)NT$60,403 · 64 GB | 815,592 |
| Llama 4 Scout 17B 16EMoE | 108.6B（啟用 17B） | 2025年4月2日 | 10M | 10另需 55 GB 記憶體 | GeForce RTX 2080 TiNT$7,897 · 11 GB · 專家卸載 | 174,923 |
最低記憶體 = Q4_K_M 權重 + 8K 上下文 KV cache + 1GB 執行開銷，向上取整；最便宜能跑的裝置依目前價格基準的二手中位價升序，取第一台裝得下的。
關於 Llama
Llama 由 Meta AI 發布，授權為 Llama 3.2 Community License / Llama 3.1 Community License / Llama 3.3 Community License / Llama 4 Community License。本頁收錄 4 個版本，參數量從 3.2B 到 108.6B，結構參數與量化體積每週從 Hugging Face 同步。
廠商Meta AI
授權Llama 3.2 Community License / Llama 3.1 Community License / Llama 3.3 Community License / Llama 4 Community License
Hugging Face 組織meta-llama