收錄顯卡45價格追蹤8 天自 2026年9月3日近 24h 價格資料6,955 筆24h 降價最多GeForce RTX 5070 Ti-6.3%24h 漲價最多RTX PRO 4000 Blackwell+7.7%更新於

Llama 3.2 3B 如何本地部署？

VRAMGlass 編輯部 · 更新於 2026年9月10日

Llama 3.2 3B 是 3.2B 參數的稠密模型。Q4 量化最低需要 4GB 記憶體，8K 上下文下建議 8GB。目前最便宜能跑的顯示卡是 Tesla V100 16GB，約 NT$9,598，預估 227.3 tokens/s。

Llama 3.2 3B 版本資訊

發布日期2024年9月18日
Hugging Face 倉庫meta-llama/Llama-3.2-3B-Instruct
小版本—
授權Llama 3.2 Community License
架構稠密
GGUF 倉庫bartowski/Llama-3.2-3B-Instruct-GGUF
Ollama 標籤llama3.2:3b
Q4 最低記憶體4 GB · Q4_K_M · 8K
參數量3.2B
層數28
隱藏維度3,072
KV 頭8
頭維度128
上下文上限128K
廠商Meta AI

Llama 3.2 3B 本地部署需要多少顯示記憶體？

量化權重體積GB8K 總記憶體GB32K 總記憶體GB128K 總記憶體GB
1-bit0.8估2.65.315.8
2-bit1.2估3.15.716.2
3-bit1.9GGUF3.4616.5
4-bit2GGUF3.76.316.8
5-bit2.3GGUF46.717.2
8-bit3.4GGUF5.27.818.3
FP166.4GGUF8.210.821.3

總記憶體 = 權重 + KV cache（FP16）+ 1GB 執行開銷。標 GGUF 的權重是倉庫裡的實測檔案體積，標「估」的按每參數位元組估算。超過這個模型 128K 上下文上限的檔位寫「—」。各檔取倉庫裡該位元數的任一檔案，優先 unsloth 動態量化，所以同一檔不同模型對應的檔名可能不同。

什麼顯示卡能跑 Llama 3.2 3B？

eBay
裝置顯存GB價預估 t/s建議上下文
Tesla V100 16GB16NT$9,59834 筆掛單227.332K
Radeon RX 6950 XT16NT$15,7359 筆掛單115.332K
GeForce RTX 2080 Ti 22GB22NT$17,3403 筆掛單165.1128K
Radeon RX 7800 XT16NT$17,87524 筆掛單12432K
GeForce RTX 5060 Ti 16GB16NT$22,02912 筆掛單124.532K
Radeon RX 7900 XT20NT$22,02924 筆掛單154.6128K
Tesla V100 32GB32NT$22,65923 筆掛單227.3128K
Instinct MI50 32GB32NT$24,1697 筆掛單191.3128K
GeForce RTX 507012NT$24,38923 筆掛單177.932K
Radeon RX 9070 XT16NT$25,01912 筆掛單126.832K
Radeon RX 7900 XTX24NT$31,43925 筆掛單181.1128K
Instinct MI10032NT$31,4397 筆掛單222.7128K
GeForce RTX 5070 Ti16NT$37,76410 筆掛單226.532K
GeForce RTX 408016NT$39,74730 筆掛單18832K
GeForce RTX 309024NT$48,77980 筆掛單234.8128K
GeForce RTX 508016NT$56,64614 筆掛單239.632K
RTX PRO 4000 Blackwell24NT$92,8373 筆掛單177.9128K
GeForce RTX 409024NT$100,67340 筆掛單249.2128K
Radeon PRO W790048NT$109,9883 筆掛單165.3128K
RTX PRO 4500 Blackwell32NT$135,3223 筆掛單226.5128K
A100 40GB PCIe40NT$154,17313 筆掛單346.9128K
Instinct MI21064NT$158,79911 筆掛單280.3128K
MacBook Pro M4 Max 128GB128NT$174,6283 筆掛單119.8128K
GeForce RTX 509032NT$204,55612 筆掛單383.5128K
Mac Studio M4 Max 128GB128NT$206,0364 筆掛單119.8128K
MacBook Pro M5 Max 128GB128NT$228,1595 筆掛單133.1128K
RTX PRO 6000 Blackwell96NT$534,5224 筆掛單383.5128K
Mac Studio M3 Ultra 512GB512NT$692,34511 筆掛單171.4128K
Arc Pro B6024—暫無掛單84.4128K
GeForce RTX 5090 D V224—暫無掛單311.5128K
Arc Pro B6532—暫無掛單110.1128K
Arc Pro B7032—暫無掛單110.1128K
GeForce RTX 4080 SUPER 32GB32—暫無掛單192.4128K
GeForce RTX 5090 D32—暫無掛單383.5128K
Radeon AI PRO R970032—暫無掛單126.8128K
Radeon PRO W780032—暫無掛單115.3128K
CMP 170HX 40GB40—暫無掛單347.7128K
GeForce RTX 4090 48GB48—暫無掛單249.2128K
RTX PRO 5000 Blackwell 48GB48—暫無掛單311.5128K
CMP 170HX 64GB64—暫無掛單336.8128K
RTX PRO 5000 Blackwell 72GB72—暫無掛單311.5128K
RTX PRO 6000D84—暫無掛單349128K
DGX Spark 128GB128—暫無掛單79128K
Mac Studio M5 Max 128GB128—暫無掛單133.1128K
Ryzen AI Max+ 395 128GB128—暫無掛單54128K

判定口徑：權重 + KV cache + 執行開銷 ≤ 可用記憶體，單卡。MoE 模型標「卸載」表示把專家權重放進系統記憶體後能跑（顯存只放注意力層與 KV cache），速度按記憶體頻寬 70 GB/s 估算。上下文欄給的是能裝下的最大檔位。

用 Ollama / llama.cpp / vLLM 本地部署 Llama 3.2 3B

Ollama

Ollama 一行指令拉起，量化檔位由官方標籤決定。

ollama run llama3.2:3b
llama.cpp

llama.cpp 直接從 Hugging Face 拉 GGUF，-c 是上下文長度。

llama-server -hf bartowski/Llama-3.2-3B-Instruct-GGUF:Q4_K_M -c 8192
vLLM

vLLM 跑的是原始精度權重，記憶體需求比 GGUF 高得多，通常要多卡。

vllm serve meta-llama/Llama-3.2-3B-Instruct

量化檔名以模型庫當週抓取為準，口徑見資料方法。 資料方法

常見問題

Llama 3.2 3B 需要多少記憶體？

在 Q4_K_M 量化、8K 上下文下 Llama 3.2 3B 約需 4GB 記憶體，留到 8GB 更穩。

哪張顯示卡最便宜能跑 Llama 3.2 3B？

Tesla V100 16GB，16GB 記憶體，目前中位價約 NT$9,598，預估 227.3 tokens/s。

Llama 3.2 3B 能用 Ollama 跑嗎？

能，指令是 ollama run llama3.2:3b。