本站含聯盟連結。身為 eBay 合作夥伴，你透過本站連結購買時，我們可能獲得佣金。身為 eBay 合作夥伴，我們可能獲得佣金。了解詳情

收錄顯卡57價格追蹤49 天近 24h 價格資料43,303 筆24h 降價最多Tesla V100 16GB-12.3%24h 漲價最多A100 80GB PCIe+9.4%更新於
NT$ TWD

Llama 3.2 3B 如何本地部署？

Llama 3.2 3B 是 Meta 在 2024 年 9 月發布的 3B 小模型，4-bit 加 8K 約 4 GB，幾乎任何顯示卡都能跑。它在訓練時向 Llama 3.1 8B、70B 學習過（蒸餾），適合查詢改寫、摘要、呼叫工具這類輕量任務，或替同家族的大模型當草稿模型；要中文對話或看圖，請選 2026 年的新小模型。

Llama 3.2 3B 模型資訊

  • 4-bit 最低顯示記憶體5 GB · 8K
  • 參數量3.2B
  • 上下文上限128K
架構
稠密
授權
Llama 3.2 Community License
發布日期
2024年9月25日
廠商
Meta AI
Hugging Face 倉庫
meta-llama/Llama-3.2-3B-Instruct
GGUF 倉庫
bartowski/Llama-3.2-3B-Instruct-GGUF
MLX 倉庫（Apple）
mlx-community/Llama-3.2-3B-Instruct-4bit
Ollama 標籤
llama3.2:3b
層數
28
隱藏維度
3,072
KV 頭
8
頭維度
128

Llama 3.2 3B 本地部署需要多少顯示記憶體？

量化權重體積GB8K 上下文GB32K 上下文GB128K 上下文（最大）GB
1-bit0.8估2.85.616.9
2-bit1.3估3.36.117.4
3-bit1.9GGUF3.96.718
4-bit2GGUF46.818.1
5-bit2.3GGUF4.37.118.4
8-bit3.4GGUF5.48.219.5
BF16/FP166.4GGUF8.411.222.5

詳細計算規則可在資料方法頁查看。

單卡能跑 Llama 3.2 3B 嗎？

8GB 以上的顯示卡都能輕鬆跑，8-bit 加 8K 上下文也只要 5.4 GB。既然顯示記憶體不吃緊，就沒必要壓到 4-bit：小模型對量化比較敏感，Meta 實測直接壓成 4-bit 分數會明顯下滑，用 8-bit 或乾脆不量化的原版才能發揮它的實力。真正要留意的是上下文，拉到 128K 要將近 20 GB，是模型本身的好幾倍；16GB 的卡用 8-bit 能開到十萬出頭，想開滿就選 24GB 的卡。速度則不必擔心，最慢的 128GB 統一記憶體整機跑 8-bit 每秒也有約 50 個 token。

閒魚
裝置價格速度 t/s最大上下文
Tesla V100 16GB16 GBNT$6,0955 筆掛單201.4120K
Tesla V100 32GB32 GBNT$20,4794 筆掛單201.4128K
GeForce RTX 5060 Ti 16GB16 GBNT$25,23314 筆掛單116.8120K
Radeon RX 7900 XTX24 GBNT$27,76412 筆掛單210.9128K
GeForce RTX 309024 GBNT$41,44513 筆掛單207.2128K
Ryzen AI Max+ 395 128GB整機 · 128 GBNT$92,64316 筆掛單71.8128K
GeForce RTX 409024 GBNT$121,8986 筆掛單218.2128K
RTX A600048 GBNT$156,0307 筆掛單179.3128K
DGX Spark 128GB整機 · 128 GBNT$209,66541 筆掛單76128K
MacBook Pro M5 Max 128GB整機 · 128 GBNT$222,80110 筆掛單150.9128K
Mac Studio M5 Ultra 96GB整機 · 96 GBNT$224,29315 筆掛單249.3128K
GeForce RTX 509032 GBNT$253,54314 筆掛單313.4128K
RTX PRO 600096 GBNT$609,4916 筆掛單313.4128K

只列常見的顯示卡和整機，50B 以下和以上的模型各一組，按價格從低到高。

本地部署 Llama 3.2 3B 要注意什麼？

  1. 顯示記憶體夠就用 8-bit

    在電腦上顯示記憶體不是問題，直接用 8-bit（權重 3.4 GB）或 FP16（6.4 GB）。小模型對量化比較敏感：Meta 測過，不做額外訓練直接壓到 4-bit，MMLU 會從 63.4 掉到 60.5（這一版只用於比較，沒有發布）。GGUF 的 Q4_K_M 用的不是同一種方法，但道理相同。

  2. Meta 官方的手機版

    Meta 另外發布了 SpinQuant 和 QLoRA 兩種官方 4-bit 版本，是為了在手機的 Arm CPU 上執行而做的（使用 ExecuTorch），上下文限制在 8K，MMLU 分別是 62 和 62.4，損失比直接量化小。在電腦上用 GGUF 就好。

  3. 替大模型當草稿模型

    它和 Llama 3.1 8B、Llama 3.3 70B 用同一套詞彙表，可以在 llama.cpp 裡用 -md 載入，替大模型當推測解碼的草稿模型：小模型先猜幾個字，大模型一次核對，能提高生成速度。

  4. 工具呼叫和取樣參數

    llama.cpp 原生支援 Llama 3.2 的工具呼叫格式，llama-server 啟動時加上 --jinja 即可。在 Meta 的測試中，3B 的工具呼叫成績（BFCL V2 67.0）和 Llama 3.1 8B（67.1）幾乎一樣。取樣參數用 Meta 給的 temperature 0.6、top_p 0.9。

啟動指令

Ollama

  • Windows
  • macOS
  • Linux
終端機
ollama run llama3.2:3b

llama.cpp

  • NVIDIA
  • AMD
  • Mac
  • CPU
終端機
llama-server -hf bartowski/Llama-3.2-3B-Instruct-GGUF:Q4_K_M -c 8192

vLLM

  • Linux
  • NVIDIA
  • AMD
終端機
vllm serve meta-llama/Llama-3.2-3B-Instruct

MLX

  • Apple 晶片

在 Mac 上先 pip install mlx-lm，這條指令會從 Hugging Face 下載 MLX 權重，並啟動相容 OpenAI 介面的服務。

終端機
mlx_lm.server --model mlx-community/Llama-3.2-3B-Instruct-4bit

量化檔名以模型庫當週抓取為準，口徑見資料方法。 資料方法

Meta 家族的其他模型

模型總參數激活參數4-bit 模型大小
Llama 3.1 8B稠密8B8B4.9 GB
Llama 3.3 70B稠密70.6B70.6B42.5 GB
Llama 4 Scout 17B 16EMoE108.6B17B65.4 GB
Muse Spark OpenMoE816B42B505.5 GB

關於 Meta