本站含聯盟連結。身為 eBay 合作夥伴，你透過本站連結購買時，我們可能獲得佣金。身為 eBay 合作夥伴，我們可能獲得佣金。了解詳情

收錄顯卡57價格追蹤49 天近 24h 價格資料43,303 筆24h 降價最多Tesla V100 16GB-12.3%24h 漲價最多A100 80GB PCIe+9.4%更新於
NT$ TWD

Llama 3.1 8B 如何本地部署？

Llama 3.1 8B 是 Meta 在 2024 年 7 月發布的 8B 模型，以今天來看已經算是老模型。但它的生態系最大：Hugging Face 上直接以它為基礎的微調模型有三千多個。4-bit 加 8K 約 7 GB，8GB 顯示卡就能跑；它的弱點是長上下文很吃顯示記憶體，拉滿 128K 要 23.2 GB，是 Qwen3.5 9B 的兩倍。

Llama 3.1 8B 模型資訊

  • 4-bit 最低顯示記憶體8 GB · 8K
  • 參數量8B
  • 上下文上限128K
架構
稠密
授權
Llama 3.1 Community License
發布日期
2024年7月23日
廠商
Meta AI
Hugging Face 倉庫
meta-llama/Llama-3.1-8B-Instruct
GGUF 倉庫
bartowski/Meta-Llama-3.1-8B-Instruct-GGUF
NVFP4 倉庫（Blackwell）
nvidia/Llama-3.1-8B-Instruct-NVFP4
MLX 倉庫（Apple）
mlx-community/Llama-3.1-8B-Instruct-4bit
Ollama 標籤
llama3.1:8b
層數
32
隱藏維度
4,096
KV 頭
8
頭維度
128

Llama 3.1 8B 本地部署需要多少顯示記憶體？

量化權重體積GB8K 上下文GB32K 上下文GB128K 上下文（最大）GB
1-bit2估4.27.420.3
2-bit3.7GGUF5.89.122
3-bit4.8GGUF6.910.223.1
4-bit4.9GGUF710.323.2
5-bit5.7GGUF7.811.124
8-bit8.5GGUF10.613.926.8
BF16/FP1616.9估1922.235.1

詳細計算規則可在資料方法頁查看。

單卡能跑 Llama 3.1 8B 嗎？

可以，8GB 顯示卡跑 4-bit 加 8K 上下文（約 7 GB）就足以應付日常對話。比較需要盤算的是上下文：要記的內容越長，顯示記憶體就得跟著多佔，4-bit 開滿 128K 要 23.2 GB。所以 12GB、16GB 的卡要先決定開多長，再挑放得下的最高一檔，例如 16GB 的卡用 8-bit 還能開到 5 萬多。想用 8-bit 處理長文件，24GB 的 RTX 3090 最理想，上下文能開到約 120K，速度也綽綽有餘。

閒魚
裝置價格速度 t/s最大上下文
Tesla V100 16GB16 GBNT$6,0955 筆掛單107.983K
Tesla V100 32GB32 GBNT$20,4794 筆掛單107.9128K
GeForce RTX 5060 Ti 16GB16 GBNT$25,23314 筆掛單58.183K
Radeon RX 7900 XTX24 GBNT$27,76412 筆掛單114128K
GeForce RTX 309024 GBNT$41,44513 筆掛單111.6128K
Ryzen AI Max+ 395 128GB整機 · 128 GBNT$92,64316 筆掛單34.4128K
GeForce RTX 409024 GBNT$121,8986 筆掛單118.7128K
RTX A600048 GBNT$156,0307 筆掛單94.2128K
DGX Spark 128GB整機 · 128 GBNT$209,66541 筆掛單36.6128K
MacBook Pro M5 Max 128GB整機 · 128 GBNT$222,80110 筆掛單77.4128K
Mac Studio M5 Ultra 96GB整機 · 96 GBNT$224,29315 筆掛單139.7128K
GeForce RTX 509032 GBNT$253,54314 筆掛單186.9128K
RTX PRO 600096 GBNT$609,4916 筆掛單186.9128K

只列常見的顯示卡和整機，50B 以下和以上的模型各一組，按價格從低到高。

本地部署 Llama 3.1 8B 要注意什麼？

  1. 量化依上下文需求來選

    在 4-bit（4.9 GB）到 8-bit（8.5 GB）之間，選能容納你所需上下文的最高一檔。它的上下文每多 1K token，快取約多 0.13 GB，4-bit 開到 32K 就要 10.3 GB。它原生只有 8K，128K 是靠 RoPE 縮放擴展出來的。

  2. 授權條款對微調的要求

    Llama 3.1 社群授權條款規定：散布它或以它為基礎的模型時，要明顯標示「Built with Llama」；用它或它的輸出訓練、微調出的模型對外發布時，名稱要以「Llama」開頭；月活躍用戶超過 7 億的公司要另外向 Meta 取得授權。以它為基礎的微調版同樣受這份授權條款約束。

  3. 工具呼叫

    Llama 3.1 訓練時就帶有工具呼叫格式，也認得 brave_search、wolfram_alpha、code_interpreter 三個內建工具名稱；llama.cpp 的 llama-server 加上 --jinja 就能辨識。取樣沿用 Meta 的預設值，temperature 0.6、top_p 0.9。

  4. 老在哪裡

    知識截止於 2023 年 12 月，只能處理文字；官方支援英、德、法、義、葡、印地、西、泰 8 種語言，中文不在其中，Meta 也明確表示不建議未經微調就拿它用不支援的語言對話。中文用途建議看 Qwen3.5 9B。

啟動指令

Ollama

  • Windows
  • macOS
  • Linux
終端機
ollama run llama3.1:8b

llama.cpp

  • NVIDIA
  • AMD
  • Mac
  • CPU
終端機
llama-server -hf bartowski/Meta-Llama-3.1-8B-Instruct-GGUF:Q4_K_M \
  -c 8192

vLLM

  • Linux
  • NVIDIA
  • AMD
原版權重
終端機
vllm serve meta-llama/Llama-3.1-8B-Instruct
NVFP4 · Blackwell

Blackwell 顯示卡（RTX 50 系列、RTX PRO 6000、B200）能原生執行 NVFP4 權重，體積約為原版的三成。

終端機
vllm serve nvidia/Llama-3.1-8B-Instruct-NVFP4

MLX

  • Apple 晶片

在 Mac 上先 pip install mlx-lm，這條指令會從 Hugging Face 下載 MLX 權重，並啟動相容 OpenAI 介面的服務。

終端機
mlx_lm.server --model mlx-community/Llama-3.1-8B-Instruct-4bit

量化檔名以模型庫當週抓取為準，口徑見資料方法。 資料方法

Meta 家族的其他模型

模型總參數激活參數4-bit 模型大小
Llama 3.2 3B稠密3.2B3.2B2 GB
Llama 3.3 70B稠密70.6B70.6B42.5 GB
Llama 4 Scout 17B 16EMoE108.6B17B65.4 GB
Muse Spark OpenMoE816B42B505.5 GB

關於 Meta