本地部署 Meta 需要什麼顯示卡?各版本記憶體需求一覽
Meta 目前有 5 個能本地部署的版本,最小的 Llama 3.2 3B 在 4-bit 量化下需要 5GB 顯示記憶體;最大的 Muse Spark Open 是 MoE 模型,用專家卸載時需要 14GB 顯示記憶體加約 495GB 系統記憶體。最便宜能跑起來的裝置是 Tesla V100 16GB,約 NT$6,095。
| 版本 | 發布日期 | 上下文 | 授權 | ||
|---|---|---|---|---|---|
| 2026年10月15日 | 816B | 42B | 1M | Muse Model License | |
| 2025年4月5日 | 108.6B | 17B | 10M | Llama 4 Community License | |
| 2024年12月6日 | 70.6B | 70.6B | 128K | Llama 3.3 Community License | |
| 2024年9月25日 | 3.2B | 3.2B | 128K | Llama 3.2 Community License | |
| 2024年7月23日 | 8B | 8B | 128K | Llama 3.1 Community License |
關於 Meta
Meta 的開放權重模型分成兩條產品線:2023 年起的 Llama,以及 2026 年起的 Muse。Meta 總部位於美國加州門洛帕克,Llama 出自它在 2013 年成立的 AI 研究團隊 FAIR,Muse Spark Open 的模型卡則署名 Meta 超級智慧實驗室(Meta Superintelligence Labs)。
第一代 LLaMA 於 2023 年 2 月發表,只以非商業授權開放給研究人員使用;從同年 7 月的 Llama 2 起允許商用。之後的主要版本依序是:Llama 3(2024 年 4 月);Llama 3.1(2024 年 7 月),新增 405B,上下文擴大到 128K;Llama 3.2(2024 年 9 月),加入 1B、3B 小模型與 11B、90B 視覺模型;Llama 3.3 70B(2024 年 12 月);Llama 4(2025 年 4 月),是這個系列首次採用 MoE,也是首次原生支援多模態。Meta 表示,Llama 的累計下載量在 2025 年 3 月突破 10 億次。Llama 採用 Meta 自訂的社群授權條款,允許商用,但每月活躍用戶超過 7 億的產品必須另外申請授權;開放原始碼促進會(OSI)認為它不符合開源的定義。
截至 2026 年 10 月,Llama 4 之後就沒有新的 Llama 版本,Meta 把重心轉到 Muse:4 月推出閉源的 Muse Spark,8 月以 Apache 2.0 發表開放權重的 Muse Glimmer,10 月 15 日再釋出 Muse Spark 的開放權重版 Muse Spark Open,816B 參數的 MoE,看得懂圖片、影片,也聽得懂音訊。它採用 Meta 新的 Muse Model License,可以商用,但對外提供模型 API、年營收超過 2000 萬美元的公司,必須先和 Meta 另簽協議。
- 廠商Meta AI
- 收錄版本5
- 參數量3.2B – 816B
- 最新版本Muse Spark Open
- 授權
- Llama 3.2 Community License / Llama 3.1 Community License / Llama 3.3 Community License / Llama 4 Community License / Muse Model License
- 官方首頁
- ai.meta.com
- Hugging Face 組織
- meta-llama
Meta 各版本 2-bit 量化需要多少顯示記憶體?
2-bit 也叫 Q2 精度,常見的 GGUF 檔案有 Q2_K、UD-Q2_K_XL,體積最小、品質損失也最明顯,適合顯示記憶體吃緊時先把模型跑起來。下表每一列是 Meta 的一個版本,每一欄是一種上下文長度,格子裡是用 Q2 精度部署時需要的總顯示記憶體(權重 + KV cache + 1.1GB 執行開銷)。
| 版本 | 權重體積GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文GB | 1M 上下文GB |
|---|---|---|---|---|---|
| 311.2GGUF | 314.8 | 321.2 | 329.8 | 381.4 | |
| 42.4GGUF | 46.3 | 51.1 | 57.6 | 96.2 | |
| 27.4GGUF | 39.2 | 71.4 | — | — | |
| 1.3估 | 6.1 | 17.4 | — | — | |
| 3.7GGUF | 9.1 | 22 | — | — |
Meta 各版本 4-bit 量化需要多少顯示記憶體?
4-bit 也叫 Q4 精度,對應最常用的 Q4_K_M 檔案,體積和品質比較平衡,是本地部署的預設選擇。下表每一列是 Meta 的一個版本,每一欄是一種上下文長度,格子裡是用 Q4 精度部署時需要的總顯示記憶體。
| 版本 | 權重體積GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文GB | 1M 上下文GB |
|---|---|---|---|---|---|
| 505.5GGUF | 509.1 | 515.5 | 524.1 | 575.7 | |
| 65.4GGUF | 69.3 | 74.1 | 80.6 | 119.2 | |
| 42.5GGUF | 54.3 | 86.5 | — | — | |
| 2GGUF | 6.8 | 18.1 | — | — | |
| 4.9GGUF | 10.3 | 23.2 | — | — |
Meta 各版本 8-bit 量化需要多少顯示記憶體?
8-bit 也叫 Q8 精度,對應 Q8_0 檔案,品質最接近原版,體積也最大。下表每一列是 Meta 的一個版本,每一欄是一種上下文長度,格子裡是用 Q8 精度部署時需要的總顯示記憶體。
| 版本 | 權重體積GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文GB | 1M 上下文GB |
|---|---|---|---|---|---|
| 871.7GGUF | 875.3 | 881.7 | 890.3 | 941.9 | |
| 114.5GGUF | 118.4 | 123.2 | 129.7 | 168.3 | |
| 75GGUF | 86.8 | 119 | — | — | |
| 3.4GGUF | 8.2 | 19.5 | — | — | |
| 8.5GGUF | 13.9 | 26.8 | — | — |
常見問題
Llama 和 Muse 是開源的嗎?可以免費商用嗎?
本站收錄的這幾個都可以商用,但授權都是 Meta 自訂的,不是 MIT 或 Apache 這類。Llama 採用社群授權條款,4 個版本各有一份,主要條款相同,有三條必須遵守:以該版本發布日為準,前一個日曆月每月活躍用戶超過 7 億的產品,要另外向 Meta 申請授權;散布模型或用它做成的產品時,要隨附授權條款,並明顯標示「Built with Llama」;用 Llama 或它的輸出訓練、微調出來的模型若要再發布,名稱必須以「Llama」開頭。此外也要遵守各版本的可接受使用政策,從 Ollama 等其他管道下載也一樣。Hugging Face 上的官方儲存庫須先填寫聯絡資訊、同意授權條款,審核通過後才能下載。Muse Spark Open 用的則是另一份 Muse Model License,沒有月活躍用戶和命名的要求,改成產品中要標示「Built with Muse Spark Open」,對外提供模型 API、年營收超過 2000 萬美元的公司要先和 Meta 另簽協議。
Llama 可以用 Ollama 執行嗎?
可以,四個 Llama 版本都有官方標籤:llama3.2:3b、llama3.1:8b、llama3.3:70b 和 llama4:scout(寫成 llama4:16x17b 也行)。如果要指定精度,就用完整標籤,例如 llama3.3:70b-instruct-q8_0、llama4:17b-scout-16e-instruct-q8_0。在 Ollama 上,Llama 4 Scout 可以看圖,Llama 3.x 這三個版本則只能處理文字。Muse Spark Open 目前還不行:Ollama 沒有官方標籤,llama.cpp 對它的支援也還沒併入主線。
Llama 4 在歐盟可以用嗎?
要看你的身分。Llama 4 的可接受使用政策寫明,其中的多模態模型不授權住在歐盟的個人,以及主要營業地點在歐盟的公司使用、複製、散布或修改;Llama 4 Scout 是原生多模態模型,屬於這條規定的範圍。這條規定並不限制終端使用者,歐盟使用者仍然可以照常使用別人以這類模型做好的產品或服務。本站收錄的 Llama 3.2 3B、3.1 8B、3.3 70B 都是純文字模型,不受這條規定影響。Muse Spark Open 雖然也是多模態模型,但它的授權沒有這種地區限制,歐盟的個人和公司一樣能從 Meta 愛爾蘭公司取得授權。