Muse Spark Open 如何本地部署？

• 4-bit 最低顯示記憶體508 GB · 8K
• 參數量816B
• 激活參數42B
• 上下文上限1M

架構

MoE

專家卸載

14 GB 顯存 + 495 GB 記憶體

授權

Muse Model License

發布日期

2026年10月15日

廠商

Meta AI

Hugging Face 倉庫

meta-models/Muse-Spark-Open-816B-A42B

GGUF 倉庫

unsloth/Muse-Spark-Open-816B-A42B-GGUF

NVFP4 倉庫（Blackwell）

meta-models/Muse-Spark-Open-816B-A42B-NVFP4

MLX 倉庫（Apple）

mlx-community/Muse-Spark-Open-816B-A42B-3bit

層數

62

隱藏維度

8,192

KV 頭

16

頭維度

64

詳細計算規則可在資料方法頁查看。

只列常見的顯示卡和整機，50B 以下和以上的模型各一組，按價格從低到高。

裝置	需要幾張	總價	總顯示記憶體	速度 t/s	總功耗
Mac Studio M3 Ultra 512GB單台 512 GB	2 台	NT$1,146,331	1,024 GB	20.8	960 W
RTX PRO 5000 72GB單卡 72 GB	8 張	NT$1,901,222	576 GB	32.1	2,400 W
RTX PRO 6000單卡 96 GB	8 張	NT$4,875,929	768 GB	40.7	4,800 W
A100 80GB PCIe單卡 80 GB	8 張	NT$5,461,040	640 GB	43.3	2,400 W

Mac Studio 以 Thunderbolt 5 線串接，要用 MLX 或 exo 執行，vLLM 不支援。詳細計算規則可在資料方法頁查看。

詳細計算規則可在資料方法頁查看。

部分購買連結是聯盟連結：透過它們購買時我們可能獲得佣金，你支付的價格不變。

1. 1

   llama.cpp 和 vLLM 都還在等合併

   llama.cpp 的支援在釋出當天才送出（PR #30616），尚未併入主線，要先自己編譯這個分支，才載入得了 Unsloth 的 GGUF；Ollama 也只有無法在本機執行的雲端版（muse-spark-open:cloud）。補丁作者在 M3 Ultra 和 RTX PRO 6000 上測過文字、看圖、聽音訊和工具呼叫；看圖與聽音訊需要另外的投影檔，Unsloth 的儲存庫目前只有文字部分，補丁作者放在 ggml-org 的那份 GGUF 則有附上。聊天時要加上 --jinja。vLLM 的支援也還沒進正式版（PR #61879），官方配方要求先用 vLLM 的 muse-spark-open 專用 Docker 映像檔，驗證過的配置是 8 張卡跑 Meta 的 4-bit 版。

2. 2

   Unsloth 的量化版本

   Unsloth 釋出了 1-bit 到 4-bit 共八種 GGUF，4-bit 的 UD-Q4_K_XL 約 506 GB；8-bit 和 BF16 用的是 ggml-org 那份，5-bit 目前還沒有人做，表中那一列是依參數量推估的。Unsloth 表示 2-bit 的 UD-IQ2_XXS（約 226 GB）在 256GB 記憶體的機器上就能跑，代價是專家權重只剩 2 bit 上下，回答品質會打折扣。

3. 3

   預設想得最久

   思考深度用 reasoning_effort 設定，可選 low、medium、high、xhigh，預設是最深的 xhigh；寫程式和 AI 代理任務官方建議用 high 或 xhigh，想要快一點就用 low 或 medium，填其他值會直接報錯。官方建議 temperature 1.0、top_p 1.0、不限制 top_k；Unsloth 的 GGUF 預設寫入了 top_k 64，想照官方設定就加上 --top-k 0。

4. 4

   授權不是 Llama 那一套

   它採用 Meta 新的 Muse Model License：可以商用、微調和蒸餾，產品中須明顯標示「Built with Muse Spark Open」；對外提供模型 API 服務、且集團連續 12 個月營收超過 2000 萬美元的公司，必須先和 Meta 另簽協議，內部使用或用來替自家產品加功能則不受這條限制。Hugging Face 上的官方儲存庫要經人工審核才能下載，Unsloth 的 GGUF 則不必。

llama-server -hf unsloth/Muse-Spark-Open-816B-A42B-GGUF:UD-Q4_K_XL \
  --jinja -c 8192

docker run --gpus all \
  -p 8000:8000 \
  --ipc=host \
  --env "HF_TOKEN=$HF_TOKEN" \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  vllm/vllm-openai:muse-spark-open meta-models/Muse-Spark-Open-816B-A42B-NVFP4 \
    --tensor-parallel-size 8 \
    --enable-expert-parallel \
    --max-model-len 1048576 \
    --reasoning-parser muse \
    --tool-call-parser muse \
    --enable-auto-tool-choice

mlx_lm.server --model mlx-community/Muse-Spark-Open-816B-A42B-3bit

量化檔名以模型庫當週抓取為準，口徑見資料方法。 資料方法

模型	總參數	激活參數	4-bit 模型大小
Llama 3.2 3B稠密	3.2B	3.2B	2 GB
Llama 3.1 8B稠密	8B	8B	4.9 GB
Llama 3.3 70B稠密	70.6B	70.6B	42.5 GB
Llama 4 Scout 17B 16EMoE	108.6B	17B	65.4 GB

關於 Meta