速度 t/s31.9
合计¥222,305
- 内存
- 384 GB DDR5-480012 条 × 32 GB · 461 GB/s
- ¥78,000
- 实时价
- 主机
- AMD EPYC 9354Supermicro H13SSL-N 主板
- ¥18,098
- 参考价
- 电源
- 1,200 W整机功耗约 980 W
- ¥1,207
- 参考价
Muse Spark Open 如何本地部署？
Muse Spark Open 是 Meta 2026 年 10 月放出的 Muse Spark 开放权重版，816B 参数的 MoE，每个 token 用 42B。它能读图片、视频和音频，4-bit 加 32K 上下文约 509 GB，家里要 8 张 96GB 显卡、一台 512GB 的 Mac Studio 或大内存服务器才跑得动。llama.cpp 的支持还没合进主线，Unsloth 的 GGUF 暂时要用补丁分支编译。
Muse Spark Open 模型信息
- 4-bit 最低显存508 GB · 8K
- 参数量816B
- 激活参数42B
- 上下文上限1M
- 架构
- MoE
- 专家卸载
- 14 GB 显存 + 495 GB 内存
- 发布日期
- 2026年10月15日
- 厂商
- Meta AI
- Hugging Face 仓库
- meta-models/Muse-Spark-Open-816B-A42B
- NVFP4 仓库（Blackwell）
- meta-models/Muse-Spark-Open-816B-A42B-NVFP4
- 层数
- 62
- 隐藏维度
- 8,192
- KV 头
- 16
- 头维度
- 64
Muse Spark Open 本地部署需要多少显存？
4-bit 加 32K 上下文约 509 GB，2-bit 能压到约 315 GB。上下文开大几乎不加显存：四分之三的层只记最近 2048 个 token，只有每四层里的一层看完整上下文，所以 4-bit 从 32K 开到满 1M 也只多约 67 GB。
| 量化 | 权重体积GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文GB | 1M 上下文（最大）GB |
|---|---|---|---|---|---|
| 1-bit | 208.9GGUF | 212.5 | 218.9 | 227.5 | 279.1 |
| 2-bit | 311.2GGUF | 314.8 | 321.2 | 329.8 | 381.4 |
| 3-bit | 401.5GGUF | 405.1 | 411.5 | 420.1 | 471.7 |
| 4-bit | 505.5GGUF | 509.1 | 515.5 | 524.1 | 575.7 |
| 5-bit | 591.2估 | 594.8 | 601.2 | 609.8 | 661.4 |
| 8-bit | 871.7GGUF | 875.3 | 881.7 | 890.3 | 941.9 |
| BF16/FP16 | 1,640.3GGUF | 1,643.9 | 1,650.3 | 1,658.9 | 1,710.5 |
详细计算规则可在数据方法页查看。
单卡能跑 Muse Spark Open 吗？
单张显卡不行，整机里只有 512GB 的 Mac Studio 装得下。Unsloth 最小的 1-bit 版也有约 176 GB，超过任何一张显卡，也超过 128GB 的整机。单台 512GB 的 Mac Studio M3 Ultra 按容量放得下 4-bit，前提是调高 macOS 留给显卡的内存上限，估算每秒约 21 个 token；Meta 官方推荐的则是两台 512GB 的 Mac Studio M5 Ultra 用 MLX 联机。
| 设备 | 价格 | 速度 t/s | 最大上下文 |
|---|---|---|---|
| Mac Studio M3 Ultra 512GB整机 · 512 GB | ¥121,9446 条挂单 | 32.3 | 1M |
| 设备 | 价格 | 速度 t/s | 最大上下文 |
|---|---|---|---|
| Mac Studio M3 Ultra 512GB整机 · 512 GB | ¥121,9446 条挂单 | 21.3 | 637K |
只列常见的显卡和整机，50B 以下和以上的模型各一组，按价格从低到高。
多卡跑 Muse Spark Open 要几张显卡？
2-bit 起步是 4 张 96GB 的 RTX PRO 6000，每秒约 58 个 token；4-bit 要 8 张，约 41，8 张 80GB 的 A100 也行。两台 512GB 的 Mac Studio M3 Ultra 用雷电 5 线联机，4-bit、8-bit 都放得下，每秒约 21 和 13 个 token，这和 Meta 官方推荐的两台 Mac Studio 是同一种做法。官方 vLLM 和 SGLang 配方跑的是 Meta 自己出的 4-bit 版，约 530 GB，是按 4 张 Blackwell Ultra 或 8 张 H200 这类数据中心卡写的。
| 设备 | 需要几张 | 总价 | 总显存 | 速度 t/s | 总功耗 |
|---|---|---|---|---|---|
| Instinct MI210单卡 64 GB | 8 张 | ¥148,000 | 512 GB | 54.2 | 2,400 W |
 DGX Spark 128GB单台 128 GB | 4 台 | ¥172,000 | 512 GB | 11.5 | 960 W |
| RTX A6000单卡 48 GB | 8 张 | ¥263,200 | 384 GB | 29.4 | 2,400 W |
| RTX PRO 5000 72GB单卡 72 GB | 8 张 | ¥464,000 | 576 GB | 46.6 | 2,400 W |
| RTX PRO 6000单卡 96 GB | 4 张 | ¥500,000 | 384 GB | 57.9 | 2,400 W |
| A100 80GB PCIe单卡 80 GB | 8 张 | ¥890,320 | 640 GB | 61.2 | 2,400 W |
| GeForce RTX 4090 48GB单卡 48 GB | 8 张 | 暂无 | 384 GB | 37 | 3,600 W |
| 设备 | 需要几张 | 总价 | 总显存 | 速度 t/s | 总功耗 |
|---|---|---|---|---|---|
| Mac Studio M3 Ultra 512GB单台 512 GB | 2 台 | ¥243,888 | 1,024 GB | 20.8 | 960 W |
| RTX PRO 5000 72GB单卡 72 GB | 8 张 | ¥464,000 | 576 GB | 32.1 | 2,400 W |
| A100 80GB PCIe单卡 80 GB | 8 张 | ¥890,320 | 640 GB | 43.3 | 2,400 W |
| RTX PRO 6000单卡 96 GB | 8 张 | ¥1,000,000 | 768 GB | 40.7 | 4,800 W |
| 设备 | 需要几张 | 总价 | 总显存 | 速度 t/s | 总功耗 |
|---|---|---|---|---|---|
| Mac Studio M3 Ultra 512GB单台 512 GB | 2 台 | ¥243,888 | 1,024 GB | 12.8 | 960 W |
Mac Studio 按台联机用雷电 5 线互连，要用 MLX 或 exo 跑，vLLM 不支持。详细计算规则可在数据方法页查看。
如何用内存跑 Muse Spark Open？
把专家放进内存时，显卡只要留十几 GB：256 个专家占了权重的九成八，又没有常驻的共享专家。难的是内存要够大，表里只有 12 通道 DDR5 服务器配一张 RTX PRO 6000 装得下：2-bit 插 384GB 内存约 32 tokens/s，4-bit 要插满 768GB，降到约 19。
速度 t/s19.1
合计¥318,305
- 内存
- 768 GB DDR5-480012 条 × 64 GB · 461 GB/s
- ¥174,000
- 实时价
- 主机
- AMD EPYC 9354Supermicro H13SSL-N 主板
- ¥18,098
- 参考价
- 电源
- 1,200 W整机功耗约 980 W
- ¥1,207
- 参考价
速度 t/s10.8
合计¥318,305
- 内存
- 768 GB DDR5-480012 条 × 64 GB · 461 GB/s
- ¥174,000
- 实时价
- 主机
- AMD EPYC 9354Supermicro H13SSL-N 主板
- ¥18,098
- 参考价
- 电源
- 1,200 W整机功耗约 980 W
- ¥1,207
- 参考价
部分购买链接是联盟链接：通过它们购买时我们可能获得佣金，你支付的价格不变。
本地部署 Muse Spark Open 要注意什么？
llama.cpp 和 vLLM 都还在等合并
llama.cpp 的支持在发布当天才提交（PR #30616），还没合进主线，Unsloth 的 GGUF 要先用这个分支编译才能加载，Ollama 也还没有官方标签。补丁作者在 M3 Ultra 和 RTX PRO 6000 上测过文字、看图、听音频和工具调用；看图和听音频要另外的投影文件，Unsloth 仓库目前只有文字部分，补丁作者放在 ggml-org 的那份 GGUF 带了。聊天要加 --jinja。vLLM 的支持也还没进正式版（PR #61879），官方配方要求先用 vLLM 的 muse-spark-open 专用 Docker 镜像，验证过的配置是 8 张卡跑 Meta 的 4-bit 版。
Unsloth 的量化档
Unsloth 放出了 1-bit 到 4-bit 共八个 GGUF，4-bit 的 UD-Q4_K_XL 约 506 GB；8-bit 和 BF16 用的是 ggml-org 那份，5-bit 目前没有人做，表里那一档是按参数量估的。Unsloth 说 2-bit 的 UD-IQ2_XXS（约 226 GB）在 256GB 内存的机器上就能跑，代价是专家权重只剩 2 bit 左右，回答质量会打折。
默认想得最久
思考深度用 reasoning_effort 设成 low、medium、high 或 xhigh，默认是最高的 xhigh；编程和智能体任务官方建议 high 或 xhigh，要快就用 low 或 medium，填别的值会直接报错。官方建议 temperature 1.0、top_p 1.0、不限 top_k；Unsloth 的 GGUF 里默认写了 top_k 64，想按官方来就加 --top-k 0。
许可证不是 Llama 那一套
它用的是 Meta 新的 Muse Model License：可以商用、微调、蒸馏，产品里要显著标出「Built with Muse Spark Open」；对外提供模型 API 服务、且集团年营收超过 2000 万美元的公司，要先和 Meta 另签协议，内部使用或给自家产品做功能不受这条限制。Hugging Face 上的官方仓库要人工审核才能下载，Unsloth 的 GGUF 不用。
启动命令
Ollama
Ollama 库暂无官方标签。
llama.cpp
llama-server -hf unsloth/Muse-Spark-Open-816B-A42B-GGUF:UD-Q4_K_XL --jinja -c 8192
vLLM
docker run --gpus all \
-p 8000:8000 \
--ipc=host \
--env "HF_TOKEN=$HF_TOKEN" \
-v ~/.cache/huggingface:/root/.cache/huggingface \
vllm/vllm-openai:muse-spark-open meta-models/Muse-Spark-Open-816B-A42B-NVFP4 \
--tensor-parallel-size 8 \
--enable-expert-parallel \
--max-model-len 1048576 \
--reasoning-parser muse \
--tool-call-parser muse \
--enable-auto-tool-choice量化文件名以模型库当周抓取为准，口径见数据方法。 数据方法
Meta 家族的其他模型
| 模型 | 总参数 | 激活参数 | 4-bit 模型大小 |
|---|---|---|---|
| Llama 3.2 3B稠密 | 3.2B | 3.2B | 2 GB |
| Llama 3.1 8B稠密 | 8B | 8B | 4.9 GB |
| Llama 3.3 70B稠密 | 70.6B | 70.6B | 42.5 GB |
| Llama 4 Scout 17B 16EMoE | 108.6B | 17B | 65.4 GB |