Qwen3.8 2.4T A95B 本地部署需要多少显存？
看能跑的设备Qwen3.8 2.4T A95B 是 MoE 模型，总参数 2,446B，每 token 激活 95B。Q4 量化整机放显存需要 1,366GB；把专家放进系统内存后只需 30GB 显存 + 1,337GB 内存。收录的单卡都装不下它，需要多卡或 Mac Studio 的统一内存。卸载模式下最便宜能跑的显卡是 Arc Pro B70，预估 2 tokens/s。
Qwen3.8 2.4T A95B 版本信息
Qwen3.8 2.4T A95B 各量化与上下文的显存需求
8K 总显存MoE：总参数 2,446B 全部要驻留显存，速度按每 token 激活的 95B 算。
| 量化 | 权重体积GB | 8K 总显存GB | 32K 总显存GB | 128K 总显存GB |
|---|---|---|---|---|
| 1-bit | 564GGUF | 575.8 | 577.9 | 586.6 |
| 2-bit | 730.7GGUF | 910.6 | 912.8 | 921.4 |
| 3-bit | 955.5GGUF | 1,173.8 | 1,175.9 | 1,184.5 |
| 4-bit | 1,310.9GGUF | 1,365.1 | 1,367.3 | 1,375.9 |
| 5-bit | 1,650.4估 | 1,652.1 | 1,654.3 | 1,662.9 |
| 8-bit | 2,600.2GGUF | 2,537.1 | 2,539.3 | 2,547.9 |
| FP16 | 4,893.2GGUF | 4,785.6 | 4,787.7 | 4,796.3 |
总显存 = 权重 + KV cache（FP16）+ 1GB 运行开销。标 GGUF 的权重是仓库里的实测文件体积，标「估」的按每参数字节估算。超过这个模型 256K 上下文上限的档位写「—」。各档取仓库里该比特数的任一文件，优先 unsloth 动态量化，所以同一档不同模型对应的文件名可能不同。
什么显卡能跑 Qwen3.8 2.4T A95B？
Q4_K_M · 8K 上下文 · 按闲鱼二手价升序收录的单卡都装不下 Qwen3.8 2.4T A95B：Q4_K_M、8K 上下文下至少需要 1,366GB 显存。
多卡方案至少要凑够 1,366GB 显存。
收录的统一内存机型也装不下。
把专家放进内存后还能跑 Qwen3.8 2.4T A95B 的显卡
专家权重放系统内存，需要 ≥ 1,337 GB 内存；显存只放注意力层、共享专家和 KV cache，Q4 下最低 30 GB。速度受内存带宽限制（按 70 GB/s 估算），比整机放显存慢得多。
| 设备 | 显存GB | 二手价 | 需内存GB | 预估 t/s |
|---|---|---|---|---|
 Arc Pro B70 | 32 | ¥9,999 | 1,337 | 1.5 |
 Radeon PRO W7800 | 32 | ¥10,100 | 1,337 | 1.5 |
 CMP 170HX 40GB (改装) | 40 | ¥10,800 | 1,337 | 1.7 |
| Radeon AI PRO R9700 | 32 | ¥11,900 | 1,337 | 1.6 |
| CMP 170HX 64GB (改装) | 64 | ¥12,850 | 1,337 | 1.7 |
| Instinct MI210 | 64 | ¥18,500 | 1,337 | 1.7 |
| Radeon PRO W7900 | 48 | ¥22,000 | 1,337 | 1.6 |
| GeForce RTX 4090 48GB (改装) | 48 | ¥25,500 | 1,337 | 1.7 |
| RTX PRO 4500 Blackwell | 32 | ¥25,850 | 1,337 | 1.7 |
| GeForce RTX 5090 D | 32 | ¥30,900 | 1,337 | 1.8 |
| A100 40GB PCIe | 40 | ¥38,500 | 1,337 | 1.7 |
| GeForce RTX 5090 | 32 | ¥39,750 | 1,337 | 1.8 |
| RTX PRO 5000 Blackwell 48GB | 48 | ¥47,000 | 1,337 | 1.7 |
| RTX PRO 5000 Blackwell 72GB | 72 | ¥62,000 | 1,337 | 1.7 |
| RTX PRO 6000D | 84 | ¥70,000 | 1,337 | 1.7 |
| RTX PRO 6000 Blackwell | 96 | ¥118,500 | 1,337 | 1.8 |
| Arc Pro B65 | 32 | — | 1,337 | 1.5 |
| GeForce RTX 4080 SUPER 32GB (改装) | 32 | — | 1,337 | 1.7 |
| Instinct MI100 | 32 | — | 1,337 | 1.7 |
| Tesla V100 32GB | 32 | — | 1,337 | 1.7 |
| DGX Spark 128GB | 128 | — | 1,337 | 1.4 |
| Mac Studio M4 Max 128GB | 128 | — | 1,337 | 1.6 |
| Mac Studio M5 Max 128GB | 128 | — | 1,337 | 1.6 |
| MacBook Pro M4 Max 128GB | 128 | — | 1,337 | 1.6 |
| MacBook Pro M5 Max 128GB | 128 | — | 1,337 | 1.6 |
| Ryzen AI Max+ 395 128GB | 128 | — | 1,337 | 1.3 |
| Mac Studio M3 Ultra 512GB | 512 | — | 1,337 | 1.6 |
用 Ollama / llama.cpp / vLLM 启动 Qwen3.8 2.4T A95B
Ollama 库暂无官方标签。
llama.cpp 直接从 Hugging Face 拉 GGUF，-c 是上下文长度。
llama-server -hf unsloth/Qwen3.8-2.4T-A95B-GGUF:Q4_K_M -c 8192
vLLM 跑的是原始精度权重，显存要求比 GGUF 高得多，通常要多卡。
vllm serve Qwen/Qwen3.8-2.4T-A95B
量化文件名以模型库当周抓取为准，口径见数据方法。 数据方法
常见问题
Qwen3.8 2.4T A95B 需要多少显存？
在 Q4_K_M 量化、8K 上下文下 Qwen3.8 2.4T A95B 约需 1,366GB 显存，留到 1,640GB 更稳。
哪张显卡最便宜能跑 Qwen3.8 2.4T A95B？
收录的单卡都装不下 Qwen3.8 2.4T A95B，需要多卡或 Mac Studio 的统一内存。
Qwen3.8 2.4T A95B 能用 Ollama 跑吗？
暂时不能，Ollama 库还没有它的官方标签；可以用 llama.cpp 加载 GGUF。