Qwen3.8 2.4T A95B 如何本地部署？
Qwen3.8 2.4T A95B 是 MoE 模型，总参数 2,446B，每 token 激活 95B。Q4 量化整机放显存需要 1,366GB；把专家放进系统内存后只需 30GB 显存 + 1,337GB 内存。收录的单卡都装不下它，需要多卡或 Mac Studio 的统一内存。卸载模式下最便宜能跑的显卡是 Tesla V100 32GB，预估 2 tokens/s。
Qwen3.8 2.4T A95B 版本信息
Qwen3.8 2.4T A95B 本地部署需要多少显存？
MoE：总参数 2,446B 全部要驻留显存，速度按每 token 激活的 95B 算。
| 量化 | 权重体积GB | 8K 总显存GB | 32K 总显存GB | 128K 总显存GB |
|---|---|---|---|---|
| 1-bit | 564GGUF | 575.8 | 577.9 | 586.6 |
| 2-bit | 730.7GGUF | 910.6 | 912.8 | 921.4 |
| 3-bit | 955.5GGUF | 1,173.8 | 1,175.9 | 1,184.5 |
| 4-bit | 1,310.9GGUF | 1,365.1 | 1,367.3 | 1,375.9 |
| 5-bit | 1,650.4估 | 1,652.1 | 1,654.3 | 1,662.9 |
| 8-bit | 2,600.2GGUF | 2,537.1 | 2,539.3 | 2,547.9 |
| FP16 | 4,893.2GGUF | 4,785.6 | 4,787.7 | 4,796.3 |
总显存 = 权重 + KV cache（FP16）+ 1GB 运行开销。标 GGUF 的权重是仓库里的实测文件体积，标「估」的按每参数字节估算。超过这个模型 256K 上下文上限的档位写「—」。各档取仓库里该比特数的任一文件，优先 unsloth 动态量化，所以同一档不同模型对应的文件名可能不同。
什么显卡能跑 Qwen3.8 2.4T A95B？
AmazonJP
收录的单卡都装不下 Qwen3.8 2.4T A95B：Q4_K_M、8K 上下文下至少需要 1,366GB 显存。
多卡方案至少要凑够 1,366GB 显存。
收录的统一内存机型也装不下。
Qwen3.8 2.4T A95B 混合推理推荐显卡
AmazonJP
专家权重放系统内存，需要 ≥ 1,337 GB 内存；显存只放注意力层、共享专家和 KV cache，Q4 下最低 30 GB。速度受内存带宽限制（按 70 GB/s 估算），比整机放显存慢得多。
| 设备 | 显存GB | 价 | 需内存GB | 预估 t/s |
|---|---|---|---|---|
 Tesla V100 32GB | 32 | ¥7,673 | 1,337 | 1.7 |
 Arc Pro B70 | 32 | ¥13,947 | 1,337 | 1.5 |
 Radeon AI PRO R9700 | 32 | ¥15,089 | 1,337 | 1.6 |
| Ryzen AI Max+ 395 128GB | 128 | ¥26,315 | 1,337 | 1.3 |
| GeForce RTX 5090 | 32 | ¥50,365 | 1,337 | 1.8 |
| DGX Spark 128GB | 128 | ¥55,304 | 1,337 | 1.4 |
| Arc Pro B65 | 32 | — | 1,337 | 1.5 |
| GeForce RTX 4080 SUPER 32GB | 32 | — | 1,337 | 1.7 |
| GeForce RTX 5090 D | 32 | — | 1,337 | 1.8 |
| Instinct MI100 | 32 | — | 1,337 | 1.7 |
| Instinct MI50 32GB | 32 | — | 1,337 | 1.7 |
| Radeon PRO W7800 | 32 | — | 1,337 | 1.5 |
| RTX PRO 4500 Blackwell | 32 | — | 1,337 | 1.7 |
| A100 40GB PCIe | 40 | — | 1,337 | 1.7 |
| CMP 170HX 40GB | 40 | — | 1,337 | 1.7 |
| GeForce RTX 4090 48GB | 48 | — | 1,337 | 1.7 |
| Radeon PRO W7900 | 48 | — | 1,337 | 1.6 |
| RTX PRO 5000 Blackwell 48GB | 48 | — | 1,337 | 1.7 |
| CMP 170HX 64GB | 64 | — | 1,337 | 1.7 |
| Instinct MI210 | 64 | — | 1,337 | 1.7 |
| RTX PRO 5000 Blackwell 72GB | 72 | — | 1,337 | 1.7 |
| RTX PRO 6000D | 84 | — | 1,337 | 1.7 |
| RTX PRO 6000 Blackwell | 96 | — | 1,337 | 1.8 |
| Mac Studio M4 Max 128GB | 128 | — | 1,337 | 1.6 |
| Mac Studio M5 Max 128GB | 128 | — | 1,337 | 1.6 |
| MacBook Pro M4 Max 128GB | 128 | — | 1,337 | 1.6 |
| MacBook Pro M5 Max 128GB | 128 | — | 1,337 | 1.6 |
| Mac Studio M3 Ultra 512GB | 512 | — | 1,337 | 1.6 |
用 Ollama / llama.cpp / vLLM 本地部署 Qwen3.8 2.4T A95B
Ollama 库暂无官方标签。
llama.cpp 直接从 Hugging Face 拉 GGUF，-c 是上下文长度。
llama-server -hf unsloth/Qwen3.8-2.4T-A95B-GGUF:Q4_K_M -c 8192
vLLM 跑的是原始精度权重，显存要求比 GGUF 高得多，通常要多卡。
vllm serve Qwen/Qwen3.8-2.4T-A95B
量化文件名以模型库当周抓取为准，口径见数据方法。 数据方法
常见问题
Qwen3.8 2.4T A95B 需要多少显存？
在 Q4_K_M 量化、8K 上下文下 Qwen3.8 2.4T A95B 约需 1,366GB 显存，留到 1,640GB 更稳。
哪张显卡最便宜能跑 Qwen3.8 2.4T A95B？
收录的单卡都装不下 Qwen3.8 2.4T A95B，需要多卡或 Mac Studio 的统一内存。
Qwen3.8 2.4T A95B 能用 Ollama 跑吗？
暂时不能，Ollama 库还没有它的官方标签；可以用 llama.cpp 加载 GGUF。