Qwen3.8 2.4T A95B 如何本地部署？

Qwen3.8 2.4T A95B 是 Qwen 第一次开源的 Max 级大模型，约 2.4T 参数，只认文字、只有思考模式。它大到 2-bit 加 8K 上下文也要约 733 GB，没有任何单卡或整机装得下，8 张 96GB 卡也差一点；本站能算出的单机方案只有一种：12 通道 DDR5 服务器插满 768GB 内存、加一张 96GB 显卡跑 2-bit，约 21 tokens/s。

Qwen3.8 2.4T A95B 模型信息

4-bit 最低显存1,313 GB · 8K
参数量2,446B
激活参数95B
上下文上限256K

架构: MoE
专家卸载: 29 GB 显存 + 1,286 GB 内存
许可证: Qwen3.8-Max License
发布日期: 2026年8月12日
厂商: Alibaba
Hugging Face 仓库: Qwen/Qwen3.8-2.4T-A95B
GGUF 仓库: unsloth/Qwen3.8-2.4T-A95B-GGUF
NVFP4 仓库（Blackwell）: nvidia/Qwen3.8-2.4T-A95B-NVFP4
层数: 92
隐藏维度: 8,192
KV 头: 4
头维度: 256

Qwen3.8 2.4T A95B 本地部署需要多少显存？

量化	权重体积GB	8K 上下文GB	32K 上下文GB	128K 上下文GB	256K 上下文（最大）GB
1-bit	564GGUF	565.8	568.2	577.4	589.8
2-bit	730.7GGUF	732.5	734.9	744.1	756.5
3-bit	955.5GGUF	957.3	959.7	968.9	981.3
4-bit	1,310.9GGUF	1,312.7	1,315.1	1,324.3	1,336.7
5-bit	1,772.1估	1,774	1,776.3	1,785.5	1,797.9
8-bit	2,600.2GGUF	2,602	2,604.4	2,613.6	2,626
BF16/FP16	4,893.2GGUF	4,895	4,897.4	4,906.6	4,919

详细计算规则可在数据方法页查看。

单卡能跑 Qwen3.8 2.4T A95B 吗？

不能，没有任何一张显卡或一台整机装得下。连最小的 1-bit 档都有约 566 GB，超过了 512GB 统一内存的 Mac Studio M3 Ultra。8 张 96GB 显卡跑 2-bit 也差一点点：每张只能拿出九成显存，还得给上下文留地方。唯一能在一台机器上跑起来的办法，是 12 通道 DDR5 服务器插满 768GB 内存，配一张 RTX PRO 6000，把大部分专家放进内存跑 2-bit，每秒约 21 个 token。数据中心里，最小的部署是一台 8 卡 B300 服务器跑第三方做的 4-bit 版。

多卡跑 Qwen3.8 2.4T A95B 要几张显卡？

设备	需要几张	总价	总显存	速度 t/s	总功耗
Mac Studio M3 Ultra 512GB单台 512 GB	2 台	¥235,100	1,024 GB	19.1	960 W

设备	需要几张	总价	总显存	速度 t/s	总功耗
Mac Studio M3 Ultra 512GB单台 512 GB	4 台	¥470,200	2,048 GB	11.3	1,920 W

Mac Studio 按台联机用雷电 5 线互连，要用 MLX 或 exo 跑，vLLM 不支持。详细计算规则可在数据方法页查看。

用整机跑 Qwen3.8 2.4T A95B 要什么配置？

能在一台机器上跑起来的只有这套：12 通道 DDR5 服务器插满 768GB 内存（12 条 64GB），加一张 96GB 的 RTX PRO 6000，显卡放 92 层里 11 层的专家，其余全进内存，2-bit 约 21 tokens/s。它每个字要读 95B 参数，是 Qwen3.8 Flash Next 的近 16 倍，速度完全被内存带宽卡住；4-bit 加 8K 上下文约 1,313 GB，这台也装不下。

GeForce RTX 5090 + EPYC 双路 DDR5

旗舰

出字速度14.3t/s

内存带宽922GB/s

显卡: GeForce RTX 50900 / 92 层专家放进 32 GB 显存; ¥51,999
内存: 1,536 GB DDR5-480024 条 × 64 GB; ¥331,200
CPU: 2 × AMD EPYC 9354共 64 核 128 线程 · 24 通道; ¥24,490
主板: Gigabyte MZ73-LM024 个内存插槽; ¥8,699
电源: 海韵 PRIME PX-16001,600 W; ¥3,200

整机参考价¥419,588

8 × RTX PRO 6000 + EPYC 双路 DDR5 8 卡机

超大模型

出字速度18.9t/s

内存带宽922GB/s

显卡: 8 × RTX PRO 600056 / 92 层专家放进 768 GB 显存; ¥1,000,000
内存: 768 GB DDR5-480024 条 × 32 GB; ¥156,000
CPU: 2 × AMD EPYC 9354共 64 核 128 线程 · 24 通道; ¥24,490
准系统: ASUS ESC8000A-E128 个显卡位 · 24 个内存插槽; ¥34,000
电源: 自带 4 × 3,000 W 电源; 含在准系统里

整机参考价¥1,214,490

详细计算规则可在数据方法页查看。

部分购买链接是联盟链接：通过它们购买时我们可能获得佣金，你支付的价格不变。

本地部署 Qwen3.8 2.4T A95B 要注意什么？

只有思考模式、只认文字
开源权重不支持图片输入，也关不掉思考，每次回答都先输出思考内容；看图和不思考模式，只有 Qwen Cloud 上的 Qwen3.8-Max 才有。思考深度可以用 reasoning_effort 设成 xhigh（默认）、medium 或 low；官方采样参数是 temperature 1.0、top_p 0.95、top_k 20、presence_penalty 0。
量化档和体积
本站按 GGUF 文件算：2-bit 约 731 GB，3-bit 约 956 GB，4-bit 约 1,311 GB，8-bit 约 2,600 GB。Unsloth 还做了更极端的 1-bit，最小的 Q1_0 标注约 397 GB，但要用专门的 llama.cpp 分支编译、至少 450 GB 内存；本站表里的 1-bit 档按更大的 IQ1_M 算，没收录 Q1_0。
服务端部署
vLLM 要用 nightly 版，transformers 要 5.4.0 以上。按 vLLM 配方，官方 FP8 版要 16 张 B300（两台 8 卡）；第三方 Inferact 做的 NVFP4 版一台 8 卡 B300 就够，给 AMD 的 MXFP4 版是一台 8 卡 MI355X 或 MI325X。张量并行的卡数要能整除 64 个注意力头，所以 12 卡的配置不行。
许可证不是 Apache 2.0
用的是 Qwen3.8-Max License：月活超过 1 亿或月收入超过门槛的商业产品，要在界面上显著标出模型名；营收超过门槛、做模型 API 服务或 AI 编程和办公助手的公司，要先另外向 Qwen 申请授权。只在内部使用、不对第三方开放的，不受这条限制。
长上下文很省
92 层里只有 23 层看完整上下文，所以 2-bit 下从 8K 开到 256K 只多约 24 GB，和 700 多 GB 的权重比可以忽略。原生 256K，可以扩到约 1M。

启动命令

llama.cpp

NVIDIA
AMD
Mac
CPU

全部放进显存

终端

llama-server -hf unsloth/Qwen3.8-2.4T-A95B-GGUF:UD-IQ4_XS -c 8192

专家卸载

显存不够时加 --cpu-moe，把路由专家放进内存（约需 1,286 GB）。

终端

llama-server -hf unsloth/Qwen3.8-2.4T-A95B-GGUF:UD-IQ4_XS -c 8192 \
  -ngl 99 --cpu-moe

vLLM

Linux
NVIDIA
AMD

原版权重

终端

vllm serve Qwen/Qwen3.8-2.4T-A95B

NVFP4 · Blackwell

Blackwell 显卡（RTX 50 系、RTX PRO 6000、B200）能原生跑 NVFP4 权重，体积约为原版的三成。多卡加 --tensor-parallel-size 张数。

终端

vllm serve nvidia/Qwen3.8-2.4T-A95B-NVFP4

Ollama

Windows
macOS
Linux

Ollama 库暂无官方标签。

量化文件名以模型库当周抓取为准，口径见数据方法。数据方法

Qwen 家族的其他模型

模型	总参数	激活参数	4-bit 模型大小
Qwen3 8B稠密	8.2B	8.2B	5 GB
Qwen3.5 9B稠密	9.7B	9.7B	5.7 GB
Qwen3.6 27B稠密	27.8B	27.8B	16.8 GB
Qwen3.8 27B稠密	27.8B	27.8B	16.5 GB
Qwen3 32B稠密	32.8B	32.8B	19.8 GB
Qwen3.6 35B A3BMoE	36B	3B	22.1 GB
Qwen3.8 Flash NextMoE	176B	6B	111.3 GB

关于 Qwen

Qwen3.8 2.4T A95B 如何本地部署？

Qwen3.8 2.4T A95B 模型信息

Qwen3.8 2.4T A95B 本地部署需要多少显存？

单卡能跑 Qwen3.8 2.4T A95B 吗？

多卡跑 Qwen3.8 2.4T A95B 要几张显卡？

用整机跑 Qwen3.8 2.4T A95B 要什么配置？

Tesla V100 32GB + E5 双路 8 卡机

GeForce RTX 5090 + EPYC 双路 DDR5

4 × RTX PRO 6000 + EPYC 双路 DDR5

GeForce RTX 5090 + EPYC 双路 DDR5

8 × RTX PRO 6000 + EPYC 双路 DDR5 8 卡机

本地部署 Qwen3.8 2.4T A95B 要注意什么？

只有思考模式、只认文字

量化档和体积

服务端部署

许可证不是 Apache 2.0

长上下文很省

启动命令

llama.cpp

vLLM

Ollama

Qwen 家族的其他模型