Qwen3.8 2.4T A95B 如何本地部署？

Qwen3.8 2.4T A95B 是 Qwen 首度開源的 Max 級大模型，約 2.4T 參數，只認得文字、只有思考模式。它大到 2-bit 加 8K 上下文也要約 733 GB，沒有任何單卡或整機放得下，8 張 96GB 的卡也差一點；本站能算出的單機方案只有一種：12 通道 DDR5 伺服器插滿 768GB 記憶體、加一張 96GB 顯示卡跑 2-bit，約 21 tokens/s。

Qwen3.8 2.4T A95B 模型資訊

4-bit 最低顯示記憶體1,313 GB · 8K
參數量2,446B
激活參數95B
上下文上限256K

架構: MoE
專家卸載: 29 GB 顯存 + 1,286 GB 記憶體
授權: Qwen3.8-Max License
發布日期: 2026年8月12日
廠商: Alibaba
Hugging Face 倉庫: Qwen/Qwen3.8-2.4T-A95B
GGUF 倉庫: unsloth/Qwen3.8-2.4T-A95B-GGUF
NVFP4 倉庫（Blackwell）: nvidia/Qwen3.8-2.4T-A95B-NVFP4
層數: 92
隱藏維度: 8,192
KV 頭: 4
頭維度: 256

Qwen3.8 2.4T A95B 本地部署需要多少顯示記憶體？

量化	權重體積GB	8K 上下文GB	32K 上下文GB	128K 上下文GB	256K 上下文（最大）GB
1-bit	564GGUF	565.8	568.2	577.4	589.8
2-bit	730.7GGUF	732.5	734.9	744.1	756.5
3-bit	955.5GGUF	957.3	959.7	968.9	981.3
4-bit	1,310.9GGUF	1,312.7	1,315.1	1,324.3	1,336.7
5-bit	1,772.1估	1,774	1,776.3	1,785.5	1,797.9
8-bit	2,600.2GGUF	2,602	2,604.4	2,613.6	2,626
BF16/FP16	4,893.2GGUF	4,895	4,897.4	4,906.6	4,919

詳細計算規則可在資料方法頁查看。

單卡能跑 Qwen3.8 2.4T A95B 嗎？

不行，沒有任何一張顯示卡或一台整機放得下。就連最小的 1-bit 檔也有約 566 GB，超過 512GB 統一記憶體的 Mac Studio M3 Ultra。8 張 96GB 顯示卡跑 2-bit 也差一點點：每張只能拿出九成顯示記憶體，還得替上下文留空間。唯一能在一台機器上跑起來的辦法，是 12 通道 DDR5 伺服器插滿 768GB 記憶體，搭一張 RTX PRO 6000，把大部分專家放進系統記憶體跑 2-bit，每秒約 21 個 token。資料中心裡，最小的部署是一台 8 卡 B300 伺服器跑第三方製作的 4-bit 版。

多卡跑 Qwen3.8 2.4T A95B 要幾張顯示卡？

裝置	需要幾張	總價	總顯示記憶體	速度 t/s	總功耗
Mac Studio M3 Ultra 512GB單台 512 GB	2 台	NT$1,146,331	1,024 GB	19.1	960 W

裝置	需要幾張	總價	總顯示記憶體	速度 t/s	總功耗
Mac Studio M3 Ultra 512GB單台 512 GB	4 台	NT$2,292,662	2,048 GB	11.3	1,920 W

Mac Studio 以 Thunderbolt 5 線串接，要用 MLX 或 exo 執行，vLLM 不支援。詳細計算規則可在資料方法頁查看。

用整機跑 Qwen3.8 2.4T A95B 要什麼配置？

能在一台機器上跑起來的只有這一套：12 通道 DDR5 伺服器插滿 768GB 記憶體（12 條 64GB），加一張 96GB 的 RTX PRO 6000，顯示卡放 92 層中 11 層的專家，其餘全部放進記憶體，2-bit 約 21 tokens/s。它每個字要讀 95B 參數，將近 Qwen3.8 Flash Next 的 16 倍，速度完全被記憶體頻寬卡住；4-bit 加 8K 上下文約 1,313 GB，這台也放不下。

GeForce RTX 5090 + EPYC 雙路 DDR5

旗艦

生成速度14.3t/s

記憶體頻寬922GB/s

顯示卡: GeForce RTX 50900 / 92 層專家放進 32 GB 顯示記憶體; NT$253,543
記憶體: 1,536 GB DDR5-480024 條 × 64 GB; NT$1,614,908
CPU: 2 × AMD EPYC 9354共 64 核 128 執行緒 · 24 通道; NT$119,413
主機板: Gigabyte MZ73-LM024 個記憶體插槽; NT$42,414
電源: 海韻 PRIME PX-16001,600 W; NT$15,603

整機參考價NT$2,045,881

8 × RTX PRO 6000 + EPYC 雙路 DDR5 8 卡機

超大模型

生成速度18.9t/s

記憶體頻寬922GB/s

顯示卡: 8 × RTX PRO 600056 / 92 層專家放進 768 GB 顯示記憶體; NT$4,875,929
記憶體: 768 GB DDR5-480024 條 × 32 GB; NT$760,645
CPU: 2 × AMD EPYC 9354共 64 核 128 執行緒 · 24 通道; NT$119,413
準系統: ASUS ESC8000A-E128 個顯示卡位 · 24 個記憶體插槽; NT$165,782
電源: 內建 4 × 3,000 W 電源; 含在準系統內

整機參考價NT$5,921,768

詳細計算規則可在資料方法頁查看。

部分購買連結是聯盟連結：透過它們購買時我們可能獲得佣金，你支付的價格不變。

本地部署 Qwen3.8 2.4T A95B 要注意什麼？

只有思考模式、只認得文字
開源權重不支援圖片輸入，也關不掉思考，每次回答都會先輸出思考內容；看圖和不思考模式，只有 Qwen Cloud 上的 Qwen3.8-Max 才有。思考深度可以用 reasoning_effort 設成 xhigh（預設）、medium 或 low；官方取樣參數是 temperature 1.0、top_p 0.95、top_k 20、presence_penalty 0。
量化檔位和體積
本站依 GGUF 檔案計算：2-bit 約 731 GB，3-bit 約 956 GB，4-bit 約 1,311 GB，8-bit 約 2,600 GB。Unsloth 還做了更極端的 1-bit，最小的 Q1_0 標示約 397 GB，但要用專門的 llama.cpp 分支編譯、至少需要 450 GB 記憶體；本站表中的 1-bit 檔是以更大的 IQ1_M 計算，沒有收錄 Q1_0。
伺服器端部署
vLLM 要用 nightly 版，transformers 要 5.4.0 以上。依 vLLM 配方，官方 FP8 版需要 16 張 B300（兩台 8 卡）；第三方 Inferact 製作的 NVFP4 版一台 8 卡 B300 就夠，給 AMD 用的 MXFP4 版則是一台 8 卡 MI355X 或 MI325X。張量平行的卡數必須能整除 64 個注意力頭，所以 12 卡的配置行不通。
授權條款不是 Apache 2.0
採用的是 Qwen3.8-Max License：月活躍用戶超過 1 億或月營收超過門檻的商業產品，要在介面上明顯標示模型名稱；營收超過門檻、經營模型 API 服務或 AI 程式開發與辦公助理的公司，要先另外向 Qwen 申請授權。只在內部使用、不對第三方開放的，不受這條限制。
長上下文很省
92 層中只有 23 層看完整上下文，所以 2-bit 下從 8K 開到 256K 只多約 24 GB，和 700 多 GB 的權重相比可以忽略。原生 256K，可以擴展到約 1M。

啟動指令

llama.cpp

NVIDIA
AMD
Mac
CPU

全部放進顯示記憶體

終端機

llama-server -hf unsloth/Qwen3.8-2.4T-A95B-GGUF:UD-IQ4_XS -c 8192

專家卸載

顯示記憶體不夠時加上 --cpu-moe，把路由專家放進系統記憶體（約需 1,286 GB）。

終端機

llama-server -hf unsloth/Qwen3.8-2.4T-A95B-GGUF:UD-IQ4_XS -c 8192 \
  -ngl 99 --cpu-moe

vLLM

Linux
NVIDIA
AMD

原版權重

終端機

vllm serve Qwen/Qwen3.8-2.4T-A95B

NVFP4 · Blackwell

Blackwell 顯示卡（RTX 50 系列、RTX PRO 6000、B200）能原生執行 NVFP4 權重，體積約為原版的三成。多卡加上 --tensor-parallel-size 張數。

終端機

vllm serve nvidia/Qwen3.8-2.4T-A95B-NVFP4

Ollama

Windows
macOS
Linux

Ollama 庫暫無官方標籤。

量化檔名以模型庫當週抓取為準，口徑見資料方法。資料方法

Qwen 家族的其他模型

模型	總參數	激活參數	4-bit 模型大小
Qwen3 8B稠密	8.2B	8.2B	5 GB
Qwen3.5 9B稠密	9.7B	9.7B	5.7 GB
Qwen3.6 27B稠密	27.8B	27.8B	16.8 GB
Qwen3.8 27B稠密	27.8B	27.8B	16.5 GB
Qwen3 32B稠密	32.8B	32.8B	19.8 GB
Qwen3.6 35B A3BMoE	36B	3B	22.1 GB
Qwen3.8 Flash NextMoE	176B	6B	111.3 GB

關於 Qwen

Qwen3.8 2.4T A95B 如何本地部署？

Qwen3.8 2.4T A95B 模型資訊

Qwen3.8 2.4T A95B 本地部署需要多少顯示記憶體？

單卡能跑 Qwen3.8 2.4T A95B 嗎？

多卡跑 Qwen3.8 2.4T A95B 要幾張顯示卡？

用整機跑 Qwen3.8 2.4T A95B 要什麼配置？

Tesla V100 32GB + E5 雙路 8 卡機

GeForce RTX 5090 + EPYC 雙路 DDR5

4 × RTX PRO 6000 + EPYC 雙路 DDR5

GeForce RTX 5090 + EPYC 雙路 DDR5

8 × RTX PRO 6000 + EPYC 雙路 DDR5 8 卡機

本地部署 Qwen3.8 2.4T A95B 要注意什麼？

只有思考模式、只認得文字

量化檔位和體積

伺服器端部署

授權條款不是 Apache 2.0

長上下文很省

啟動指令

llama.cpp

vLLM

Ollama

Qwen 家族的其他模型