Qwen3.8 2.4T A95B 如何本地部署？
Qwen3.8 2.4T A95B 是 MoE 模型，總參數 2,446B，每 token 啟用 95B。Q4 量化整機放顯存需要 1,366GB；把專家放進系統記憶體後只需 30GB 顯存 + 1,337GB 記憶體。收錄的單卡都裝不下它，需要多卡或 Mac Studio 的統一記憶體。卸載模式下最便宜能跑的顯示卡是 Instinct MI50 32GB，預估 2 tokens/s。
Qwen3.8 2.4T A95B 版本資訊
Qwen3.8 2.4T A95B 本地部署需要多少顯示記憶體？
MoE：總參數 2,446B 全部要常駐記憶體，速度按每 token 啟用的 95B 計算。
| 量化 | 權重體積GB | 8K 總記憶體GB | 32K 總記憶體GB | 128K 總記憶體GB |
|---|---|---|---|---|
| 1-bit | 564GGUF | 575.8 | 577.9 | 586.6 |
| 2-bit | 730.7GGUF | 910.6 | 912.8 | 921.4 |
| 3-bit | 955.5GGUF | 1,173.8 | 1,175.9 | 1,184.5 |
| 4-bit | 1,310.9GGUF | 1,365.1 | 1,367.3 | 1,375.9 |
| 5-bit | 1,650.4估 | 1,652.1 | 1,654.3 | 1,662.9 |
| 8-bit | 2,600.2GGUF | 2,537.1 | 2,539.3 | 2,547.9 |
| FP16 | 4,893.2GGUF | 4,785.6 | 4,787.7 | 4,796.3 |
總記憶體 = 權重 + KV cache（FP16）+ 1GB 執行開銷。標 GGUF 的權重是倉庫裡的實測檔案體積，標「估」的按每參數位元組估算。超過這個模型 256K 上下文上限的檔位寫「—」。各檔取倉庫裡該位元數的任一檔案，優先 unsloth 動態量化，所以同一檔不同模型對應的檔名可能不同。
什麼顯示卡能跑 Qwen3.8 2.4T A95B？
閒魚
收錄的單卡都裝不下 Qwen3.8 2.4T A95B：Q4_K_M、8K 上下文下至少需要 1,366GB 記憶體。
多卡方案至少要湊足 1,366GB 記憶體。
收錄的統一記憶體機型也裝不下。
Qwen3.8 2.4T A95B 混合推論推薦顯示卡
閒魚
專家權重放系統記憶體，需要 ≥ 1,337 GB 記憶體；顯存只放注意力層、共享專家和 KV cache，Q4 下最低 30 GB。速度受記憶體頻寬限制（按 70 GB/s 估算），比整機放顯存慢得多。
| 裝置 | 顯存GB | 價 | 需記憶體GB | 預估 t/s |
|---|---|---|---|---|
 Instinct MI50 32GB | 32 | NT$12,751 | 1,337 | 1.7 |
 Tesla V100 32GB | 32 | NT$14,974 | 1,337 | 1.7 |
 Arc Pro B70 | 32 | NT$46,090 | 1,337 | 1.5 |
| Radeon AI PRO R9700 | 32 | NT$51,705 | 1,337 | 1.6 |
| CMP 170HX 40GB | 40 | NT$52,875 | 1,337 | 1.7 |
| Radeon PRO W7800 | 32 | NT$58,022 | 1,337 | 1.5 |
| CMP 170HX 64GB | 64 | NT$65,743 | 1,337 | 1.7 |
| Instinct MI210 | 64 | NT$86,566 | 1,337 | 1.7 |
| Radeon PRO W7900 | 48 | NT$102,943 | 1,337 | 1.6 |
| RTX PRO 4500 Blackwell | 32 | NT$120,958 | 1,337 | 1.7 |
| GeForce RTX 4090 48GB | 48 | NT$124,467 | 1,337 | 1.7 |
| A100 40GB PCIe | 40 | NT$144,822 | 1,337 | 1.7 |
| Mac Studio M4 Max 128GB | 128 | NT$150,671 | 1,337 | 1.6 |
| DGX Spark 128GB | 128 | NT$152,075 | 1,337 | 1.4 |
| GeForce RTX 5090 D | 32 | NT$153,947 | 1,337 | 1.8 |
| MacBook Pro M4 Max 128GB | 128 | NT$165,645 | 1,337 | 1.6 |
| Mac Studio M5 Max 128GB | 128 | NT$185,064 | 1,337 | 1.6 |
| GeForce RTX 5090 | 32 | NT$204,950 | 1,337 | 1.8 |
| RTX PRO 5000 Blackwell 48GB | 48 | NT$218,988 | 1,337 | 1.7 |
| MacBook Pro M5 Max 128GB | 128 | NT$256,422 | 1,337 | 1.6 |
| RTX PRO 5000 Blackwell 72GB | 72 | NT$304,150 | 1,337 | 1.7 |
| RTX PRO 6000D | 84 | NT$318,188 | 1,337 | 1.7 |
| RTX PRO 6000 Blackwell | 96 | NT$579,756 | 1,337 | 1.8 |
| Mac Studio M3 Ultra 512GB | 512 | NT$607,832 | 1,337 | 1.6 |
| Arc Pro B65 | 32 | — | 1,337 | 1.5 |
| GeForce RTX 4080 SUPER 32GB | 32 | — | 1,337 | 1.7 |
| Instinct MI100 | 32 | — | 1,337 | 1.7 |
| Ryzen AI Max+ 395 128GB | 128 | — | 1,337 | 1.3 |
用 Ollama / llama.cpp / vLLM 本地部署 Qwen3.8 2.4T A95B
Ollama 庫暫無官方標籤。
llama.cpp 直接從 Hugging Face 拉 GGUF，-c 是上下文長度。
llama-server -hf unsloth/Qwen3.8-2.4T-A95B-GGUF:Q4_K_M -c 8192
vLLM 跑的是原始精度權重，記憶體需求比 GGUF 高得多，通常要多卡。
vllm serve Qwen/Qwen3.8-2.4T-A95B
量化檔名以模型庫當週抓取為準，口徑見資料方法。 資料方法
常見問題
Qwen3.8 2.4T A95B 需要多少記憶體？
在 Q4_K_M 量化、8K 上下文下 Qwen3.8 2.4T A95B 約需 1,366GB 記憶體，留到 1,640GB 更穩。
哪張顯示卡最便宜能跑 Qwen3.8 2.4T A95B？
收錄的單卡都裝不下 Qwen3.8 2.4T A95B，需要多卡或 Mac Studio 的統一記憶體。
Qwen3.8 2.4T A95B 能用 Ollama 跑嗎？
暫時不行，Ollama 庫還沒有它的官方標籤；可以用 llama.cpp 載入 GGUF。