本站含聯盟連結。身為 eBay 合作夥伴，你透過本站連結購買時，我們可能獲得佣金。身為 eBay 合作夥伴，我們可能獲得佣金。了解詳情

收錄顯卡57價格追蹤49 天近 24h 價格資料43,303 筆24h 降價最多Tesla V100 16GB-12.3%24h 漲價最多A100 80GB PCIe+9.4%更新於
NT$ TWD

Qwen3.8 Flash Next 如何本地部署？

Qwen3.8 Flash Next 是 Qwen 2026 年 8 月發布的大型 MoE，官方標示 125B 參數，但每個字只動用 6B，生成速度接近 7B 級的小模型。難處只在放不放得下：4-bit 約 111 GB，不是用 128GB 統一記憶體的整機整個放下，就是用一張 16GB 顯示卡加 128GB 記憶體，把專家放進系統記憶體來跑。

Qwen3.8 Flash Next 模型資訊

  • 4-bit 最低顯示記憶體113 GB · 8K
  • 參數量176B
  • 激活參數6B
  • 上下文上限256K
架構
MoE
專家卸載
5 GB 顯存 + 110 GB 記憶體
授權
Qwen Community License 1.0
發布日期
2026年8月26日
廠商
Alibaba
Hugging Face 倉庫
Qwen/Qwen3.8-Flash-Next
GGUF 倉庫
unsloth/Qwen3.8-Flash-Next-GGUF
NVFP4 倉庫（Blackwell）
nvidia/Qwen3.8-Flash-Next-NVFP4
MLX 倉庫（Apple）
mlx-community/Qwen3.8-Flash-Next-4bit
Ollama 標籤
qwen3.8-flash-next:125b-a6b-q4_K_M
層數
48
隱藏維度
2,560
KV 頭
2
頭維度
256

Qwen3.8 Flash Next 本地部署需要多少顯示記憶體？

量化權重體積GB8K 上下文GB32K 上下文GB128K 上下文GB256K 上下文（最大）GB
1-bit74.5GGUF75.876.478.882
2-bit78.9GGUF80.280.883.286.4
3-bit90GGUF91.391.994.397.5
4-bit111.3GGUF112.6113.2115.6118.8
5-bit158.3GGUF159.6160.2162.6165.8
8-bit188.2GGUF189.5190.1192.5195.7
BF16/FP16354GGUF355.3355.9358.3361.5

詳細計算規則可在資料方法頁查看。

單卡能跑 Qwen3.8 Flash Next 嗎？

4-bit 沒有哪張顯示卡單獨放得下，能單機整個裝下的只有 128GB 統一記憶體的整機。4-bit 加 8K 上下文約 113 GB，最大的單卡 RTX PRO 6000 也只能退到 2-bit 或 3-bit，好在退下來照樣飛快，2-bit 每秒約 149 個 token。DGX Spark、Ryzen AI Max+ 395 這類整機放得下 4-bit，每秒四十多個 token：它每個 token 只用約 6B 參數，要讀的資料少，整機頻寬不高也跑得順。只有一張一般顯示卡的話，就把大部分專家放進系統記憶體跑。

閒魚
裝置價格速度 t/s最大上下文
Ryzen AI Max+ 395 128GB整機 · 128 GBNT$92,64316 筆掛單40.8256K
DGX Spark 128GB整機 · 128 GBNT$209,66541 筆掛單42.9256K
MacBook Pro M5 Max 128GB整機 · 128 GBNT$222,80110 筆掛單77.1256K
Mac Studio M3 Ultra 512GB整機 · 512 GBNT$573,1654 筆掛單91.7256K

只列常見的顯示卡和整機，50B 以下和以上的模型各一組，按價格從低到高。

多卡跑 Qwen3.8 Flash Next 要幾張顯示卡？

想跑 4-bit，最省事的是兩張 96GB 的 RTX PRO 6000，每秒約 129 個 token。消費級顯示卡最實際的是 2-bit：4 張 24GB 的 RTX 3090 或 RX 7900 XTX 就放得下，每秒約 111 個 token。4-bit 加上 32K 上下文超出了 4 張 24GB 卡的容量，再往上就得 8 張；換成 32GB 的 RTX 5090，4 張剛好夠，速度和兩張 RTX PRO 6000 差不多。8-bit 要 4 張 RTX PRO 6000。官方提供了 vLLM 和 SGLang 的部署配方。

閒魚
裝置需要幾張總價總顯示記憶體速度 t/s總功耗
Tesla V100 32GB單卡 32 GB4 張NT$81,916128 GB92.81,000 W
Instinct MI210單卡 64 GB2 張NT$180,400128 GB124.5600 W
Radeon RX 7900 XTX單卡 24 GB8 張NT$222,108192 GB96.22,840 W
Arc Pro B70單卡 32 GB4 張NT$256,454128 GB73.1920 W
GeForce RTX 3090單卡 24 GB8 張NT$331,563192 GB94.92,800 W
RTX PRO 5000 72GB單卡 72 GB2 張NT$575,360144 GB114.1600 W
RTX A6000單卡 48 GB4 張NT$624,119192 GB84.61,200 W
GeForce RTX 4090單卡 24 GB8 張NT$975,186192 GB98.83,600 W
GeForce RTX 5090單卡 32 GB4 張NT$1,014,174128 GB1292,300 W
RTX PRO 6000單卡 96 GB2 張NT$1,218,982192 GB1291,200 W
A100 80GB PCIe單卡 80 GB2 張NT$1,365,260160 GB132.9600 W
GeForce RTX 4090 48GB單卡 48 GB4 張暫無192 GB98.81,800 W

詳細計算規則可在資料方法頁查看。

用整機跑 Qwen3.8 Flash Next 要什麼配置？

顯示記憶體不夠時，就把專家放進系統記憶體：顯示卡只放每個字都要用到的共用部分和少量專家，其餘留在記憶體裡。這時速度主要看記憶體頻寬：4-bit 下，雙通道 DDR4 桌機約 17 tokens/s，DDR5 桌機約 29，8 通道 DDR4 的二手伺服器約 46。另外還有一個專為這個模型寫的 Strata 引擎，12GB 顯示卡加 64GB 記憶體就能跑 2-bit 版，速度是 llama.cpp 的兩倍多。

閒魚

GeForce RTX 5070 + 家用 DDR5

家用
生成速度27.2t/s
記憶體頻寬96GB/s
顯示卡
GeForce RTX 50703 / 48 層專家放進 12 GB 顯示記憶體
NT$31,879
記憶體
128 GB DDR5-60004 條 × 32 GB
NT$54,669
CPU
AMD Ryzen 7 77008 核 16 執行緒 · 2 通道
NT$4,145
主機板
Gigabyte B650 EAGLE AX4 個記憶體插槽
NT$2,936
電源
海盜船 RM750e750 W
NT$4,871
整機參考價NT$98,500

Tesla V100 32GB + E5 雙路 DDR4

低價
生成速度36.3t/s
記憶體頻寬137GB/s
顯示卡
Tesla V100 32GB13 / 48 層專家放進 32 GB 顯示記憶體
NT$20,479
記憶體
128 GB DDR4-21338 條 × 16 GB
NT$16,968
CPU
2 × Intel Xeon E5-2680 v4共 28 核 56 執行緒 · 8 通道
NT$780
主機板
Supermicro X10DRi16 個記憶體插槽
NT$5,873
電源
海盜船 RM750e750 W
NT$4,871
整機參考價NT$48,971

GeForce RTX 3090 + EPYC 單路 DDR4

性價比
生成速度46.4t/s
記憶體頻寬171GB/s
顯示卡
GeForce RTX 30909 / 48 層專家放進 24 GB 顯示記憶體
NT$41,445
記憶體
128 GB DDR4-26668 條 × 16 GB
NT$26,915
CPU
AMD EPYC 753232 核 64 執行緒 · 8 通道
NT$8,483
主機板
Supermicro H12SSL-i8 個記憶體插槽
NT$35,889
電源
海盜船 RM850x850 W
NT$4,871
整機參考價NT$117,603

GeForce RTX 5090 + EPYC 單路 DDR5

旗艦
生成速度90.8t/s
記憶體頻寬461GB/s
顯示卡
GeForce RTX 509013 / 48 層專家放進 32 GB 顯示記憶體
NT$253,543
記憶體
192 GB DDR5-480012 條 × 16 GB
NT$204,789
CPU
AMD EPYC 935432 核 64 執行緒 · 12 通道
NT$59,706
主機板
Supermicro H13SSL-N12 個記憶體插槽
NT$26,754
電源
海盜船 RM1200x SHIFT1,200 W
NT$8,772
整機參考價NT$553,564

詳細計算規則可在資料方法頁查看。

部分購買連結是聯盟連結：透過它們購買時我們可能獲得佣金，你支付的價格不變。

本地部署 Qwen3.8 Flash Next 要注意什麼？

  1. 參數為什麼寫 176B

    官方標示的 125B 不含 51B 的 n-gram 查找表，也不含 4B 的多 token 預測層。本站以 125B 加上 51B 查找表、共 176B 估算顯示記憶體，因為這張表也要佔空間；但它在生成時只會依需要讀取，所以速度仍以每個字用到的 6B 估算。

  2. 量化選哪一檔

    記憶體或顯示記憶體吃緊就選 2-bit（約 79 GB）或 3-bit（約 90 GB），夠用再升到 4-bit（約 111 GB）；重視回答品質的話，就別低於 3-bit。Strata 用的那套量化版由 ISTA-DASLab 製作，他們表示其中的 IQ3_S 在公開測試上和原模型持平，本站沒有重新測試。

  3. 用哪個框架

    官方推薦伺服器端用 SGLang、KTransformers 或 vLLM。在個人電腦上，llama.cpp 和 Ollama 最省事，Ollama 標籤是 qwen3.8-flash-next:125b-a6b-q4_K_M。12GB 到 24GB 的顯示卡想要速度，就用 Strata。

  4. 官方建議的取樣參數

    思考模式：temperature 1.0、top_p 0.95、top_k 20。非思考模式：temperature 0.7、top_p 0.8、top_k 20、presence_penalty 1.5。

  5. 長上下文幾乎不佔顯示記憶體

    原生 256K，可以擴展到 1M。它大部分的層用的是不會隨上下文變長的注意力，上下文快取很小：4-bit 下從 8K 加到 256K，顯示記憶體只多約 6 GB。

啟動指令

Ollama

  • Windows
  • macOS
  • Linux
終端機
ollama run qwen3.8-flash-next:125b-a6b-q4_K_M

llama.cpp

  • NVIDIA
  • AMD
  • Mac
  • CPU
全部放進顯示記憶體
終端機
llama-server -hf unsloth/Qwen3.8-Flash-Next-GGUF:UD-Q4_K_XL -c 8192
專家卸載

顯示記憶體不夠時加上 --cpu-moe，把路由專家放進系統記憶體（約需 110 GB）。

終端機
llama-server -hf unsloth/Qwen3.8-Flash-Next-GGUF:UD-Q4_K_XL -c 8192 \
  -ngl 99 --cpu-moe

vLLM

  • Linux
  • NVIDIA
  • AMD
原版權重
終端機
vllm serve Qwen/Qwen3.8-Flash-Next
NVFP4 · Blackwell

Blackwell 顯示卡（RTX 50 系列、RTX PRO 6000、B200）能原生執行 NVFP4 權重，體積約為原版的三成。多卡加上 --tensor-parallel-size 張數。

終端機
vllm serve nvidia/Qwen3.8-Flash-Next-NVFP4

MLX

  • Apple 晶片

能看圖的模型用 mlx-vlm：在 Mac 上先 pip install mlx-vlm，這條指令會從 Hugging Face 下載 MLX 權重並啟動服務。

終端機
mlx_vlm.server --model mlx-community/Qwen3.8-Flash-Next-4bit

量化檔名以模型庫當週抓取為準，口徑見資料方法。 資料方法

Qwen 家族的其他模型

模型總參數激活參數4-bit 模型大小
Qwen3 8B稠密8.2B8.2B5 GB
Qwen3.5 9B稠密9.7B9.7B5.7 GB
Qwen3.6 27B稠密27.8B27.8B16.8 GB
Qwen3.8 27B稠密27.8B27.8B16.5 GB
Qwen3 32B稠密32.8B32.8B19.8 GB
Qwen3.6 35B A3BMoE36B3B22.1 GB
Qwen3.8 2.4T A95BMoE2,446B95B1,310.9 GB

關於 Qwen