本站含联盟链接。作为 eBay 合作伙伴，你通过本站链接购买时，我们可能获得佣金。作为 eBay 合作伙伴，我们可能获得佣金。了解详情

收录显卡57价格追踪49 天近 24h 价格数据43,303 条24h 降价最多Tesla V100 16GB-12.3%24h 涨价最多A100 80GB PCIe+9.4%更新于
¥ CNY

Qwen3.8 Flash Next 如何本地部署？

Qwen3.8 Flash Next 是 Qwen 2026 年 8 月发布的大号 MoE，官方写 125B 参数，但每个字只用 6B，生成速度接近 7B 级的小模型。难点只在装得下：4-bit 约 111 GB，要么用 128GB 统一内存的整机整个装下，要么用一张 16GB 显卡加 128GB 内存，把专家放进内存跑。

Qwen3.8 Flash Next 模型信息

  • 4-bit 最低显存113 GB · 8K
  • 参数量176B
  • 激活参数6B
  • 上下文上限256K
架构
MoE
专家卸载
5 GB 显存 + 110 GB 内存
许可证
Qwen Community License 1.0
发布日期
2026年8月26日
厂商
Alibaba
Hugging Face 仓库
Qwen/Qwen3.8-Flash-Next
GGUF 仓库
unsloth/Qwen3.8-Flash-Next-GGUF
NVFP4 仓库（Blackwell）
nvidia/Qwen3.8-Flash-Next-NVFP4
MLX 仓库（Apple）
mlx-community/Qwen3.8-Flash-Next-4bit
Ollama 标签
qwen3.8-flash-next:125b-a6b-q4_K_M
层数
48
隐藏维度
2,560
KV 头
2
头维度
256

Qwen3.8 Flash Next 本地部署需要多少显存？

量化权重体积GB8K 上下文GB32K 上下文GB128K 上下文GB256K 上下文（最大）GB
1-bit74.5GGUF75.876.478.882
2-bit78.9GGUF80.280.883.286.4
3-bit90GGUF91.391.994.397.5
4-bit111.3GGUF112.6113.2115.6118.8
5-bit158.3GGUF159.6160.2162.6165.8
8-bit188.2GGUF189.5190.1192.5195.7
BF16/FP16354GGUF355.3355.9358.3361.5

详细计算规则可在数据方法页查看。

单卡能跑 Qwen3.8 Flash Next 吗？

4-bit 没有哪张显卡单独装得下，单机能整个放下的只有 128GB 统一内存的整机。4-bit 加 8K 上下文约 113 GB，最大的单卡 RTX PRO 6000 也只能退到 2-bit 或 3-bit，好在退下来照样飞快，2-bit 每秒约 149 个 token。DGX Spark、Ryzen AI Max+ 395 这类整机装得下 4-bit，每秒四十个 token 出头：它每个 token 只用约 6B 参数，要读的数据少，整机带宽不高也跑得顺。只有一张普通显卡的话，就把大部分专家放进内存跑。

闲鱼
设备价格速度 t/s最大上下文
Ryzen AI Max+ 395 128GB整机 · 128 GB¥19,00016 条挂单40.8256K
DGX Spark 128GB整机 · 128 GB¥43,00041 条挂单42.9256K
MacBook Pro M5 Max 128GB整机 · 128 GB¥45,69410 条挂单77.1256K
Mac Studio M3 Ultra 512GB整机 · 512 GB¥117,5504 条挂单91.7256K

只列常见的显卡和整机，50B 以下和以上的模型各一组，按价格从低到高。

多卡跑 Qwen3.8 Flash Next 要几张显卡？

想跑 4-bit，最省事的是两张 96GB 的 RTX PRO 6000，每秒约 129 个 token。消费卡最实际的是 2-bit：4 张 24GB 的 RTX 3090 或 RX 7900 XTX 就装得下，每秒约 111 个 token。4-bit 加上 32K 上下文超出了 4 张 24GB 卡的容量，再往上就得 8 张；换成 32GB 的 RTX 5090，4 张刚好够，速度和两张 RTX PRO 6000 相当。8-bit 要 4 张 RTX PRO 6000。官方给了 vLLM 和 SGLang 的部署配方。

闲鱼
设备需要几张总价总显存速度 t/s总功耗
Tesla V100 32GB单卡 32 GB4 张¥16,800128 GB92.81,000 W
Instinct MI210单卡 64 GB2 张¥36,998128 GB124.5600 W
Radeon RX 7900 XTX单卡 24 GB8 张¥45,552192 GB96.22,840 W
Arc Pro B70单卡 32 GB4 张¥52,596128 GB73.1920 W
GeForce RTX 3090单卡 24 GB8 张¥68,000192 GB94.92,800 W
RTX PRO 5000 72GB单卡 72 GB2 张¥118,000144 GB114.1600 W
RTX A6000单卡 48 GB4 张¥128,000192 GB84.61,200 W
GeForce RTX 4090单卡 24 GB8 张¥200,000192 GB98.83,600 W
GeForce RTX 5090单卡 32 GB4 张¥207,996128 GB1292,300 W
RTX PRO 6000单卡 96 GB2 张¥250,000192 GB1291,200 W
A100 80GB PCIe单卡 80 GB2 张¥280,000160 GB132.9600 W
GeForce RTX 4090 48GB单卡 48 GB4 张暂无192 GB98.81,800 W

详细计算规则可在数据方法页查看。

用整机跑 Qwen3.8 Flash Next 要什么配置？

显存不够时，就把专家放进内存：显卡只放每个字都要用的公共部分和少量专家，其余留在内存里。这时速度主要看内存带宽：4-bit 下双通道 DDR4 台式机约 17 tokens/s，DDR5 台式机约 29，8 通道 DDR4 的二手服务器约 46。还有一个专门为这个模型写的 Strata 引擎，12GB 显卡加 64GB 内存就能跑 2-bit 版，速度是 llama.cpp 的两倍多。

闲鱼

GeForce RTX 5070 + 家用 DDR5

家用
出字速度27.2t/s
内存带宽96GB/s
显卡
GeForce RTX 50703 / 48 层专家放进 12 GB 显存
¥6,538
内存
128 GB DDR5-60004 条 × 32 GB
¥11,212
CPU
AMD Ryzen 7 77008 核 16 线程 · 2 通道
¥850
主板
Gigabyte B650 EAGLE AX4 个内存插槽
¥602
电源
海盗船 RM750e750 W
¥999
整机参考价¥20,201

Tesla V100 32GB + E5 双路 DDR4

低价
出字速度36.3t/s
内存带宽137GB/s
显卡
Tesla V100 32GB13 / 48 层专家放进 32 GB 显存
¥4,200
内存
128 GB DDR4-21338 条 × 16 GB
¥3,480
CPU
2 × Intel Xeon E5-2680 v4共 28 核 56 线程 · 8 通道
¥160
主板
Supermicro X10DRi16 个内存插槽
¥1,204
电源
海盗船 RM750e750 W
¥999
整机参考价¥10,043

GeForce RTX 3090 + EPYC 单路 DDR4

性价比
出字速度46.4t/s
内存带宽171GB/s
显卡
GeForce RTX 30909 / 48 层专家放进 24 GB 显存
¥8,500
内存
128 GB DDR4-26668 条 × 16 GB
¥5,520
CPU
AMD EPYC 753232 核 64 线程 · 8 通道
¥1,740
主板
Supermicro H12SSL-i8 个内存插槽
¥7,360
电源
海盗船 RM850x850 W
¥999
整机参考价¥24,119

GeForce RTX 5090 + EPYC 单路 DDR5

旗舰
出字速度90.8t/s
内存带宽461GB/s
显卡
GeForce RTX 509013 / 48 层专家放进 32 GB 显存
¥51,999
内存
192 GB DDR5-480012 条 × 16 GB
¥42,000
CPU
AMD EPYC 935432 核 64 线程 · 12 通道
¥12,245
主板
Supermicro H13SSL-N12 个内存插槽
¥5,487
电源
海盗船 RM1200x SHIFT1,200 W
¥1,799
整机参考价¥113,530

详细计算规则可在数据方法页查看。

部分购买链接是联盟链接：通过它们购买时我们可能获得佣金，你支付的价格不变。

本地部署 Qwen3.8 Flash Next 要注意什么？

  1. 参数为什么写 176B

    官方写的 125B 不含 51B 的 n-gram 查找表，也不含 4B 的多 token 预测层。本站按 125B 加上 51B 查找表、共 176B 估算显存，因为这张表也要占地方；但它在生成时只按需读取，所以速度仍按每个字用的 6B 估算。

  2. 量化选哪一档

    内存或显存紧张就选 2-bit（约 79 GB）或 3-bit（约 90 GB），够用再上 4-bit（约 111 GB）；看重回答质量，就别低于 3-bit。Strata 用的那套量化版由 ISTA-DASLab 制作，他们称其中的 IQ3_S 在公开测试上和原模型持平，本站没有复测。

  3. 用什么框架

    官方推荐服务端用 SGLang、KTransformers 或 vLLM。个人电脑上 llama.cpp 和 Ollama 最省事，Ollama 标签是 qwen3.8-flash-next:125b-a6b-q4_K_M。12GB 到 24GB 的显卡想要速度，就用 Strata。

  4. 官方推荐的采样参数

    思考模式：temperature 1.0、top_p 0.95、top_k 20。非思考模式：temperature 0.7、top_p 0.8、top_k 20、presence_penalty 1.5。

  5. 长上下文几乎不占显存

    原生 256K，可以扩到 1M。它大部分层用的是不随上下文变长的注意力，上下文缓存很小：4-bit 下从 8K 加到 256K，显存只多约 6 GB。

启动命令

Ollama

  • Windows
  • macOS
  • Linux
终端
ollama run qwen3.8-flash-next:125b-a6b-q4_K_M

llama.cpp

  • NVIDIA
  • AMD
  • Mac
  • CPU
全部放进显存
终端
llama-server -hf unsloth/Qwen3.8-Flash-Next-GGUF:UD-Q4_K_XL -c 8192
专家卸载

显存不够时加 --cpu-moe，把路由专家放进内存（约需 110 GB）。

终端
llama-server -hf unsloth/Qwen3.8-Flash-Next-GGUF:UD-Q4_K_XL -c 8192 \
  -ngl 99 --cpu-moe

vLLM

  • Linux
  • NVIDIA
  • AMD
原版权重
终端
vllm serve Qwen/Qwen3.8-Flash-Next
NVFP4 · Blackwell

Blackwell 显卡（RTX 50 系、RTX PRO 6000、B200）能原生跑 NVFP4 权重，体积约为原版的三成。多卡加 --tensor-parallel-size 张数。

终端
vllm serve nvidia/Qwen3.8-Flash-Next-NVFP4

MLX

  • Apple 芯片

能看图的模型用 mlx-vlm：Mac 上先 pip install mlx-vlm，这条命令会从 Hugging Face 下载 MLX 权重并启动服务。

终端
mlx_vlm.server --model mlx-community/Qwen3.8-Flash-Next-4bit

量化文件名以模型库当周抓取为准，口径见数据方法。 数据方法

Qwen 家族的其他模型

模型总参数激活参数4-bit 模型大小
Qwen3 8B稠密8.2B8.2B5 GB
Qwen3.5 9B稠密9.7B9.7B5.7 GB
Qwen3.6 27B稠密27.8B27.8B16.8 GB
Qwen3.8 27B稠密27.8B27.8B16.5 GB
Qwen3 32B稠密32.8B32.8B19.8 GB
Qwen3.6 35B A3BMoE36B3B22.1 GB
Qwen3.8 2.4T A95BMoE2,446B95B1,310.9 GB

关于 Qwen