本站含联盟链接。作为 eBay 合作伙伴和 Amazon 联盟成员,你通过本站链接购买时,我们可能获得佣金。我们可能从 eBay 和 Amazon 链接获得佣金。了解详情

收录显卡64价格追踪78 天近 24h 价格数据32,149 条24h 降价最多Tesla V100 32GB-21.3%24h 涨价最多GeForce RTX 5090 D+15.2%更新于
¥ CNY

Hy4 Flash 本地部署:显存要求与硬件配置

Hy4 Flash 是腾讯混元 2026 年 11 月开源的多模态 MoE,220B 参数、每个 token 只用约 12B,4-bit 文件约 168 GB。其中约 63 GB 是一张可以留在硬盘上按需读取的查找表,所以腾讯实测 128GB 内存的 Mac 和 DGX Spark 就能跑 4-bit。llama.cpp 的支持还没合进主线,要自己编译官方给的分支;Ollama 暂时没有。

Hy4 Flash 模型信息

  • 4-bit 最低显存(8K 上下文)170 GB
  • 参数量220B
  • 激活参数12B
  • 上下文上限1M
架构
MoE
专家卸载
8 GB 显存 + 164 GB 内存
发布日期
2026年11月18日
厂商
Tencent
Hugging Face 仓库
tencent/Hy4-flash
层数
42
隐藏维度
3,072
KV 头
32
头维度
64

Hy4 Flash 本地部署需要多少显存?

Hy4 Flash 的 4-bit 文件约 168 GB,整个放进显存再加 32K 上下文约 170 GB;2-bit 约 135 GB,3-bit 约 155 GB。这几个数都含一张约 63 GB 的 Engram 查找表,生成时每个 token 只查其中几十行,可以放进主机内存或留在硬盘上,4-bit 真正要常驻的部分约 105 GB。它的上下文很省,从 32K 开到 1M 只多 14 GB。

量化权重体积GB32K 上下文GB128K 上下文GB256K 上下文GB1M 上下文(最大)GB
1-bit102.8估104.4105.7107.5118.4
2-bit135GGUF136.5137.9139.7150.6
3-bit155.4GGUF156.9158.3160.1171
4-bit168.3GGUF169.8171.2173183.9
5-bit176.8估178.4179.7181.5192.4
8-bit237.7估239.2240.6242.4253.2
BF16/FP16392.2估393.8395.1396.9407.8

详细计算规则可在数据方法页查看。

单卡能跑 Hy4 Flash 吗?

要看量化,也要看那张查找表放在哪。按整个文件都常驻内存算,128GB 的整机只装得下 2-bit,4-bit 要 512GB 的 Mac Studio M3 Ultra。把约 63 GB 的查找表留在硬盘上按需读,128GB 就够跑 4-bit:腾讯 AngelSlim 团队实测,128GB 的 M5 Max 每秒约 44 到 48 个 token,DGX Spark 用专门的 SPARK-4Bit 版每秒约 26 到 33 个。独立显卡最大只有 96GB,放不下 4-bit 约 105 GB 的常驻部分,要靠多卡或把专家放进内存。

闲鱼
设备价格速度 t/s最大上下文
Mac Studio M3 Ultra 512GB整机 · 512 GB¥131,0004 条挂单56.81M

只列常见的显卡和整机,按价格从低到高排。

多卡跑 Hy4 Flash 要几张显卡?

多卡跑 Hy4 Flash 的 4-bit,最少要两张 96GB 的 RTX PRO 6000;换成 48GB 的卡要 4 张,24GB 的消费卡要 8 张。这是按整个文件平均分到各卡算的,把查找表放进主机内存还能再省下约 63 GB 显存。量化文件的多卡要用 llama.cpp 跑。官方 vLLM 配方跑的是原版和 FP8 权重,只支持 H100、H200、B200 这类数据中心卡,查找表默认放在主机内存里。

闲鱼
设备需要几张总价总显存速度 t/s总功耗
Tesla V100 32GB单卡 32 GB8 张¥42,304256 GB59.92,000 W
Radeon RX 7900 XTX单卡 24 GB8 张¥49,600192 GB62.72,840 W
GeForce RTX 3090单卡 24 GB8 张¥72,968192 GB61.62,800 W
Instinct MI210单卡 64 GB4 张¥73,996256 GB88.61,200 W
DGX Spark 128GB单台 128 GB2 台¥87,600256 GB22.6480 W
Arc Pro B70单卡 32 GB8 张¥91,600256 GB44.51,840 W
RTX A6000单卡 48 GB4 张¥136,000192 GB53.31,200 W
GeForce RTX 4090单卡 24 GB8 张¥192,800192 GB64.93,600 W
RTX PRO 5000 72GB单卡 72 GB4 张¥229,100288 GB78.61,200 W
RTX PRO 6000单卡 96 GB2 张¥247,000192 GB93.31,200 W
A100 80GB PCIe单卡 80 GB4 张¥323,600320 GB97.31,200 W
GeForce RTX 5090单卡 32 GB8 张¥400,000256 GB93.34,600 W
GeForce RTX 4090 48GB单卡 48 GB4 张暂无192 GB64.91,800 W

详细计算规则可在数据方法页查看。

用整机跑 Hy4 Flash 要什么配置?

只有一两张普通显卡时,把 Hy4 Flash 的专家和查找表放进内存最实际:4-bit 下显卡只要放约 8 GB 每个 token 都要用的公共部分,内存配 128GB 到 256GB。一张 RTX 3090 加双路 EPYC 的 DDR4 服务器估算每秒约 40 个 token;双通道台式机插满 128GB、再配两张 RTX 5070,也只够跑 2-bit,每秒约 29 个。速度按内存带宽估算,这个模型还没有公开的专家卸载实测。

闲鱼

2 × Tesla V100 32GB + E5 双路 DDR4

低价
出字速度32.9t/s
内存带宽137GB/s
显卡
2 × Tesla V100 32GB25 / 42 层专家放进 64 GB 显存
¥10,576
内存
128 GB DDR4-21338 条 × 16 GB
¥3,592
CPU
2 × Intel Xeon E5-2680 v4共 28 核 56 线程 · 8 通道
¥160
主板
Supermicro X10DRi16 个内存插槽
¥1,205
电源
海盗船 RM1200x SHIFT1,200 W
¥1,799
整机参考价¥17,332

GeForce RTX 3090 + EPYC 双路 DDR4

性价比
出字速度39.5t/s
内存带宽341GB/s
显卡
GeForce RTX 30907 / 42 层专家放进 24 GB 显存
¥9,121
内存
256 GB DDR4-266616 条 × 16 GB
¥8,000
CPU
2 × AMD EPYC 7532共 64 核 128 线程 · 16 通道
¥3,480
主板
Supermicro H12DSi-N616 个内存插槽
¥7,361
电源
海盗船 RM1200x SHIFT1,200 W
¥1,799
整机参考价¥29,761

GeForce RTX 5090 + EPYC 单路 DDR5

旗舰
出字速度63.6t/s
内存带宽461GB/s
显卡
GeForce RTX 509011 / 42 层专家放进 32 GB 显存
¥50,000
内存
192 GB DDR5-480012 条 × 16 GB
¥36,300
CPU
AMD EPYC 935432 核 64 线程 · 12 通道
¥12,246
主板
Supermicro H13SSL-N12 个内存插槽
¥5,487
电源
海盗船 RM1200x SHIFT1,200 W
¥1,799
整机参考价¥105,833

详细计算规则可在数据方法页查看。

部分购买链接是联盟链接:通过它们购买时我们可能获得佣金,你支付的价格不变。

本地部署 Hy4 Flash 要注意什么?

  1. llama.cpp 要自己编译官方分支

    llama.cpp 对 Hy4 Flash 的支持在 PR #32517 里,截至 11 月 18 日还没合并。AngelSlim 的 GGUF 说明给了两条路:直接编译这个 PR 的分支,或者在指定的旧版本上打仓库里附带的补丁,Mac 和 DGX Spark 各有一个。聊天时要加 --jinja。

  2. 参数为什么写 220B

    220B 是模型卡写的总参数,其中约 63.5B 是 Engram 查找表:模型按相邻两三个 token 的组合去查表,相当于自带一份短语记忆。骨干是 155.5B,每个 token 实际用到约 12B,所以它体积是两百多 B 级的,生成速度却按 12B 算。

  3. 量化选哪一档

    官方 GGUF 有三档常规量化。Q4_K_M 约 168 GB,是 AngelSlim 推荐的默认档;内存紧张再退到 Q3_K(约 155 GB)或 IQ2_AH(约 135 GB)。三档里查找表一样大,降档只压缩专家,所以从 4-bit 降到 2-bit 只省约 33 GB。另有两个给 DGX Spark 准备的 SPARK-4Bit 版,用的是 NVIDIA 的 4-bit 浮点格式。

  4. 思考默认开着

    reasoning_effort 默认是 high,也就是开着思考;要直接回答就传 no_think。官方推荐的采样参数是 temperature 0.9、top_p 1.0。它能看图,但用 llama.cpp 看图要另外加载一个 mmproj 文件,截至 11 月 18 日 GGUF 仓库里还没有放出来。

  5. 开到 1M 上下文只多 14 GB

    42 层里只有 12 层会记住整段上下文,另外 30 层只看最近 512 个 token,所以上下文缓存很小。腾讯说它的上下文缓存只有 Hy3 的 1/24。AngelSlim 给 DGX Spark 的推荐配置,直接把上下文开到了约 196K。

  6. 许可证不再是 Apache 2.0

    Hy4 Flash 改用腾讯自己的 Tencent Hy License,在 Apache 2.0 的基础上加了一条商用限制:对外提供模型 API 这类服务的公司,全球年营收超过 5000 万美元,或者要把模型用在月活超过 1 亿的产品里,都得先向腾讯取得书面授权。个人使用和公司内部使用不受这一条限制。

启动命令

llama.cpp

  • NVIDIA
  • AMD
  • Mac
  • CPU

运行前请按部署指南准备适配的运行环境与硬件。

终端
./build/bin/llama-server -m Hy4-flash-Q4_K_M-00001-of-00002.gguf \
  -c 8192 -ngl 99 --jinja --port 8080

vLLM

  • Linux
  • NVIDIA
  • Docker

运行前请按部署指南准备适配的运行环境与硬件。

终端
docker run --gpus all \
  -p 8000:8000 \
  --ipc=host \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  vllm/vllm-openai:hy4-flash tencent/Hy4-flash-FP8 \
    --tensor-parallel-size 8 \
    --speculative-config '{"num_speculative_tokens":5,"method":"dfly"}' \
    --attention-backend FLASHMLA_SPARSE \
    --tool-call-parser hy_v4 \
    --reasoning-parser hy_v4 \
    --enable-auto-tool-choice \
    --port 8000 \
    --served-model-name hy4-flash

Ollama

  • Windows
  • macOS
  • Linux

Ollama 库暂无官方标签。

量化文件名以模型库当周抓取为准,口径见数据方法。 数据方法

Hunyuan 家族的其他模型

模型总参数激活参数4-bit 模型大小
Hy3MoE295B21B182.2 GB
Hy4 previewMoE770B49B467.3 GB

关于 Hunyuan