Hy4 Flash 本地部署:显存要求与硬件配置
Hy4 Flash 是腾讯混元 2026 年 11 月开源的多模态 MoE,220B 参数、每个 token 只用约 12B,4-bit 文件约 168 GB。其中约 63 GB 是一张可以留在硬盘上按需读取的查找表,所以腾讯实测 128GB 内存的 Mac 和 DGX Spark 就能跑 4-bit。llama.cpp 的支持还没合进主线,要自己编译官方给的分支;Ollama 暂时没有。
Hy4 Flash 模型信息
- 4-bit 最低显存(8K 上下文)170 GB
- 参数量220B
- 激活参数12B
- 上下文上限1M
- 架构
- MoE
- 专家卸载
- 8 GB 显存 + 164 GB 内存
- 发布日期
- 2026年11月18日
- 厂商
- Tencent
- Hugging Face 仓库
- tencent/Hy4-flash
- GGUF 仓库
- AngelSlim/Hy4-flash-GGUF
- 层数
- 42
- 隐藏维度
- 3,072
- KV 头
- 32
- 头维度
- 64
Hy4 Flash 本地部署需要多少显存?
Hy4 Flash 的 4-bit 文件约 168 GB,整个放进显存再加 32K 上下文约 170 GB;2-bit 约 135 GB,3-bit 约 155 GB。这几个数都含一张约 63 GB 的 Engram 查找表,生成时每个 token 只查其中几十行,可以放进主机内存或留在硬盘上,4-bit 真正要常驻的部分约 105 GB。它的上下文很省,从 32K 开到 1M 只多 14 GB。
| 量化 | 权重体积GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文GB | 1M 上下文(最大)GB |
|---|---|---|---|---|---|
| 1-bit | 102.8估 | 104.4 | 105.7 | 107.5 | 118.4 |
| 2-bit | 135GGUF | 136.5 | 137.9 | 139.7 | 150.6 |
| 3-bit | 155.4GGUF | 156.9 | 158.3 | 160.1 | 171 |
| 4-bit | 168.3GGUF | 169.8 | 171.2 | 173 | 183.9 |
| 5-bit | 176.8估 | 178.4 | 179.7 | 181.5 | 192.4 |
| 8-bit | 237.7估 | 239.2 | 240.6 | 242.4 | 253.2 |
| BF16/FP16 | 392.2估 | 393.8 | 395.1 | 396.9 | 407.8 |
详细计算规则可在数据方法页查看。
单卡能跑 Hy4 Flash 吗?
要看量化,也要看那张查找表放在哪。按整个文件都常驻内存算,128GB 的整机只装得下 2-bit,4-bit 要 512GB 的 Mac Studio M3 Ultra。把约 63 GB 的查找表留在硬盘上按需读,128GB 就够跑 4-bit:腾讯 AngelSlim 团队实测,128GB 的 M5 Max 每秒约 44 到 48 个 token,DGX Spark 用专门的 SPARK-4Bit 版每秒约 26 到 33 个。独立显卡最大只有 96GB,放不下 4-bit 约 105 GB 的常驻部分,要靠多卡或把专家放进内存。
| 设备 | 价格 | 速度 t/s | 最大上下文 |
|---|---|---|---|
| Ryzen AI Max+ 395 128GB整机 · 128 GB | ¥18,80022 条挂单 | 30.3 | 95K |
| ¥43,80015 条挂单 | 32 | 95K | |
| MacBook Pro M5 Max 128GB整机 · 128 GB | ¥47,66615 条挂单 | 60.6 | 95K |
| Mac Studio M3 Ultra 512GB整机 · 512 GB | ¥131,0004 条挂单 | 73.8 | 1M |
| 设备 | 价格 | 速度 t/s | 最大上下文 |
|---|---|---|---|
| Mac Studio M3 Ultra 512GB整机 · 512 GB | ¥131,0004 条挂单 | 56.8 | 1M |
| 设备 | 价格 | 速度 t/s | 最大上下文 |
|---|---|---|---|
| Mac Studio M3 Ultra 512GB整机 · 512 GB | ¥131,0004 条挂单 | 38.3 | 1M |
只列常见的显卡和整机,按价格从低到高排。
多卡跑 Hy4 Flash 要几张显卡?
多卡跑 Hy4 Flash 的 4-bit,最少要两张 96GB 的 RTX PRO 6000;换成 48GB 的卡要 4 张,24GB 的消费卡要 8 张。这是按整个文件平均分到各卡算的,把查找表放进主机内存还能再省下约 63 GB 显存。量化文件的多卡要用 llama.cpp 跑。官方 vLLM 配方跑的是原版和 FP8 权重,只支持 H100、H200、B200 这类数据中心卡,查找表默认放在主机内存里。
| 设备 | 需要几张 | 总价 | 总显存 | 速度 t/s | 总功耗 |
|---|---|---|---|---|---|
| 8 张 | ¥42,304 | 256 GB | 77 | 2,000 W | |
| Radeon RX 7900 XTX单卡 24 GB | 8 张 | ¥49,600 | 192 GB | 80.2 | 2,840 W |
| 8 张 | ¥72,968 | 192 GB | 78.9 | 2,800 W | |
| Instinct MI210单卡 64 GB | 4 张 | ¥73,996 | 256 GB | 108.1 | 1,200 W |
| 2 台 | ¥87,600 | 256 GB | 31.2 | 480 W | |
| 8 张 | ¥91,600 | 256 GB | 58.9 | 1,840 W | |
| 2 张 | ¥114,550 | 144 GB | 97.5 | 600 W | |
| 4 张 | ¥136,000 | 192 GB | 69.4 | 1,200 W | |
| 2 张 | ¥161,800 | 160 GB | 116.9 | 600 W | |
| 8 张 | ¥192,800 | 192 GB | 82.6 | 3,600 W | |
| 2 张 | ¥247,000 | 192 GB | 112.8 | 1,200 W | |
| 8 张 | ¥400,000 | 256 GB | 112.8 | 4,600 W | |
| 4 张 | 暂无 | 192 GB | 82.6 | 1,800 W |
| 设备 | 需要几张 | 总价 | 总显存 | 速度 t/s | 总功耗 |
|---|---|---|---|---|---|
| 8 张 | ¥42,304 | 256 GB | 59.9 | 2,000 W | |
| Radeon RX 7900 XTX单卡 24 GB | 8 张 | ¥49,600 | 192 GB | 62.7 | 2,840 W |
| 8 张 | ¥72,968 | 192 GB | 61.6 | 2,800 W | |
| Instinct MI210单卡 64 GB | 4 张 | ¥73,996 | 256 GB | 88.6 | 1,200 W |
| 2 台 | ¥87,600 | 256 GB | 22.6 | 480 W | |
| 8 张 | ¥91,600 | 256 GB | 44.5 | 1,840 W | |
| 4 张 | ¥136,000 | 192 GB | 53.3 | 1,200 W | |
| 8 张 | ¥192,800 | 192 GB | 64.9 | 3,600 W | |
| 4 张 | ¥229,100 | 288 GB | 78.6 | 1,200 W | |
| 2 张 | ¥247,000 | 192 GB | 93.3 | 1,200 W | |
| 4 张 | ¥323,600 | 320 GB | 97.3 | 1,200 W | |
| 8 张 | ¥400,000 | 256 GB | 93.3 | 4,600 W | |
| 4 张 | 暂无 | 192 GB | 64.9 | 1,800 W |
| 设备 | 需要几张 | 总价 | 总显存 | 速度 t/s | 总功耗 |
|---|---|---|---|---|---|
| 8 张 | ¥42,304 | 256 GB | 41 | 2,000 W | |
| Instinct MI210单卡 64 GB | 4 张 | ¥73,996 | 256 GB | 64.4 | 1,200 W |
| 2 台 | ¥87,600 | 256 GB | 14.4 | 480 W | |
| 8 张 | ¥91,600 | 256 GB | 29.5 | 1,840 W | |
| 4 张 | ¥229,100 | 288 GB | 55.9 | 1,200 W | |
| 8 张 | ¥272,000 | 384 GB | 36 | 2,400 W | |
| 4 张 | ¥323,600 | 320 GB | 72.1 | 1,200 W | |
| 8 张 | ¥400,000 | 256 GB | 68.5 | 4,600 W | |
| 4 张 | ¥494,000 | 384 GB | 68.5 | 2,400 W | |
| 8 张 | 暂无 | 384 GB | 44.9 | 3,600 W |
详细计算规则可在数据方法页查看。
用整机跑 Hy4 Flash 要什么配置?
只有一两张普通显卡时,把 Hy4 Flash 的专家和查找表放进内存最实际:4-bit 下显卡只要放约 8 GB 每个 token 都要用的公共部分,内存配 128GB 到 256GB。一张 RTX 3090 加双路 EPYC 的 DDR4 服务器估算每秒约 40 个 token;双通道台式机插满 128GB、再配两张 RTX 5070,也只够跑 2-bit,每秒约 29 个。速度按内存带宽估算,这个模型还没有公开的专家卸载实测。
2 × Tesla V100 32GB + E5 双路 DDR4
低价GeForce RTX 3090 + EPYC 单路 DDR4
性价比GeForce RTX 5090 + EPYC 单路 DDR5
旗舰2 × Tesla V100 32GB + E5 双路 DDR4
低价GeForce RTX 3090 + EPYC 双路 DDR4
性价比GeForce RTX 5090 + EPYC 单路 DDR5
旗舰Tesla V100 32GB + E5 双路 DDR4
低价GeForce RTX 3090 + EPYC 双路 DDR4
性价比GeForce RTX 5090 + EPYC 双路 DDR5
旗舰部分购买链接是联盟链接:通过它们购买时我们可能获得佣金,你支付的价格不变。
本地部署 Hy4 Flash 要注意什么?
llama.cpp 要自己编译官方分支
llama.cpp 对 Hy4 Flash 的支持在 PR #32517 里,截至 11 月 18 日还没合并。AngelSlim 的 GGUF 说明给了两条路:直接编译这个 PR 的分支,或者在指定的旧版本上打仓库里附带的补丁,Mac 和 DGX Spark 各有一个。聊天时要加
--jinja。参数为什么写 220B
220B 是模型卡写的总参数,其中约 63.5B 是 Engram 查找表:模型按相邻两三个 token 的组合去查表,相当于自带一份短语记忆。骨干是 155.5B,每个 token 实际用到约 12B,所以它体积是两百多 B 级的,生成速度却按 12B 算。
量化选哪一档
官方 GGUF 有三档常规量化。Q4_K_M 约 168 GB,是 AngelSlim 推荐的默认档;内存紧张再退到 Q3_K(约 155 GB)或 IQ2_AH(约 135 GB)。三档里查找表一样大,降档只压缩专家,所以从 4-bit 降到 2-bit 只省约 33 GB。另有两个给 DGX Spark 准备的 SPARK-4Bit 版,用的是 NVIDIA 的 4-bit 浮点格式。
思考默认开着
reasoning_effort默认是 high,也就是开着思考;要直接回答就传no_think。官方推荐的采样参数是temperature0.9、top_p1.0。它能看图,但用 llama.cpp 看图要另外加载一个 mmproj 文件,截至 11 月 18 日 GGUF 仓库里还没有放出来。开到 1M 上下文只多 14 GB
42 层里只有 12 层会记住整段上下文,另外 30 层只看最近 512 个 token,所以上下文缓存很小。腾讯说它的上下文缓存只有 Hy3 的 1/24。AngelSlim 给 DGX Spark 的推荐配置,直接把上下文开到了约 196K。
许可证不再是 Apache 2.0
Hy4 Flash 改用腾讯自己的 Tencent Hy License,在 Apache 2.0 的基础上加了一条商用限制:对外提供模型 API 这类服务的公司,全球年营收超过 5000 万美元,或者要把模型用在月活超过 1 亿的产品里,都得先向腾讯取得书面授权。个人使用和公司内部使用不受这一条限制。
启动命令
llama.cpp
- NVIDIA
- AMD
- Mac
- CPU
./build/bin/llama-server -m Hy4-flash-Q4_K_M-00001-of-00002.gguf \ -c 8192 -ngl 99 --jinja --port 8080
vLLM
- Linux
- NVIDIA
- Docker
docker run --gpus all \ -p 8000:8000 \ --ipc=host \ -v ~/.cache/huggingface:/root/.cache/huggingface \ vllm/vllm-openai:hy4-flash tencent/Hy4-flash-FP8 \ --tensor-parallel-size 8 \ --speculative-config '{"num_speculative_tokens":5,"method":"dfly"}' \ --attention-backend FLASHMLA_SPARSE \ --tool-call-parser hy_v4 \ --reasoning-parser hy_v4 \ --enable-auto-tool-choice \ --port 8000 \ --served-model-name hy4-flash
Ollama
- Windows
- macOS
- Linux
Ollama 库暂无官方标签。
量化文件名以模型库当周抓取为准,口径见数据方法。 数据方法
Hunyuan 家族的其他模型
| 模型 | 总参数 | 激活参数 | 4-bit 模型大小 |
|---|---|---|---|
| 295B | 21B | 182.2 GB | |
| 770B | 49B | 467.3 GB |