Hy4 preview 如何本地部署？

• 4-bit 最低显存470 GB · 8K
• 参数量770B
• 激活参数49B
• 上下文上限1M

架构

MoE

专家卸载

19 GB 显存 + 452 GB 内存

许可证

Apache-2.0

发布日期

2026年8月28日

厂商

Tencent

Hugging Face 仓库

tencent/Hy4-preview

GGUF 仓库

AngelSlim/Hy4-preview-GGUF

MLX 仓库（Apple）

mlx-community/Hy4-preview-4bit

层数

78

隐藏维度

6,144

KV 头

8

头维度

64

详细计算规则可在数据方法页查看。

只列常见的显卡和整机，50B 以下和以上的模型各一组，按价格从低到高。

设备	需要几张	总价	总显存	速度 t/s	总功耗
Instinct MI210单卡 64 GB	8 张	¥147,992	512 GB	33.9	2,400 W
DGX Spark 128GB单台 128 GB	4 台	¥175,996	512 GB	6.5	960 W
RTX PRO 5000 72GB单卡 72 GB	8 张	¥472,000	576 GB	28.6	2,400 W
RTX PRO 6000单卡 96 GB	8 张	¥1,048,000	768 GB	36.5	4,800 W
A100 80GB PCIe单卡 80 GB	8 张	¥1,120,000	640 GB	38.9	2,400 W

Mac Studio 按台联机用雷电 5 线互连，要用 MLX 或 exo 跑，vLLM 不支持。详细计算规则可在数据方法页查看。

详细计算规则可在数据方法页查看。

部分购买链接是联盟链接：通过它们购买时我们可能获得佣金，你支付的价格不变。

1. 1

   llama.cpp 要打补丁

   llama.cpp 主线在 9 月 4 日合入了 Hy4 preview 的支持（PR #28127），但 AngelSlim 的 GGUF 说明写明，这些文件不能直接在原版 llama.cpp 上跑，要按说明在指定版本上打补丁再编译；用 STQ1_0 版还要再打第二个补丁。聊天时必须加 --jinja；GGUF 要放在本地硬盘上，放在网络存储上，加载时间会从一分钟拖到几小时。

2. 2

   只有三种 GGUF

   标准的 Q4_K_M 约 467 GB，是 AngelSlim 推荐的默认档。内存不够时用 UD-IQ1_M（约 235 GB）或略小一点的 STQ1_0，体积减半，代价是专家里的主要权重只剩约 1.3 到 2 bit，质量会打折扣。

3. 3

   默认开着深度思考

   和 Hy3 相反，Hy4 preview 默认 reasoning_effort 为 high，要直接回答就传 no_think。推荐采样和 Hy3 一样，temperature 0.9、top_p 1.0。腾讯在模型卡里也承认，这一版有想得过久、反复自查的问题，会多花不少输出 token。

4. 4

   拉到 1M 只多 90 GB 出头

   它的注意力结构会把上下文压缩得很小：开满 1M 时，4-bit 总共约 563 GB，比 32K 时只多 90 GB 出头。官方 vLLM 配方里，8 张 MI355X 默认按 256K 验证，FP8 版也能开到 1M。

./build-cuda/bin/llama-cli -m Hy4-preview-Q4_K_M.gguf -ngl 99 -c 8192 \
  --jinja -st -f prompt.txt

docker run --gpus all \
  -p 8000:8000 \
  --ipc=host \
  -e VLLM_ENABLE_HPC_OPS=1 \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  vllm/vllm-openai:hy4-preview tencent/Hy4-preview-FP8 \
    --tensor-parallel-size 8 \
    --speculative-config '{"num_speculative_tokens":3,"method":"mtp"}' \
    --attention-backend FLASHMLA_SPARSE \
    --tool-call-parser hy_v4 \
    --reasoning-parser hy_v4 \
    --enable-auto-tool-choice \
    --port 8000 \
    --served-model-name hy4-preview

mlx_vlm.server --model mlx-community/Hy4-preview-4bit

量化文件名以模型库当周抓取为准，口径见数据方法。 数据方法

模型	总参数	激活参数	4-bit 模型大小
Hy3MoE	295B	21B	182.2 GB

关于 Hunyuan