Hy3 如何本地部署？

• 4-bit 最低显存186 GB · 8K
• 参数量295B
• 激活参数21B
• 上下文上限256K

架构

MoE

专家卸载

11 GB 显存 + 177 GB 内存

许可证

Apache-2.0

发布日期

2026年7月6日

厂商

Tencent

Hugging Face 仓库

tencent/Hy3

GGUF 仓库

bartowski/Hy3-GGUF

NVFP4 仓库（Blackwell）

RedHatAI/Hy3-NVFP4-FP8

层数

80

隐藏维度

4,096

KV 头

8

头维度

128

详细计算规则可在数据方法页查看。

设备	价格	速度 t/s	最大上下文
Mac Studio M3 Ultra 512GB整机 · 512 GB	¥125,1003 条挂单	36.4	256K

只列常见的显卡和整机，50B 以下和以上的模型各一组，按价格从低到高。

设备	需要几张	总价	总显存	速度 t/s	总功耗
Tesla V100 32GB单卡 32 GB	8 张	¥33,600	256 GB	32.1	2,000 W
Instinct MI210单卡 64 GB	4 张	¥73,996	256 GB	52.1	1,200 W
DGX Spark 128GB单台 128 GB	2 台	¥87,998	256 GB	10.9	480 W
Arc Pro B70单卡 32 GB	8 张	¥105,192	256 GB	22.8	1,840 W
RTX PRO 5000 72GB单卡 72 GB	4 张	¥236,000	288 GB	44.7	1,200 W
RTX A6000单卡 48 GB	8 张	¥256,000	384 GB	28	2,400 W
GeForce RTX 5090单卡 32 GB	8 张	¥428,000	256 GB	55.7	4,600 W
RTX PRO 6000单卡 96 GB	4 张	¥524,000	384 GB	55.7	2,400 W
A100 80GB PCIe单卡 80 GB	4 张	¥560,000	320 GB	58.9	1,200 W
GeForce RTX 4090 48GB单卡 48 GB	8 张	暂无	384 GB	35.4	3,600 W

详细计算规则可在数据方法页查看。

详细计算规则可在数据方法页查看。

部分购买链接是联盟链接：通过它们购买时我们可能获得佣金，你支付的价格不变。

1. 1

   GGUF 和服务端版本

   bartowski 做了从 1-bit 到 8-bit 的整套 GGUF，4-bit 权重约 182 GB，2-bit 约 107 GB。服务端除了官方的 BF16 和 FP8 版，vLLM 配方还列了 Red Hat 做的 NVFP4 版，4 张 80GB 的 H100 就能装下。

2. 2

   用什么框架

   bartowski 的 GGUF 是用 llama.cpp 正式版 b9993 量化的，主线 llama.cpp 就能跑；Ollama 官方库里没有它。服务端官方推荐 vLLM（配方要求 0.28.0 起）或 SGLang；vLLM 里的工具调用和推理解析器都叫 hy_v3。

3. 3

   思考开关和采样参数

   默认不思考（reasoning_effort 为 no_think），数学、代码这类复杂任务改成 high，中间还有 low 档。官方推荐 temperature 0.9、top_p 1.0。

4. 4

   长上下文很占显存

   它用的是普通的注意力结构，上下文缓存随长度线性增长：4-bit 下 256K 比 8K 多出约 83 GB（约 269 对 186 GB）。配硬件时要把这部分算进去，用不上长上下文就别开满。

5. 5

   许可证换成了 Apache 2.0

   腾讯之前的混元模型（比如 Hunyuan-A13B）用的是自家社区许可证，明确不适用于欧盟、英国和韩国；Hy3 改用 Apache 2.0，没有这条地区限制。

llama-server -hf bartowski/Hy3-GGUF:Q4_K_M --jinja -c 8192

# Switch to trtllm backend to work-around mnnvl workspace size issue.
export VLLM_FLASHINFER_ALLREDUCE_BACKEND=trtllm
vllm serve tencent/Hy3 \
  --tensor-parallel-size 8 \
  --speculative-config.method mtp \
  --speculative-config.num_speculative_tokens 2 \
  --tool-call-parser hy_v3 \
  --reasoning-parser hy_v3 \
  --enable-auto-tool-choice \
  --port 8000 \
  --served-model-name hy3

量化文件名以模型库当周抓取为准，口径见数据方法。 数据方法

模型	总参数	激活参数	4-bit 模型大小
Hy4 previewMoE	770B	49B	467.3 GB

关于 Hunyuan