本地部署 Hunyuan 需要什么显卡?各版本显存需求一览
Hunyuan 目前有 2 个能本地部署的版本,最小的 Hy3 在 4-bit 量化下需要 186GB 显存;最大的 Hy4 preview 是 MoE 模型,用专家卸载时需要 19GB 显存加约 452GB 内存。最便宜能跑起来的设备是 8 张 Tesla V100 32GB,约 ¥33,600。
| 版本 | 发布日期 | 上下文 | 许可证 | ||
|---|---|---|---|---|---|
| 2026年8月28日 | 770B | 49B | 1M | Apache-2.0 | |
| 2026年7月6日 | 295B | 21B | 256K | Apache-2.0 |
关于 Hunyuan
混元(Hunyuan,2026 年起在国际市场简称 Hy)是腾讯的大模型系列,由腾讯混元团队研发(腾讯 1998 年成立,总部在深圳)。混元 2023 年 9 月首次发布,2024 年起陆续开源权重,主力语言模型都是 MoE,侧重智能体、编程和办公。
2024 年 11 月开源的 Hunyuan-Large 有 3890 亿参数、每个字用 520 亿,腾讯称它是当时最大的开源 Transformer MoE;2025 年 6 月的 Hunyuan-A13B 可以切换快慢思考。2026 年初,腾讯重建了训练基础设施,4 月开源的 Hy3 preview 是重建后的第一个模型,7 月的正式版 Hy3 有 2950 亿参数、每个字用 210 亿;8 月的 Hy4 preview 扩到 7700 亿参数、每个字用 490 亿,采用门控版的 DeepSeek 稀疏注意力,上下文 100 万 token。许可证也有过一次大变化:Hy3 preview 及更早的模型用腾讯自己的许可证,不适用于欧盟等地区;Hy3 和 Hy4 preview 改用 Apache 2.0,可以商用。
- 厂商Tencent
- 收录版本2
- 参数量295B – 770B
- 最新版本Hy4 preview
- 许可证
- Apache-2.0
- 官方主页
- hy.tencent.ai
- Hugging Face 组织
- tencent
Hunyuan 各版本 2-bit 量化需要多少显存?
2-bit 也叫 Q2 精度,常见的 GGUF 文件有 Q2_K、UD-Q2_K_XL,体积最小、质量损失也最明显,适合显存紧张时先把模型跑起来。下表每一行是 Hunyuan 的一个版本,每一列是一种上下文长度,格子里是用 Q2 精度部署时需要的总显存(权重 + KV cache + 1.1GB 运行开销)。
| 版本 | 权重体积GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文GB | 1M 上下文GB |
|---|---|---|---|---|---|
| 307.2估 | 311.2 | 320.1 | 331.9 | 402.5 | |
| 107.2GGUF | 119 | 151.2 | 194.2 | — |
Hunyuan 各版本 4-bit 量化需要多少显存?
4-bit 也叫 Q4 精度,对应最常用的 Q4_K_M 文件,体积和质量比较平衡,是本地部署的默认选择。下表每一行是 Hunyuan 的一个版本,每一列是一种上下文长度,格子里是用 Q4 精度部署时需要的总显存。
| 版本 | 权重体积GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文GB | 1M 上下文GB |
|---|---|---|---|---|---|
| 467.3GGUF | 471.3 | 480.2 | 491.9 | 562.6 | |
| 182.2GGUF | 194 | 226.2 | 269.2 | — |
Hunyuan 各版本 8-bit 量化需要多少显存?
8-bit 也叫 Q8 精度,对应 Q8_0 文件,质量最接近原版,体积也最大。下表每一行是 Hunyuan 的一个版本,每一列是一种上下文长度,格子里是用 Q8 精度部署时需要的总显存。
| 版本 | 权重体积GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文GB | 1M 上下文GB |
|---|---|---|---|---|---|
| 857估 | 861 | 869.9 | 881.6 | 952.3 | |
| 317.7GGUF | 329.5 | 361.7 | 404.7 | — |
常见问题
Hunyuan 开源吗?可以免费商用吗?
可以。本站收录的 Hy3 和 Hy4 preview 都是 Apache 2.0 许可,可以商用、修改、再分发,条件是附上许可证、保留版权声明、改过的文件注明修改。网上搜到的「混元不能在欧盟用」说的是更早的模型:比如 Hunyuan-A13B 用的是腾讯混元社区许可证,写明不适用于欧盟、英国和韩国;Hy3 和 Hy4 preview 的许可证里没有这一条。
Hunyuan 能用 Ollama 跑吗?
目前不行:Ollama 官方库里没有 Hy3 和 Hy4 preview,连云端版也没有。Hy3 可以用 llama.cpp 跑 bartowski 的 GGUF,主线从 2026 年 7 月起支持,还带 MTP 投机解码。Hy4 preview 的支持 2026 年 9 月才合进主线,但现有的 AngelSlim GGUF 仍要求打过补丁的 llama.cpp。两个模型都有 vLLM 官方配方,用 vLLM 跑官方权重更稳妥。