Hy3 如何本地部署？

• 4-bit 最低顯示記憶體（8K 上下文）186 GB
• 參數量295B
• 激活參數21B
• 上下文上限256K

架構

MoE

專家卸載

11 GB 顯存 + 177 GB 記憶體

授權

Apache-2.0

發布日期

2026年7月6日

廠商

Tencent

Hugging Face 倉庫

tencent/Hy3

GGUF 倉庫

bartowski/Hy3-GGUF

NVFP4 倉庫（Blackwell）

RedHatAI/Hy3-NVFP4-FP8

層數

80

隱藏維度

4,096

KV 頭

8

頭維度

128

詳細計算規則可在資料方法頁查看。

裝置	價格	速度 t/s	最大上下文
Mac Studio M3 Ultra 512GB整機 · 512 GB	NT$644,9924 筆掛單	36.4	256K

只列常見的顯示卡和整機，按價格從低到高排。

裝置	需要幾張	總價	總顯示記憶體	速度 t/s	總功耗
Tesla V100 32GB單卡 32 GB	8 張	NT$177,250	256 GB	32.1	2,000 W
Instinct MI210單卡 64 GB	4 張	NT$364,327	256 GB	52.1	1,200 W
DGX Spark 128GB單台 128 GB	2 台	NT$421,461	256 GB	10.9	480 W
Arc Pro B70單卡 32 GB	8 張	NT$470,697	256 GB	22.8	1,840 W
RTX PRO 5000 72GB單卡 72 GB	4 張	NT$1,127,998	288 GB	44.7	1,200 W
RTX A6000單卡 48 GB	8 張	NT$1,240,749	384 GB	28	2,400 W
GeForce RTX 5090單卡 32 GB	8 張	NT$1,890,625	256 GB	55.7	4,600 W
A100 80GB PCIe單卡 80 GB	4 張	NT$2,126,997	320 GB	58.9	1,200 W
RTX PRO 6000單卡 96 GB	4 張	NT$2,447,032	384 GB	55.7	2,400 W
GeForce RTX 4090 48GB單卡 48 GB	8 張	暫無	384 GB	35.4	3,600 W

詳細計算規則可在資料方法頁查看。

詳細計算規則可在資料方法頁查看。

部分購買連結是聯盟連結：透過它們購買時我們可能獲得佣金，你支付的價格不變。

1. 1

   GGUF 和伺服器端版本

   bartowski 做了從 1-bit 到 8-bit 的整套 GGUF，4-bit 權重約 182 GB，2-bit 約 107 GB。伺服器端除了官方的 BF16 和 FP8 版，vLLM 配方還列出 Red Hat 製作的 NVFP4 版，4 張 80GB 的 H100 就放得下。

2. 2

   用哪個框架

   bartowski 的 GGUF 是用 llama.cpp 正式版 b9993 量化的，主線 llama.cpp 就能跑；Ollama 官方模型庫裡沒有它。伺服器端官方推薦 vLLM（配方要求 0.28.0 起）或 SGLang；vLLM 裡的工具呼叫和推理解析器都叫 hy_v3。

3. 3

   思考開關和取樣參數

   預設不思考（reasoning_effort 為 no_think），數學、程式這類複雜任務改成 high，中間還有 low 檔。官方建議 temperature 0.9、top_p 1.0。

4. 4

   長上下文很佔顯示記憶體

   它用的是一般的注意力結構，上下文快取隨長度線性增加：4-bit 下 256K 比 8K 多出約 83 GB（約 269 對 186 GB）。規劃硬體時要把這部分算進去，用不到長上下文就別開滿。

5. 5

   授權改成了 Apache 2.0

   騰訊先前的混元模型（例如 Hunyuan-A13B）用的是自家社群授權條款，明訂不適用於歐盟、英國和南韓；Hy3 改用 Apache 2.0，沒有這條地區限制。

llama-server -hf bartowski/Hy3-GGUF:Q4_K_M --jinja -c 8192

# Switch to trtllm backend to work-around mnnvl workspace size issue.
export VLLM_FLASHINFER_ALLREDUCE_BACKEND=trtllm
vllm serve tencent/Hy3 \
  --tensor-parallel-size 8 \
  --speculative-config.method mtp \
  --speculative-config.num_speculative_tokens 2 \
  --tool-call-parser hy_v3 \
  --reasoning-parser hy_v3 \
  --enable-auto-tool-choice \
  --port 8000 \
  --served-model-name hy3

量化檔名以模型庫當週抓取為準，口徑見資料方法。 資料方法

模型	總參數	激活參數	4-bit 模型大小
Hy4 previewMoE	770B	49B	467.3 GB

關於 Hunyuan