Hy4 preview 如何本地部署？

• 4-bit 最低顯示記憶體（8K 上下文）470 GB
• 參數量770B
• 激活參數49B
• 上下文上限1M

架構

MoE

專家卸載

19 GB 顯存 + 452 GB 記憶體

授權

Apache-2.0

發布日期

2026年8月28日

廠商

Tencent

Hugging Face 倉庫

tencent/Hy4-preview

GGUF 倉庫

AngelSlim/Hy4-preview-GGUF

MLX 倉庫（Apple）

mlx-community/Hy4-preview-4bit

層數

78

隱藏維度

6,144

KV 頭

8

頭維度

64

詳細計算規則可在資料方法頁查看。

只列常見的顯示卡和整機，按價格從低到高排。

裝置	需要幾張	總價	總顯示記憶體	速度 t/s	總功耗
Instinct MI210單卡 64 GB	8 張	NT$728,654	512 GB	33.9	2,400 W
DGX Spark 128GB單台 128 GB	4 台	NT$842,921	512 GB	6.5	960 W
RTX PRO 5000 72GB單卡 72 GB	8 張	NT$2,255,996	576 GB	28.6	2,400 W
A100 80GB PCIe單卡 80 GB	8 張	NT$4,253,995	640 GB	38.9	2,400 W
RTX PRO 6000單卡 96 GB	8 張	NT$4,894,064	768 GB	36.5	4,800 W

Mac Studio 以 Thunderbolt 5 線串接，要用 MLX 或 exo 執行，vLLM 不支援。詳細計算規則可在資料方法頁查看。

詳細計算規則可在資料方法頁查看。

部分購買連結是聯盟連結：透過它們購買時我們可能獲得佣金，你支付的價格不變。

1. 1

   llama.cpp 要套修補程式

   llama.cpp 主線在 9 月 4 日合併了 Hy4 preview 的支援（PR #28127），但 AngelSlim 的 GGUF 說明註明，這些檔案無法直接在原版 llama.cpp 上跑，要依照說明在指定版本上套用修補程式再編譯；用 STQ1_0 版還得再套第二個修補程式。聊天時一定要加 --jinja；GGUF 要放在本機硬碟上，放在網路儲存裝置上的話，載入時間會從一分鐘拖到好幾個小時。

2. 2

   只有三種 GGUF

   標準的 Q4_K_M 約 467 GB，是 AngelSlim 推薦的預設檔位。記憶體不夠時用 UD-IQ1_M（約 235 GB）或稍小一點的 STQ1_0，體積減半，代價是專家裡的主要權重只剩約 1.3 到 2 bit，品質會打折扣。

3. 3

   預設開啟深度思考

   和 Hy3 相反，Hy4 preview 預設 reasoning_effort 為 high，要直接回答就傳入 no_think。建議的取樣參數和 Hy3 一樣，temperature 0.9、top_p 1.0。騰訊在模型卡裡也承認，這一版有想太久、反覆自我檢查的問題，會多耗掉不少輸出 token。

4. 4

   拉到 1M 只多 90 GB 出頭

   它的注意力結構會把上下文壓縮得很小：開滿 1M 時，4-bit 總共約 563 GB，比 32K 時只多 90 GB 出頭。在官方 vLLM 配方裡，8 張 MI355X 預設以 256K 驗證，FP8 版也能開到 1M。

./build-cuda/bin/llama-cli -m Hy4-preview-Q4_K_M.gguf -ngl 99 -c 8192 \
  --jinja -st -f prompt.txt

docker run --gpus all \
  -p 8000:8000 \
  --ipc=host \
  -e VLLM_ENABLE_HPC_OPS=1 \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  vllm/vllm-openai:hy4-preview tencent/Hy4-preview-FP8 \
    --tensor-parallel-size 8 \
    --speculative-config '{"num_speculative_tokens":3,"method":"mtp"}' \
    --attention-backend FLASHMLA_SPARSE \
    --tool-call-parser hy_v4 \
    --reasoning-parser hy_v4 \
    --enable-auto-tool-choice \
    --port 8000 \
    --served-model-name hy4-preview

mlx_vlm.server --model mlx-community/Hy4-preview-4bit

量化檔名以模型庫當週抓取為準，口徑見資料方法。 資料方法

模型	總參數	激活參數	4-bit 模型大小
Hy3MoE	295B	21B	182.2 GB

關於 Hunyuan