本站含聯盟連結。身為 eBay 合作夥伴與 Amazon 聯盟會員,你透過本站連結購買時,我們可能獲得佣金。我們可能從 eBay 和 Amazon 連結獲得佣金。了解詳情

收錄顯卡64價格追蹤78 天近 24h 價格資料32,149 筆24h 降價最多Tesla V100 32GB-21.3%24h 漲價最多GeForce RTX 5090 D+15.2%更新於
NT$ TWD

Hy4 Flash 如何本地部署?

Hy4 Flash 是騰訊混元 2026 年 11 月開源的多模態 MoE,220B 參數、每個 token 只動用約 12B,4-bit 檔案約 168 GB。其中約 63 GB 是一張可以留在硬碟上按需讀取的查找表,因此騰訊實測 128GB 記憶體的 Mac 和 DGX Spark 就能跑 4-bit。llama.cpp 的支援還沒併入主線,要自己編譯官方給的分支;Ollama 暫時沒有。

Hy4 Flash 模型資訊

  • 4-bit 最低顯示記憶體(8K 上下文)170 GB
  • 參數量220B
  • 激活參數12B
  • 上下文上限1M
架構
MoE
專家卸載
8 GB 顯存 + 164 GB 記憶體
發布日期
2026年11月18日
廠商
Tencent
Hugging Face 倉庫
tencent/Hy4-flash
層數
42
隱藏維度
3,072
KV 頭
32
頭維度
64

Hy4 Flash 本地部署需要多少顯示記憶體?

Hy4 Flash 的 4-bit 檔案約 168 GB,整個放進顯示記憶體再加上 32K 上下文約 170 GB;2-bit 約 135 GB,3-bit 約 155 GB。這幾個數字都包含一張約 63 GB 的 Engram 查找表,生成時每個 token 只查其中幾十列,可以放進主機記憶體或留在硬碟上,4-bit 真正需要常駐的部分約 105 GB。它的上下文很省空間,從 32K 開到 1M 只多出 14 GB。

量化權重體積GB32K 上下文GB128K 上下文GB256K 上下文GB1M 上下文(最大)GB
1-bit102.8估104.4105.7107.5118.4
2-bit135GGUF136.5137.9139.7150.6
3-bit155.4GGUF156.9158.3160.1171
4-bit168.3GGUF169.8171.2173183.9
5-bit176.8估178.4179.7181.5192.4
8-bit237.7估239.2240.6242.4253.2
BF16/FP16392.2估393.8395.1396.9407.8

詳細計算規則可在資料方法頁查看。

單卡能跑 Hy4 Flash 嗎?

要看量化檔位,也要看那張查找表放在哪裡。如果把整個檔案都常駐記憶體,128GB 的整機只裝得下 2-bit,4-bit 要 512GB 的 Mac Studio M3 Ultra。要是把約 63 GB 的查找表留在硬碟上按需讀取,128GB 就夠跑 4-bit:騰訊 AngelSlim 團隊實測,128GB 的 M5 Max 每秒約 44 到 48 個 token,DGX Spark 跑專用的 SPARK-4Bit 版每秒約 26 到 33 個。獨立顯示卡最大只有 96GB,放不下 4-bit 約 105 GB 的常駐部分,得靠多卡或把專家放進系統記憶體。

閒魚
裝置價格速度 t/s最大上下文
Mac Studio M3 Ultra 512GB整機 · 512 GBNT$645,7354 筆掛單56.81M

只列常見的顯示卡和整機,按價格從低到高排。

多卡跑 Hy4 Flash 要幾張顯示卡?

多卡跑 Hy4 Flash 的 4-bit,最少要兩張 96GB 的 RTX PRO 6000;換成 48GB 的卡要 4 張,24GB 的消費級顯示卡要 8 張。這是把整個檔案平均分攤到各張卡來算,如果把查找表放進主機記憶體,還能再省下約 63 GB 顯示記憶體。量化檔案的多卡配置要用 llama.cpp 跑。官方 vLLM 配方跑的是原版和 FP8 權重,只支援 H100、H200、B200 這類資料中心卡,查找表預設放在主機記憶體裡。

閒魚
裝置需要幾張總價總顯示記憶體速度 t/s總功耗
Tesla V100 32GB單卡 32 GB8 張NT$208,528256 GB59.92,000 W
Radeon RX 7900 XTX單卡 24 GB8 張NT$244,492192 GB62.72,840 W
GeForce RTX 3090單卡 24 GB8 張NT$359,679192 GB61.62,800 W
Instinct MI210單卡 64 GB4 張NT$364,747256 GB88.61,200 W
DGX Spark 128GB單台 128 GB2 台NT$431,805256 GB22.6480 W
Arc Pro B70單卡 32 GB8 張NT$451,522256 GB44.51,840 W
RTX A6000單卡 48 GB4 張NT$670,382192 GB53.31,200 W
GeForce RTX 4090單卡 24 GB8 張NT$950,365192 GB64.93,600 W
RTX PRO 5000 72GB單卡 72 GB4 張NT$1,129,297288 GB78.61,200 W
RTX PRO 6000單卡 96 GB2 張NT$1,217,531192 GB93.31,200 W
A100 80GB PCIe單卡 80 GB4 張NT$1,595,114320 GB97.31,200 W
GeForce RTX 5090單卡 32 GB8 張NT$1,971,711256 GB93.34,600 W
GeForce RTX 4090 48GB單卡 48 GB4 張暫無192 GB64.91,800 W

詳細計算規則可在資料方法頁查看。

用整機跑 Hy4 Flash 要什麼配置?

手邊只有一兩張一般顯示卡時,把 Hy4 Flash 的專家和查找表放進系統記憶體最實際:4-bit 下顯示卡只要放約 8 GB 每個 token 都會用到的共用部分,系統記憶體配 128GB 到 256GB。一張 RTX 3090 加雙路 EPYC 的 DDR4 伺服器估算每秒約 40 個 token;雙通道桌機插滿 128GB、再配兩張 RTX 5070,也只夠跑 2-bit,每秒約 29 個。速度是按記憶體頻寬估算,這個模型還沒有公開的專家卸載實測數據。

閒魚

2 × Tesla V100 32GB + E5 雙路 DDR4

低價
生成速度32.9t/s
記憶體頻寬137GB/s
顯示卡
2 × Tesla V100 32GB25 / 42 層專家放進 64 GB 顯示記憶體
NT$52,132
記憶體
128 GB DDR4-21338 條 × 16 GB
NT$17,706
CPU
2 × Intel Xeon E5-2680 v4共 28 核 56 執行緒 · 8 通道
NT$789
主機板
Supermicro X10DRi16 個記憶體插槽
NT$5,938
電源
海盜船 RM1200x SHIFT1,200 W
NT$8,868
整機參考價NT$85,432

GeForce RTX 3090 + EPYC 雙路 DDR4

性價比
生成速度39.5t/s
記憶體頻寬341GB/s
顯示卡
GeForce RTX 30907 / 42 層專家放進 24 GB 顯示記憶體
NT$44,960
記憶體
256 GB DDR4-266616 條 × 16 GB
NT$39,434
CPU
2 × AMD EPYC 7532共 64 核 128 執行緒 · 16 通道
NT$17,153
主機板
Supermicro H12DSi-N616 個記憶體插槽
NT$36,285
電源
海盜船 RM1200x SHIFT1,200 W
NT$8,868
整機參考價NT$146,700

GeForce RTX 5090 + EPYC 單路 DDR5

旗艦
生成速度63.6t/s
記憶體頻寬461GB/s
顯示卡
GeForce RTX 509011 / 42 層專家放進 32 GB 顯示記憶體
NT$246,464
記憶體
192 GB DDR5-480012 條 × 16 GB
NT$178,933
CPU
AMD EPYC 935432 核 64 執行緒 · 12 通道
NT$60,366
主機板
Supermicro H13SSL-N12 個記憶體插槽
NT$27,049
電源
海盜船 RM1200x SHIFT1,200 W
NT$8,868
整機參考價NT$521,679

詳細計算規則可在資料方法頁查看。

部分購買連結是聯盟連結:透過它們購買時我們可能獲得佣金,你支付的價格不變。

本地部署 Hy4 Flash 要注意什麼?

  1. llama.cpp 要自己編譯官方分支

    llama.cpp 對 Hy4 Flash 的支援在 PR #32517 裡,截至 11 月 18 日還沒併入主線。AngelSlim 的 GGUF 說明提供了兩種做法:直接編譯這個 PR 的分支,或是在指定的舊版本上套用儲存庫裡附帶的修補程式,Mac 和 DGX Spark 各有一份。對話時要加上 --jinja。

  2. 參數為什麼寫 220B

    220B 是模型卡上寫的總參數,其中約 63.5B 是 Engram 查找表:模型會按相鄰兩三個 token 的組合去查表,相當於內建一份詞組記憶。主幹網路是 155.5B,每個 token 實際動用約 12B,所以它的體積是兩百多 B 等級,生成速度卻是按 12B 來算。

  3. 量化該選哪一檔

    官方 GGUF 有三檔常規量化。Q4_K_M 約 168 GB,是 AngelSlim 推薦的預設檔位;記憶體吃緊再退到 Q3_K(約 155 GB)或 IQ2_AH(約 135 GB)。這三檔裡的查找表一樣大,降檔只會壓縮專家權重,所以從 4-bit 降到 2-bit 只省下約 33 GB。另外還有兩個給 DGX Spark 準備的 SPARK-4Bit 版,採用 NVIDIA 的 4-bit 浮點格式。

  4. 思考模式預設開啟

    reasoning_effort 預設為 high,也就是開著思考模式;想讓它直接回答就傳入 no_think。官方推薦的取樣參數是 temperature 0.9、top_p 1.0。它支援看圖,但用 llama.cpp 看圖要另外載入一個 mmproj 檔案,截至 11 月 18 日 GGUF 儲存庫裡還沒有釋出。

  5. 開到 1M 上下文只多 14 GB

    42 層裡只有 12 層會記住整段上下文,另外 30 層只看最近 512 個 token,因此上下文快取非常小。騰訊表示它的上下文快取只有 Hy3 的 1/24。AngelSlim 給 DGX Spark 的推薦配置,直接把上下文開到了約 196K。

  6. 授權條款不再是 Apache 2.0

    Hy4 Flash 改用騰訊自己的 Tencent Hy License,在 Apache 2.0 的基礎上加了一條商用限制:對外提供模型 API 這類服務的公司,若全球年營收超過 5000 萬美元,或是要把模型用在月活躍用戶超過 1 億的產品裡,都得先向騰訊取得書面授權。個人使用與公司內部使用不受這一條限制。

啟動指令

llama.cpp

  • NVIDIA
  • AMD
  • Mac
  • CPU

執行前請依部署指南準備適配的執行環境與硬體。

終端機
./build/bin/llama-server -m Hy4-flash-Q4_K_M-00001-of-00002.gguf \
  -c 8192 -ngl 99 --jinja --port 8080

vLLM

  • Linux
  • NVIDIA
  • Docker

執行前請依部署指南準備適配的執行環境與硬體。

終端機
docker run --gpus all \
  -p 8000:8000 \
  --ipc=host \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  vllm/vllm-openai:hy4-flash tencent/Hy4-flash-FP8 \
    --tensor-parallel-size 8 \
    --speculative-config '{"num_speculative_tokens":5,"method":"dfly"}' \
    --attention-backend FLASHMLA_SPARSE \
    --tool-call-parser hy_v4 \
    --reasoning-parser hy_v4 \
    --enable-auto-tool-choice \
    --port 8000 \
    --served-model-name hy4-flash

Ollama

  • Windows
  • macOS
  • Linux

Ollama 庫暫無官方標籤。

量化檔名以模型庫當週抓取為準,口徑見資料方法。 資料方法

Hunyuan 家族的其他模型

模型總參數激活參數4-bit 模型大小
Hy3MoE295B21B182.2 GB
Hy4 previewMoE770B49B467.3 GB

關於 Hunyuan