Kimi K2.6 如何本地部署？

• 4-bit 最低顯示記憶體586 GB · 8K
• 參數量1,000B
• 激活參數32B
• 上下文上限256K

架構

MoE

專家卸載

10 GB 顯存 + 578 GB 記憶體

授權

Modified MIT

發布日期

2026年4月20日

廠商

Moonshot AI

Hugging Face 倉庫

moonshotai/Kimi-K2.6

GGUF 倉庫

unsloth/Kimi-K2.6-GGUF

NVFP4 倉庫（Blackwell）

nvidia/Kimi-K2.6-NVFP4

MLX 倉庫（Apple）

mlx-community/Kimi-K2.6-mlx-DQ3_K_M-q8

層數

61

隱藏維度

7,168

KV 頭

64

頭維度

192

詳細計算規則可在資料方法頁查看。

只列常見的顯示卡和整機，50B 以下和以上的模型各一組，按價格從低到高。

裝置	需要幾張	總價	總顯示記憶體	速度 t/s	總功耗
Mac Studio M3 Ultra 512GB單台 512 GB	2 台	NT$1,146,331	1,024 GB	27.6	960 W
RTX PRO 6000單卡 96 GB	8 張	NT$4,875,929	768 GB	52.3	4,800 W
A100 80GB PCIe單卡 80 GB	8 張	NT$5,461,040	640 GB	55.4	2,400 W

Mac Studio 以 Thunderbolt 5 線串接，要用 MLX 或 exo 執行，vLLM 不支援。詳細計算規則可在資料方法頁查看。

詳細計算規則可在資料方法頁查看。

部分購買連結是聯盟連結：透過它們購買時我們可能獲得佣金，你支付的價格不變。

1. 1

   量化只有三檔

   Unsloth 只推出了 2-bit（約 341 GB）、4-bit（約 584 GB）和 8-bit（約 595 GB）三檔。8-bit 原樣保留 4-bit 的專家、其餘部分用 BF16，算是無損；4-bit 只是把其餘部分再壓到 8-bit，和 8-bit 的差異小到可以忽略（困惑度 1.8420 對 1.8419）。Unsloth 推薦 2-bit 作為體積和品質之間的平衡點。

2. 2

   思考、即時和 preserve_thinking

   取樣參數沿用 K2.5：思考模式 temperature 1.0、即時模式 0.6，top_p 0.95；切換到即時模式，同樣是關閉 chat_template_kwargs 裡的 thinking。新增的 preserve_thinking 預設關閉，開啟後會在多輪對話中保留全部思考內容，官方建議只在思考模式下、寫程式的 Agent 情境中開啟。

3. 3

   看圖

   從 K2.6 起，Unsloth 的 GGUF 附上了看圖用的投影檔（mmproj），llama.cpp 加上 --mmproj 就能輸入圖片，在本機也能用上它的看圖能力。

4. 4

   vLLM 門檻

   vLLM 配方要求 0.25 以上。官方原版（INT4）驗證的是 8 張 H200，配方寫的門檻是合計約 640 GB 顯示記憶體；在 B300 上可以改用 NVFP4 版，4 張就夠。

5. 5

   上下文

   原生 256K，而且上下文很省顯示記憶體：4-bit 下從 8K 開到 256K 只多約 18 GB。Unsloth 建議預設開 98,304（約 96K）。

llama-server -hf unsloth/Kimi-K2.6-GGUF:UD-Q4_K_XL -c 8192

llama-server -hf unsloth/Kimi-K2.6-GGUF:UD-Q4_K_XL -c 8192 -ngl 99 \
  --cpu-moe

vllm serve moonshotai/Kimi-K2.6 \
  --trust-remote-code \
  --tensor-parallel-size 8 \
  --tool-call-parser kimi_k2 \
  --enable-auto-tool-choice \
  --reasoning-parser kimi_k2 \
  --speculative-config '{"model":"lightseekorg/kimi-k2.6-eagle3-mla","method":"eagle3","num_speculative_tokens":3}' \
  --mm-encoder-tp-mode data

mlx_lm.server --model mlx-community/Kimi-K2.6-mlx-DQ3_K_M-q8

量化檔名以模型庫當週抓取為準，口徑見資料方法。 資料方法

模型	總參數	激活參數	4-bit 模型大小
Kimi Linear 48B A3BMoE	49.1B	3B	30.1 GB
Kimi K2MoE	1,000B	32B	621.3 GB
Kimi K2.5MoE	1,000B	32B	621.2 GB
Kimi K2.7 CodeMoE	1,000B	32B	583.7 GB
Kimi K3MoE	2,800B	104B	1,508.7 GB

關於 Kimi