Kimi K2.7 Code 如何本地部署？

• 4-bit 最低顯示記憶體（8K 上下文）586 GB
• 參數量1,000B
• 激活參數32B
• 上下文上限256K

架構

MoE

專家卸載

10 GB 顯存 + 578 GB 記憶體

授權

Modified MIT

發布日期

2026年6月12日

廠商

Moonshot AI

Hugging Face 倉庫

moonshotai/Kimi-K2.7-Code

GGUF 倉庫

unsloth/Kimi-K2.7-Code-GGUF

NVFP4 倉庫（Blackwell）

nvidia/Kimi-K2.7-Code-NVFP4

MLX 倉庫（Apple）

mlx-community/Kimi-K2.7-Code-4bit

層數

61

隱藏維度

7,168

KV 頭

64

頭維度

192

詳細計算規則可在資料方法頁查看。

只列常見的顯示卡和整機，按價格從低到高排。

裝置	需要幾張	總價	總顯示記憶體	速度 t/s	總功耗
Mac Studio M3 Ultra 512GB單台 512 GB	2 台	NT$1,289,985	1,024 GB	27.6	960 W
A100 80GB PCIe單卡 80 GB	8 張	NT$4,253,995	640 GB	55.4	2,400 W
RTX PRO 6000單卡 96 GB	8 張	NT$4,894,064	768 GB	52.3	4,800 W

Mac Studio 以 Thunderbolt 5 線串接，要用 MLX 或 exo 執行，vLLM 不支援。詳細計算規則可在資料方法頁查看。

詳細計算規則可在資料方法頁查看。

部分購買連結是聯盟連結：透過它們購買時我們可能獲得佣金，你支付的價格不變。

1. 1

   只有思考模式

   它不支援即時模式，preserve_thinking 也強制開啟、關不掉：在多輪對話中，用戶端要把每輪回傳的思考內容一起送回去（在 vLLM 裡這個欄位可能叫 reasoning，而不是 reasoning_content）。官方建議 temperature 1.0、top_p 0.95。

2. 2

   量化

   Unsloth 的檔位比 K2.6 多，1-bit 到 4-bit 之間有好幾檔，3-bit 約 464 GB。推薦 2-bit（UD-Q2_K_XL）；8-bit 的 UD-Q8_K_XL 原樣保留 4-bit 專家，是無損版。上下文方面，Unsloth 建議預設開 98,304，最大 262,144。

3. 3

   vLLM 參數

   vLLM 配方要求 0.19.1 以上。要用工具呼叫和思考解析，分別加上 --tool-call-parser kimi_k2 和 --reasoning-parser kimi_k2；看圖部分可以用 --mm-encoder-tp-mode data 讓每張卡各跑一份，省掉多卡之間的通訊。

4. 4

   接上程式開發 Agent

   官方表示它和自家的 Kimi Code CLI 搭配效果最好。接其他 Agent 框架時，先確認框架會把思考內容原樣傳回，否則「保留思考」帶來的效果就發揮不出來。

llama-server -hf unsloth/Kimi-K2.7-Code-GGUF:UD-Q4_K_XL -c 8192

llama-server -hf unsloth/Kimi-K2.7-Code-GGUF:UD-Q4_K_XL -c 8192 \
  -ngl 99 --cpu-moe

vllm serve moonshotai/Kimi-K2.7-Code \
  --trust-remote-code \
  --tensor-parallel-size 8 \
  --tool-call-parser kimi_k2 \
  --enable-auto-tool-choice \
  --reasoning-parser kimi_k2 \
  --speculative-config '{"model":"lightseekorg/kimi-k2.7-coder-eagle3.1-mla","method":"eagle3","num_speculative_tokens":3}' \
  --mm-encoder-tp-mode data

mlx_lm.server --model mlx-community/Kimi-K2.7-Code-4bit

量化檔名以模型庫當週抓取為準，口徑見資料方法。 資料方法

模型	總參數	激活參數	4-bit 模型大小
Kimi Linear 48B A3BMoE	49.1B	3B	30.1 GB
Kimi K2MoE	1,000B	32B	621.3 GB
Kimi K2.5MoE	1,000B	32B	621.2 GB
Kimi K2.6MoE	1,000B	32B	583.7 GB
Kimi K3MoE	2,800B	104B	1,508.7 GB
Kimi K3.1 ProMoE	2,800B	104B	1,508.7 GB估

關於 Kimi