Kimi K2.7 Code 如何本地部署？

• 4-bit 最低显存586 GB · 8K
• 参数量1,000B
• 激活参数32B
• 上下文上限256K

架构

MoE

专家卸载

10 GB 显存 + 578 GB 内存

许可证

Modified MIT

发布日期

2026年6月12日

厂商

Moonshot AI

Hugging Face 仓库

moonshotai/Kimi-K2.7-Code

GGUF 仓库

unsloth/Kimi-K2.7-Code-GGUF

NVFP4 仓库（Blackwell）

nvidia/Kimi-K2.7-Code-NVFP4

MLX 仓库（Apple）

mlx-community/Kimi-K2.7-Code-4bit

层数

61

隐藏维度

7,168

KV 头

64

头维度

192

详细计算规则可在数据方法页查看。

只列常见的显卡和整机，50B 以下和以上的模型各一组，按价格从低到高。

设备	需要几张	总价	总显存	速度 t/s	总功耗
Mac Studio M3 Ultra 512GB单台 512 GB	2 台	¥250,200	1,024 GB	27.6	960 W
RTX PRO 6000单卡 96 GB	8 张	¥1,000,000	768 GB	52.3	4,800 W
A100 80GB PCIe单卡 80 GB	8 张	¥1,120,000	640 GB	55.4	2,400 W

Mac Studio 按台联机用雷电 5 线互连，要用 MLX 或 exo 跑，vLLM 不支持。详细计算规则可在数据方法页查看。

详细计算规则可在数据方法页查看。

部分购买链接是联盟链接：通过它们购买时我们可能获得佣金，你支付的价格不变。

1. 1

   只有思考模式

   它不支持即时模式，preserve_thinking 也强制开启、关不掉：多轮对话里，客户端要把每轮返回的思考内容一起传回去（vLLM 里这个字段可能叫 reasoning，不叫 reasoning_content）。官方推荐 temperature 1.0、top_p 0.95。

2. 2

   量化

   Unsloth 的档位比 K2.6 多，1-bit 到 4-bit 之间有好几档，3-bit 约 464 GB。推荐 2-bit（UD-Q2_K_XL）；8-bit 的 UD-Q8_K_XL 原样保留 4-bit 专家，是无损版。上下文 Unsloth 建议默认开 98,304，最大 262,144。

3. 3

   vLLM 参数

   vLLM 配方要求 0.19.1 以上。要用工具调用和思考解析，分别加 --tool-call-parser kimi_k2 和 --reasoning-parser kimi_k2；看图部分可以用 --mm-encoder-tp-mode data 在每张卡上各跑一份，省掉多卡之间的通信。

4. 4

   接编程智能体

   官方说它和自家的 Kimi Code CLI 配合最好。接其他智能体框架时，先确认框架会把思考内容原样传回，否则「保留思考」带来的效果就用不上。

llama-server -hf unsloth/Kimi-K2.7-Code-GGUF:UD-Q4_K_XL -c 8192

llama-server -hf unsloth/Kimi-K2.7-Code-GGUF:UD-Q4_K_XL -c 8192 \
  -ngl 99 --cpu-moe

vllm serve moonshotai/Kimi-K2.7-Code \
  --trust-remote-code \
  --tensor-parallel-size 8 \
  --tool-call-parser kimi_k2 \
  --enable-auto-tool-choice \
  --reasoning-parser kimi_k2 \
  --speculative-config '{"model":"lightseekorg/kimi-k2.7-coder-eagle3.1-mla","method":"eagle3","num_speculative_tokens":3}' \
  --mm-encoder-tp-mode data

mlx_lm.server --model mlx-community/Kimi-K2.7-Code-4bit

量化文件名以模型库当周抓取为准，口径见数据方法。 数据方法

模型	总参数	激活参数	4-bit 模型大小
Kimi Linear 48B A3BMoE	49.1B	3B	30.1 GB
Kimi K2MoE	1,000B	32B	621.3 GB
Kimi K2.5MoE	1,000B	32B	621.2 GB
Kimi K2.6MoE	1,000B	32B	583.7 GB
Kimi K3MoE	2,800B	104B	1,508.7 GB

关于 Kimi