Kimi K2.6 如何本地部署？

• 4-bit 最低显存586 GB · 8K
• 参数量1,000B
• 激活参数32B
• 上下文上限256K

架构

MoE

专家卸载

10 GB 显存 + 578 GB 内存

许可证

Modified MIT

发布日期

2026年4月20日

厂商

Moonshot AI

Hugging Face 仓库

moonshotai/Kimi-K2.6

GGUF 仓库

unsloth/Kimi-K2.6-GGUF

NVFP4 仓库（Blackwell）

nvidia/Kimi-K2.6-NVFP4

MLX 仓库（Apple）

mlx-community/Kimi-K2.6-mlx-DQ3_K_M-q8

层数

61

隐藏维度

7,168

KV 头

64

头维度

192

详细计算规则可在数据方法页查看。

只列常见的显卡和整机，50B 以下和以上的模型各一组，按价格从低到高。

设备	需要几张	总价	总显存	速度 t/s	总功耗
Mac Studio M3 Ultra 512GB单台 512 GB	2 台	¥235,100	1,024 GB	27.6	960 W
RTX PRO 6000单卡 96 GB	8 张	¥1,000,000	768 GB	52.3	4,800 W
A100 80GB PCIe单卡 80 GB	8 张	¥1,120,000	640 GB	55.4	2,400 W

Mac Studio 按台联机用雷电 5 线互连，要用 MLX 或 exo 跑，vLLM 不支持。详细计算规则可在数据方法页查看。

详细计算规则可在数据方法页查看。

部分购买链接是联盟链接：通过它们购买时我们可能获得佣金，你支付的价格不变。

1. 1

   量化只有三档

   Unsloth 只出了 2-bit（约 341 GB）、4-bit（约 584 GB）和 8-bit（约 595 GB）三档。8-bit 原样保留 4-bit 的专家、其余部分用 BF16，算无损；4-bit 只是把其余部分再压到 8-bit，和 8-bit 的差别小到可以忽略（困惑度 1.8420 对 1.8419）。Unsloth 推荐 2-bit 作为体积和质量的平衡点。

2. 2

   思考、即时和 preserve_thinking

   采样参数沿用 K2.5：思考模式 temperature 1.0、即时模式 0.6，top_p 0.95；切换到即时模式，同样是关掉 chat_template_kwargs 里的 thinking。新增的 preserve_thinking 默认关闭，打开后会在多轮对话里保留全部思考内容，官方建议只在思考模式下写代码的智能体场景里开。

3. 3

   看图

   从 K2.6 起，Unsloth 的 GGUF 附带看图用的投影文件（mmproj），llama.cpp 加 --mmproj 就能输入图片，本地也能用上它的看图能力。

4. 4

   vLLM 门槛

   vLLM 配方要求 0.25 以上。官方原版（INT4）验证的是 8 张 H200，配方写的门槛是合计约 640 GB 显存；B300 上可以换 NVFP4 版，4 张就够。

5. 5

   上下文

   原生 256K，而且上下文很省显存：4-bit 下从 8K 开到 256K 只多约 18 GB。Unsloth 建议默认开 98,304（约 96K）。

llama-server -hf unsloth/Kimi-K2.6-GGUF:UD-Q4_K_XL -c 8192

llama-server -hf unsloth/Kimi-K2.6-GGUF:UD-Q4_K_XL -c 8192 -ngl 99 \
  --cpu-moe

vllm serve moonshotai/Kimi-K2.6 \
  --trust-remote-code \
  --tensor-parallel-size 8 \
  --tool-call-parser kimi_k2 \
  --enable-auto-tool-choice \
  --reasoning-parser kimi_k2 \
  --speculative-config '{"model":"lightseekorg/kimi-k2.6-eagle3-mla","method":"eagle3","num_speculative_tokens":3}' \
  --mm-encoder-tp-mode data

mlx_lm.server --model mlx-community/Kimi-K2.6-mlx-DQ3_K_M-q8

量化文件名以模型库当周抓取为准，口径见数据方法。 数据方法

模型	总参数	激活参数	4-bit 模型大小
Kimi Linear 48B A3BMoE	49.1B	3B	30.1 GB
Kimi K2MoE	1,000B	32B	621.3 GB
Kimi K2.5MoE	1,000B	32B	621.2 GB
Kimi K2.7 CodeMoE	1,000B	32B	583.7 GB
Kimi K3MoE	2,800B	104B	1,508.7 GB

关于 Kimi