Kimi K2 如何本地部署？

Kimi K2 是月之暗面的 1T 參數 MoE，本站收錄的是 2025 年 9 月的 0905 版：只做不思考的即時對話，也只能處理文字。它的 4-bit 約 621 GB，單卡和 128GB 整機都差得遠。新部署建議直接看後續版本：寫程式、跑 Agent 用 K2.7 Code，它的官方權重就是 4-bit，量化幾乎沒有額外損失；K2 的官方權重則是 FP8，壓到 4-bit 是實實在在的有損。

Kimi K2 模型資訊

4-bit 最低顯示記憶體623 GB · 8K
參數量1,000B
激活參數32B
上下文上限256K

架構: MoE
專家卸載: 10 GB 顯存 + 615 GB 記憶體
授權: Modified MIT
發布日期: 2025年9月3日
廠商: Moonshot AI
Hugging Face 倉庫: moonshotai/Kimi-K2-Instruct-0905
GGUF 倉庫: unsloth/Kimi-K2-Instruct-0905-GGUF
MLX 倉庫（Apple）: mlx-community/Kimi-K2-Instruct-0905-mlx-3bit
小版本: 0905
層數: 61
隱藏維度: 7,168
KV 頭: 64
頭維度: 192

Kimi K2 本地部署需要多少顯示記憶體？

量化	權重體積GB	8K 上下文GB	32K 上下文GB	128K 上下文GB	256K 上下文（最大）GB
1-bit	304.8GGUF	306.4	308.2	315.1	324.3
2-bit	383.6GGUF	385.2	387	393.9	403.1
3-bit	452.4GGUF	454	455.8	462.7	471.9
4-bit	621.3GGUF	622.9	624.7	631.6	640.8
5-bit	728.7GGUF	730.3	732.1	739	748.2
8-bit	1,091.1GGUF	1,092.7	1,094.5	1,101.4	1,110.6
BF16/FP16	2,053.2GGUF	2,054.8	2,056.6	2,063.5	2,072.7

詳細計算規則可在資料方法頁查看。

單卡能跑 Kimi K2 嗎？

不能，單卡和 128GB 整機都差得遠：1T 參數壓到 2-bit 還有約 384 GB。整機裡只有 512GB 的 Mac Studio M3 Ultra 放得下 2-bit，而且已經頂到 macOS 預設允許 GPU 使用的四分之三記憶體，要先在系統裡調高這個上限。比較常見的出路是伺服器插 384GB 記憶體、配一張 RTX PRO 6000，把大部分專家放進系統記憶體，2-bit 每秒約四十個 token。另外要留意，K2 的官方權重是 8-bit，壓到 2-bit、4-bit 都是實實在在的有損，這點不如後來的版本。

裝置	價格	速度 t/s	最大上下文
Mac Studio M3 Ultra 512GB整機 · 512 GB	NT$573,1654 筆掛單	40.5	256K

只列常見的顯示卡和整機，50B 以下和以上的模型各一組，按價格從低到高。

多卡跑 Kimi K2 要幾張顯示卡？

要 8 張 96GB 的 RTX PRO 6000，2-bit 每秒約 69 個 token，4-bit 約 50。K2 的 2-bit 比後來的 K2.6 大一截，加上 32K 上下文後，4 張 96GB 卡、8 張 48GB 卡都剛好差一點，所以沒有更精簡的配法。4 台 DGX Spark 串接放得下 2-bit，但每秒只有十四、五個。如果手上就是 4 張 96GB 卡，改用 K2.6 更合適：同樣的 1T 結構，它的 2-bit 四張卡就放得下，即時模式的用法也最接近 K2。

裝置	需要幾張	總價	總顯示記憶體	速度 t/s	總功耗
Instinct MI210單卡 64 GB	8 張	NT$721,598	512 GB	65.1	2,400 W
DGX Spark 128GB單台 128 GB	4 台	NT$838,660	512 GB	14.5	960 W
RTX PRO 5000 72GB單卡 72 GB	8 張	NT$2,301,438	576 GB	56.5	2,400 W
RTX PRO 6000單卡 96 GB	8 張	NT$4,875,929	768 GB	69.2	4,800 W
A100 80GB PCIe單卡 80 GB	8 張	NT$5,461,040	640 GB	72.8	2,400 W

裝置	需要幾張	總價	總顯示記憶體	速度 t/s	總功耗
Mac Studio M3 Ultra 512GB單台 512 GB	2 台	NT$1,146,331	1,024 GB	26.2	960 W
RTX PRO 6000單卡 96 GB	8 張	NT$4,875,929	768 GB	50	4,800 W

裝置	需要幾張	總價	總顯示記憶體	速度 t/s	總功耗
Mac Studio M3 Ultra 512GB單台 512 GB	4 台	NT$2,292,662	2,048 GB	16.1	1,920 W

Mac Studio 以 Thunderbolt 5 線串接，要用 MLX 或 exo 執行，vLLM 不支援。詳細計算規則可在資料方法頁查看。

用整機跑 Kimi K2 要什麼配置？

把專家放進系統記憶體的話，唯一配得出來的是 12 通道 DDR5 伺服器配一張 RTX PRO 6000：2-bit 插 384GB 記憶體，約 41 tokens/s；4-bit 要插滿 768GB，約 26。模型卡推薦的 KTransformers 專做這種 CPU 與 GPU 分工的推論。

Tesla V100 32GB + E5 雙路 8 卡機

低價

生成速度5.9t/s

記憶體頻寬137GB/s

顯示卡: Tesla V100 32GB2 / 61 層專家放進 32 GB 顯示記憶體; NT$20,479
記憶體: 768 GB DDR4-213324 條 × 32 GB; NT$116,905
CPU: 2 × Intel Xeon E5-2680 v4共 28 核 56 執行緒 · 8 通道; NT$780
準系統: Supermicro SYS-4028GR-TR8 個顯示卡位 · 24 個記憶體插槽; NT$19,504
電源: 內建 4 × 1,600 W 電源; 含在準系統內

整機參考價NT$157,668

GeForce RTX 5090 + EPYC 雙路 DDR5

旗艦

生成速度30.1t/s

記憶體頻寬922GB/s

顯示卡: GeForce RTX 50902 / 61 層專家放進 32 GB 顯示記憶體; NT$253,543
記憶體: 768 GB DDR5-480024 條 × 32 GB; NT$760,645
CPU: 2 × AMD EPYC 9354共 64 核 128 執行緒 · 24 通道; NT$119,413
主機板: Gigabyte MZ73-LM024 個記憶體插槽; NT$42,414
電源: 海韻 PRIME PX-16001,600 W; NT$15,603

整機參考價NT$1,191,618

4 × RTX PRO 6000 + EPYC 雙路 DDR5

超大模型

生成速度40.8t/s

記憶體頻寬922GB/s

顯示卡: 4 × RTX PRO 600039 / 61 層專家放進 384 GB 顯示記憶體; NT$2,437,964
記憶體: 384 GB DDR5-480024 條 × 16 GB; NT$409,578
CPU: 2 × AMD EPYC 9354共 64 核 128 執行緒 · 24 通道; NT$119,413
主機板: Gigabyte MZ73-LM024 個記憶體插槽; NT$42,414
電源: 2 × 海韻 PRIME PX-22004,400 W; NT$38,998

整機參考價NT$3,048,367

詳細計算規則可在資料方法頁查看。

部分購買連結是聯盟連結：透過它們購買時我們可能獲得佣金，你支付的價格不變。

本地部署 Kimi K2 要注意什麼？

新部署該用哪一版
寫程式、跑 Agent，直接用 K2.7 Code：同樣是 1T 的架構，官方權重原生就是 4-bit（INT4），量化幾乎沒有額外損失。需要不帶思考的即時回答，K2.6 的即時模式最接近 K2 的用法。還留著 K2 的理由，主要是既有的流程和提示詞是針對它調校的。
GGUF 在哪裡
頁面上的 llama-server 指令用的是 Unsloth 的 0905 版 GGUF（unsloth/Kimi-K2-Instruct-0905-GGUF），從 1-bit 到 8-bit 都有，llama.cpp 可以直接跑。官方推薦的引擎是 vLLM、SGLang、KTransformers 和 TensorRT-LLM。
0905 比初版強在哪裡
在官方測試中，寫程式的 SWE-bench Verified 從 0711 版的 65.8 提升到 69.2，終端機任務 Terminal-Bench 從 37.5 提升到 44.5；前端程式碼更美觀實用，上下文也從 128K 加倍到 256K。
取樣參數
官方建議 temperature 0.6，系統提示詞用模型卡給的預設那一句即可。
授權條款
修改版 MIT，只多了一條：月活躍用戶超過 1 億或月營收很高的商業產品，要在介面上明顯標示「Kimi K2」。K2.5 到 K2.7 Code 沿用同樣的條款，只是標示的名稱換成各自的版本。

啟動指令

llama.cpp

NVIDIA
AMD
Mac
CPU

全部放進顯示記憶體

終端機

llama-server -hf unsloth/Kimi-K2-Instruct-0905-GGUF:Q4_K_M -c 8192

專家卸載

顯示記憶體不夠時加上 --cpu-moe，把路由專家放進系統記憶體（約需 615 GB）。

終端機

llama-server -hf unsloth/Kimi-K2-Instruct-0905-GGUF:Q4_K_M -c 8192 \
  -ngl 99 --cpu-moe

vLLM

Linux
NVIDIA

執行前請依部署指南準備適配的執行環境與硬體。

終端機

vllm serve moonshotai/Kimi-K2-Instruct-0905 \
  --port 8000 \
  --served-model-name kimi-k2 \
  --trust-remote-code \
  --tensor-parallel-size 16 \
  --enable-auto-tool-choice \
  --tool-call-parser kimi_k2

MLX

Apple 晶片

在 Mac 上先 pip install mlx-lm，這條指令會從 Hugging Face 下載 MLX 權重，並啟動相容 OpenAI 介面的服務。

終端機

mlx_lm.server --model mlx-community/Kimi-K2-Instruct-0905-mlx-3bit

Ollama

Windows
macOS
Linux

Ollama 庫暫無官方標籤。

量化檔名以模型庫當週抓取為準，口徑見資料方法。資料方法

Kimi 家族的其他模型

模型	總參數	激活參數	4-bit 模型大小
Kimi Linear 48B A3BMoE	49.1B	3B	30.1 GB
Kimi K2.5MoE	1,000B	32B	621.2 GB
Kimi K2.6MoE	1,000B	32B	583.7 GB
Kimi K2.7 CodeMoE	1,000B	32B	583.7 GB
Kimi K3MoE	2,800B	104B	1,508.7 GB

關於 Kimi

Kimi K2 如何本地部署？

Kimi K2 模型資訊

Kimi K2 本地部署需要多少顯示記憶體？

單卡能跑 Kimi K2 嗎？

多卡跑 Kimi K2 要幾張顯示卡？

用整機跑 Kimi K2 要什麼配置？

Tesla V100 32GB + E5 雙路 8 卡機

GeForce RTX 3090 + EPYC 雙路 DDR4

GeForce RTX 5090 + EPYC 雙路 DDR5

2 × RTX PRO 6000 + EPYC 雙路 DDR5

Tesla V100 32GB + E5 雙路 8 卡機

GeForce RTX 5090 + EPYC 雙路 DDR5

4 × RTX PRO 6000 + EPYC 雙路 DDR5

GeForce RTX 5090 + EPYC 雙路 DDR5

8 × RTX PRO 6000 + EPYC 雙路 DDR5 8 卡機

本地部署 Kimi K2 要注意什麼？

新部署該用哪一版

GGUF 在哪裡

0905 比初版強在哪裡

取樣參數

授權條款

啟動指令

llama.cpp

vLLM

MLX

Ollama

Kimi 家族的其他模型