4 × Tesla V100 32GB + E5 雙路 8 卡機
低價生成速度5.1t/s
記憶體頻寬137GB/s
- 電源
- 內建 4 × 1,600 W 電源
- 含在準系統內
整機參考價NT$219,105
Kimi K3 如何本地部署？
Kimi K3 是月之暗面 2026 年 7 月發布的 2.8T 參數 MoE，能看圖，上下文 1M。它大到 4-bit 就要約 1,509 GB，將近 8 張 96GB 卡總顯示記憶體的兩倍；單台機器能配出的只有一種：12 通道 DDR5 伺服器插滿 768GB 記憶體、加一張 RTX PRO 6000 跑 2-bit，約 19 tokens/s；就容量來說，兩台 512GB 的 Mac Studio 串接也放得下 2-bit。授權條款也比 K2 系列多了一條商用限制。
Kimi K3 模型資訊
- 4-bit 最低顯示記憶體1,511 GB · 8K
- 參數量2,800B
- 激活參數104B
- 上下文上限1M
- 架構
- MoE
- 專家卸載
- 32 GB 顯存 + 1,480 GB 記憶體
- 發布日期
- 2026年7月27日
- 廠商
- Moonshot AI
- Hugging Face 倉庫
- moonshotai/Kimi-K3
- GGUF 倉庫
- unsloth/Kimi-K3-GGUF
- NVFP4 倉庫（Blackwell）
- RedHatAI/Kimi-K3-NVFP4
- 層數
- 93
- 隱藏維度
- 7,168
- KV 頭
- 96
- 頭維度
- 192
Kimi K3 本地部署需要多少顯示記憶體？
| 量化 | 權重體積GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文GB | 1M 上下文（最大）GB |
|---|---|---|---|---|---|
| 1-bit | 648.9GGUF | 650.9 | 653.6 | 657.2 | 679 |
| 2-bit | 861.3GGUF | 863.3 | 866 | 869.6 | 891.4 |
| 3-bit | 1,440.6估 | 1,442.6 | 1,445.3 | 1,448.9 | 1,470.7 |
| 4-bit | 1,508.7GGUF | 1,510.7 | 1,513.4 | 1,517 | 1,538.8 |
| 5-bit | — | — | — | — | — |
| 8-bit | 1,561.2GGUF | 1,563.2 | 1,565.9 | 1,569.5 | 1,591.3 |
| BF16/FP16 | 5,880估 | 5,882 | 5,884.7 | 5,888.3 | 5,910.1 |
詳細計算規則可在資料方法頁查看。
單卡能跑 Kimi K3 嗎？
不能，單卡、單台整機都放不下。它有 2.8T 參數，最小的 1-bit 約 649 GB，超過 512GB 的 Mac Studio M3 Ultra；2-bit 約 861 GB，8 張 96GB 卡加起來也放不下。單台機器唯一配得出來的方案，是伺服器插滿記憶體再加一張 RTX PRO 6000，只把少數幾層專家放在顯示卡上，2-bit 每秒約 19 個 token，品質也要打折扣：和原版選出同一個詞的比例約九成。就容量來說，兩台 512GB 的 Mac Studio 串接放得下 2-bit，4-bit 要四台；Unsloth 表示還在研究怎麼把它壓進 512GB 而不明顯傷到品質，只有一台 Mac 的人可以再等等。
多卡跑 Kimi K3 要幾張顯示卡？
| 裝置 | 需要幾張 | 總價 | 總顯示記憶體 | 速度 t/s | 總功耗 |
|---|---|---|---|---|---|
| Mac Studio M3 Ultra 512GB單台 512 GB | 2 台 | NT$1,146,331 | 1,024 GB | 17.7 | 960 W |
| 裝置 | 需要幾張 | 總價 | 總顯示記憶體 | 速度 t/s | 總功耗 |
|---|---|---|---|---|---|
| Mac Studio M3 Ultra 512GB單台 512 GB | 4 台 | NT$2,292,662 | 2,048 GB | 10.6 | 1,920 W |
| 裝置 | 需要幾張 | 總價 | 總顯示記憶體 | 速度 t/s | 總功耗 |
|---|---|---|---|---|---|
| Mac Studio M3 Ultra 512GB單台 512 GB | 4 台 | NT$2,292,662 | 2,048 GB | 10.2 | 1,920 W |
Mac Studio 以 Thunderbolt 5 線串接，要用 MLX 或 exo 執行，vLLM 不支援。詳細計算規則可在資料方法頁查看。
用整機跑 Kimi K3 要什麼配置？
只有 2-bit 這一檔配得出來：12 通道 DDR5 伺服器插滿 768GB 記憶體，加一張 RTX PRO 6000，93 層中約 9 層的專家放進顯示記憶體，其餘放系統記憶體，約 19 tokens/s。4-bit 要約 1,509 GB，超出這類伺服器的記憶體上限。
4 × GeForce RTX 5090 + EPYC 雙路 DDR5
旗艦生成速度23.4t/s
記憶體頻寬922GB/s
整機參考價NT$1,975,643
8 × RTX PRO 6000 + EPYC 雙路 DDR5 8 卡機
超大模型生成速度34.3t/s
記憶體頻寬922GB/s
- 電源
- 內建 4 × 3,000 W 電源
- 含在準系統內
整機參考價NT$5,570,701
GeForce RTX 5090 + EPYC 雙路 DDR5
旗艦生成速度13.3t/s
記憶體頻寬922GB/s
整機參考價NT$2,045,881
8 × RTX PRO 6000 + EPYC 雙路 DDR5 8 卡機
超大模型生成速度16.8t/s
記憶體頻寬922GB/s
- 電源
- 內建 4 × 3,000 W 電源
- 含在準系統內
整機參考價NT$5,921,768
4 × GeForce RTX 5090 + EPYC 雙路 DDR5
旗艦生成速度13.2t/s
記憶體頻寬922GB/s
整機參考價NT$2,829,906
8 × RTX PRO 6000 + EPYC 雙路 DDR5 8 卡機
超大模型生成速度16.1t/s
記憶體頻寬922GB/s
- 電源
- 內建 4 × 3,000 W 電源
- 含在準系統內
整機參考價NT$6,776,031
部分購買連結是聯盟連結：透過它們購買時我們可能獲得佣金，你支付的價格不變。
本地部署 Kimi K3 要注意什麼？
量化
官方權重在訓練時就已針對 4-bit（MXFP4）為專家做過適配，其餘部分是 BF16。所以 Unsloth 的 8-bit（UD-Q8_K_XL，約 1,561 GB）原樣保留，是無損版；4-bit 約 1,509 GB，也接近原版。再往下壓就有損了：Unsloth 測得 2-bit（約 861 GB）與原版首選同一個字的比例約 90%，最小的 1-bit 約 79%。
思考只能調檔
思考始終開啟，只能用
reasoning_effort選擇 low、high、max，預設 max。它是以保留思考歷史的方式訓練的，多輪對話和工具呼叫時，要把 API 回傳的整則回覆原樣送回，包括reasoning_content和tool_calls。取樣參數：一般任務temperature1.0、top_p0.95，Agent 任務top_p1.0。框架支援
llama.cpp 主線在 2026 年 8 月 15 日合併了 K3 的文字部分（PR #26185），看圖要用 Unsloth 的分支。vLLM 要用 kimi-k3 專用映像檔，只有 CUDA 13 版，主機驅動程式要 r580 以上，配方寫的最低硬體是 8 張 GB300。vLLM 也提醒，它偶爾會輸出解析器無法辨識的工具呼叫格式，建議加上格式驗證和重試。
授權條款多了一條
Kimi K3 License 比 K2 系列的修改版 MIT 多了一條：營收超過門檻的「模型即服務」業務，在商用前要和月之暗面另行簽約；月活躍用戶破億或月營收很高的產品，仍要在介面上標示「Kimi K3」。只在公司內部使用，或透過月之暗面官方及認證的推論服務商呼叫，這兩條都不適用。
長上下文
93 層中有 69 層用的是線性注意力，狀態大小固定，不會隨上下文變長；只有 24 層的快取會增長。所以 4-bit 下從 32K 開到 1M 只多約 28 GB，以這個體量來說幾乎可以忽略。
啟動指令
llama.cpp
- NVIDIA
- AMD
- Mac
- CPU
全部放進顯示記憶體
llama-server -hf unsloth/Kimi-K3-GGUF:UD-Q4_K_XL -c 8192專家卸載
顯示記憶體不夠時加上 --cpu-moe，把路由專家放進系統記憶體（約需 1,480 GB）。
llama-server -hf unsloth/Kimi-K3-GGUF:UD-Q4_K_XL -c 8192 -ngl 99 \ --cpu-moe
vLLM
- Linux
- NVIDIA
vllm serve moonshotai/Kimi-K3 \ --trust-remote-code \ --gpu-memory-utilization 0.95 \ --tensor-parallel-size 8 \ --load-format fastsafetensors \ --no-enable-flashinfer-autotune \ --max-model-len 1048576 \ --kv-cache-dtype fp8 \ --attention-config '{"use_prefill_query_quantization":true,"mla_prefill_backend":"TOKENSPEED_MLA"}' \ --enable-prefix-caching \ --attention-backend TOKENSPEED_MLA \ --prefix-match-unit 128 \ --enable-auto-tool-choice \ --tool-call-parser kimi_k3 \ --reasoning-parser kimi_k3
Ollama
- Windows
- macOS
- Linux
Ollama 只有雲端版 kimi-k3:cloud，在 Ollama 的伺服器上執行，不在你自己的電腦上跑。
量化檔名以模型庫當週抓取為準，口徑見資料方法。 資料方法
Kimi 家族的其他模型
| 模型 | 總參數 | 激活參數 | 4-bit 模型大小 |
|---|---|---|---|
| Kimi Linear 48B A3BMoE | 49.1B | 3B | 30.1 GB |
| Kimi K2MoE | 1,000B | 32B | 621.3 GB |
| Kimi K2.5MoE | 1,000B | 32B | 621.2 GB |
| Kimi K2.6MoE | 1,000B | 32B | 583.7 GB |
| Kimi K2.7 CodeMoE | 1,000B | 32B | 583.7 GB |