Kimi Linear 48B A3B 如何本地部署？

• 4-bit 最低顯示記憶體32 GB · 8K
• 參數量49.1B
• 激活參數3B
• 上下文上限1M

架構

MoE

專家卸載

4 GB 顯存 + 30 GB 記憶體

授權

MIT

發布日期

2025年10月30日

廠商

Moonshot AI

Hugging Face 倉庫

moonshotai/Kimi-Linear-48B-A3B-Instruct

GGUF 倉庫

bartowski/moonshotai_Kimi-Linear-48B-A3B-Instruct-GGUF

MLX 倉庫（Apple）

mlx-community/Kimi-Linear-48B-A3B-Instruct-4bit

層數

27

隱藏維度

2,304

KV 頭

32

頭維度

72

詳細計算規則可在資料方法頁查看。

裝置	價格	速度 t/s	最大上下文
Tesla V100 32GB32 GB	NT$20,4794 筆掛單	134.9	385K
Ryzen AI Max+ 395 128GB整機 · 128 GB	NT$92,64316 筆掛單	70.3	1M
RTX A600048 GB	NT$156,0307 筆掛單	126.9	1M
DGX Spark 128GB整機 · 128 GB	NT$209,66541 筆掛單	73.3	1M
MacBook Pro M5 Max 128GB整機 · 128 GB	NT$222,80110 筆掛單	115.3	1M
Mac Studio M5 Ultra 96GB整機 · 96 GB	NT$224,29315 筆掛單	149.6	1M
GeForce RTX 509032 GB	NT$253,54314 筆掛單	165	385K
RTX PRO 600096 GB	NT$609,4916 筆掛單	165	1M

只列常見的顯示卡和整機，50B 以下和以上的模型各一組，按價格從低到高。

詳細計算規則可在資料方法頁查看。

部分購買連結是聯盟連結：透過它們購買時我們可能獲得佣金，你支付的價格不變。

1. 1

   線性注意力代表什麼

   一般注意力每多一個字，就要多存一份快取；線性注意力（這裡用的是 KDA）只存一個固定大小的狀態，上下文再長也不會增加。Kimi Linear 每 3 層線性注意力搭配 1 層一般注意力，官方表示最多能省下 75% 的上下文快取，在 1M 上下文下生成速度最多快約 6 倍。同一種架構後來也用在 Kimi K3 和 GLM 5.3 Flash 上。

2. 2

   量化要先讓位給上下文

   選它就是為了長上下文，所以量化時先算上下文需要多少：在 24GB 的卡上，2-bit 能留出 80 萬以上的上下文，3-bit 只剩約 96K。32GB 的卡用 4-bit；48GB 的卡可以用 5-bit（約 35 GB），開滿 1M 約 45 GB；8-bit 約 52 GB，需要 96GB 的卡或統一記憶體整機。

3. 3

   llama.cpp 要用 2 月中旬之後的版本

   llama.cpp 主線在 2026 年 2 月 6 日合併了 Kimi Linear 支援（PR #18755）。2 月 13 日修正了 llama-server 同時處理多個請求時狀態會被寫亂的問題（PR #19531），請使用這之後的版本；3 月 5 日又做了一次最佳化（PR #19827），作者表示處理提示詞的速度快了約 15%。Ollama 官方模型庫裡沒有這個模型。

4. 4

   vLLM 版本

   vLLM 配方建議固定使用 0.11.2，0.12.0 有一個會讓 Kimi Linear 啟動時報錯的已知問題。官方範例是 4 卡、開滿 1M 上下文；在本機用單卡跑的話，用 llama.cpp 比較省事。

llama-server \
  -hf bartowski/moonshotai_Kimi-Linear-48B-A3B-Instruct-GGUF:Q4_K_M \
  -c 8192

llama-server \
  -hf bartowski/moonshotai_Kimi-Linear-48B-A3B-Instruct-GGUF:Q4_K_M \
  -c 8192 -ngl 99 --cpu-moe

vllm serve moonshotai/Kimi-Linear-48B-A3B-Instruct \
  --trust-remote-code \
  --tensor-parallel-size 1

mlx_lm.server --model mlx-community/Kimi-Linear-48B-A3B-Instruct-4bit

量化檔名以模型庫當週抓取為準，口徑見資料方法。 資料方法

模型	總參數	激活參數	4-bit 模型大小
Kimi K2MoE	1,000B	32B	621.3 GB
Kimi K2.5MoE	1,000B	32B	621.2 GB
Kimi K2.6MoE	1,000B	32B	583.7 GB
Kimi K2.7 CodeMoE	1,000B	32B	583.7 GB
Kimi K3MoE	2,800B	104B	1,508.7 GB

關於 Kimi