Kimi Linear 48B A3B をローカルに導入するには？

• 4-bit 最小VRAM32 GB · 8K
• パラメータ数49.1B
• アクティブ3B
• 最大コンテキスト1M

アーキテクチャ

MoE

エキスパートオフロード

VRAM 4 GB + RAM 30 GB

ライセンス

MIT

発売日

2025年10月30日

提供元

Moonshot AI

Hugging Face リポジトリ

moonshotai/Kimi-Linear-48B-A3B-Instruct

GGUF リポジトリ

bartowski/moonshotai_Kimi-Linear-48B-A3B-Instruct-GGUF

MLX リポジトリ（Apple）

mlx-community/Kimi-Linear-48B-A3B-Instruct-4bit

レイヤー数

27

隠れ層次元

2,304

KV ヘッド数

32

ヘッド次元

72

詳しい計算ルールはデータの作り方ページをご覧ください。

デバイス	価格	速度 t/s	最大コンテキスト
Ryzen AI Max+ 395 128GBマシン全体 · 128 GB	¥688,8588 件の出品	70.3	1M
GeForce RTX 509032 GB	¥1,399,9909 件の出品	165	385K
RTX A600048 GB	¥1,511,5715 件の出品	126.9	1M
RTX PRO 600096 GB	価格なし	165	1M
Mac Studio M5 Ultra 96GBマシン全体 · 96 GB	価格なし	149.6	1M
Tesla V100 32GB32 GB	価格なし	134.9	385K
MacBook Pro M5 Max 128GBマシン全体 · 128 GB	価格なし	115.3	1M
DGX Spark 128GBマシン全体 · 128 GB	価格なし	73.3	1M

よく使われる GPU とマシンだけを、50B 未満と 50B 以上のモデルで分けて、価格の安い順に掲載しています。

詳しい計算ルールはデータ方法のページで確認できます。

一部の購入リンクはアフィリエイトリンクです。リンク経由でご購入いただくと当サイトが手数料を受け取ることがありますが、お支払い金額は変わりません。

1. 1

   線形アテンションとは何か

   通常のアテンションは、トークンが 1 つ増えるたびにキャッシュも 1 つ分増えます。線形アテンション（ここでは KDA）は固定サイズの状態を 1 つ保持するだけなので、コンテキストがどれだけ長くなっても増えません。Kimi Linear は線形アテンション 3 層ごとに通常のアテンション 1 層を組み合わせており、公式によるとコンテキストのキャッシュを最大 75% 削減でき、1M コンテキストでの生成は最大約 6 倍速くなります。同じ構造はその後、Kimi K3 と GLM 5.3 Flash にも採用されました。

2. 2

   量子化はコンテキストを優先して選ぶ

   このモデルを選ぶのは長いコンテキストのためなので、量子化を決める前に必要なコンテキストを計算しましょう。24GB カードでは、2-bit なら 80 万以上のコンテキストを確保できますが、3-bit では約 96K しか残りません。32GB カードなら 4-bit、48GB カードなら 5-bit（約 35 GB）が使え、1M をフルに使って約 45 GB です。8-bit は約 52 GB で、96GB カードかユニファイドメモリ搭載マシンが必要です。

3. 3

   llama.cpp は 2 月中旬以降のバージョンを使う

   llama.cpp のメインラインは 2026 年 2 月 6 日に Kimi Linear への対応をマージしました（PR #18755）。2 月 13 日には、llama-server が複数のリクエストを同時に処理すると状態が壊れる問題が修正されたので（PR #19531）、これ以降のバージョンを使ってください。3 月 5 日にはさらに最適化が入り（PR #19827）、作者によるとプロンプト処理が約 15% 速くなりました。Ollama の公式ライブラリにはこのモデルはありません。

4. 4

   vLLM のバージョン

   vLLM のレシピは 0.11.2 に固定して使うよう勧めています。0.12.0 には Kimi Linear の起動時にエラーが出る既知の問題があります。公式の例は 4 枚構成で 1M コンテキストをフルに使うものです。ローカルで 1 枚で動かすなら、llama.cpp のほうが手軽です。

llama-server \
  -hf bartowski/moonshotai_Kimi-Linear-48B-A3B-Instruct-GGUF:Q4_K_M \
  -c 8192

llama-server \
  -hf bartowski/moonshotai_Kimi-Linear-48B-A3B-Instruct-GGUF:Q4_K_M \
  -c 8192 -ngl 99 --cpu-moe

vllm serve moonshotai/Kimi-Linear-48B-A3B-Instruct \
  --trust-remote-code \
  --tensor-parallel-size 1

mlx_lm.server --model mlx-community/Kimi-Linear-48B-A3B-Instruct-4bit

ファイル名はその週のモデルライブラリ取得時点のものです。定義はデータ方法を参照してください。 データ方法

モデル	総パラメータ	アクティブ	4-bit のサイズ
Kimi K2MoE	1,000B	32B	621.3 GB
Kimi K2.5MoE	1,000B	32B	621.2 GB
Kimi K2.6MoE	1,000B	32B	583.7 GB
Kimi K2.7 CodeMoE	1,000B	32B	583.7 GB
Kimi K3MoE	2,800B	104B	1,508.7 GB

Kimi について