Kimi K3 をローカルに導入するには？

Kimi K3 は、Moonshot AI が 2026 年 7 月に公開した 2.8T パラメータの MoE で、画像を扱え、コンテキストは 1M です。非常に大きく、4-bit でも約 1,509 GB と、96GB カード 8 枚の VRAM 合計の 2 倍近くになります。1 台で組める構成は 1 つだけで、12 チャネル DDR5 サーバーにメモリ 768GB をフル搭載し、RTX PRO 6000 を 1 枚加えて 2-bit を動かすと約 19 tokens/s です。容量の上では、512GB の Mac Studio を 2 台つないでも 2-bit が収まります。ライセンスにも、K2 シリーズより商用利用の制限が 1 つ増えています。

Kimi K3 のモデル情報

4-bit 最小VRAM1,511 GB · 8K
パラメータ数2,800B
アクティブ104B
最大コンテキスト1M

アーキテクチャ: MoE
エキスパートオフロード: VRAM 32 GB + RAM 1,480 GB
ライセンス: Kimi K3 License
発売日: 2026年7月27日
提供元: Moonshot AI
Hugging Face リポジトリ: moonshotai/Kimi-K3
GGUF リポジトリ: unsloth/Kimi-K3-GGUF
NVFP4 リポジトリ（Blackwell）: RedHatAI/Kimi-K3-NVFP4
レイヤー数: 93
隠れ層次元: 7,168
KV ヘッド数: 96
ヘッド次元: 192

Kimi K3 のローカル実行に必要なVRAMは？

量子化	重みサイズGB	32K コンテキストGB	128K コンテキストGB	256K コンテキストGB	1M コンテキスト（最大）GB
1-bit	648.9GGUF	650.9	653.6	657.2	679
2-bit	861.3GGUF	863.3	866	869.6	891.4
3-bit	1,440.6推定	1,442.6	1,445.3	1,448.9	1,470.7
4-bit	1,508.7GGUF	1,510.7	1,513.4	1,517	1,538.8
5-bit	—	—	—	—	—
8-bit	1,561.2GGUF	1,563.2	1,565.9	1,569.5	1,591.3
BF16/FP16	5,880推定	5,882	5,884.7	5,888.3	5,910.1

詳しい計算ルールはデータの作り方ページをご覧ください。

Kimi K3 は GPU 1 枚で動く？

動かせません。単体 GPU にも単体マシンにも収まりません。2.8T パラメータのため、最小の 1-bit でも約 649 GB と 512GB の Mac Studio M3 Ultra を超え、2-bit の約 861 GB は 96GB カード 8 枚を合わせても入りきりません。1 台で組める唯一の構成は、メモリを目いっぱい積んだサーバーに RTX PRO 6000 を 1 枚挿し、ごく一部の層のエキスパートだけを GPU に置くもので、2-bit で毎秒約 19 トークンです。品質も下がり、Unsloth の計測では 2-bit が元のモデルと同じ次の単語を選ぶ割合は約 9 割です。容量の上では 512GB の Mac Studio 2 台で 2-bit、4 台で 4-bit が収まります。512GB に収める方法は Unsloth が検討中なので、Mac が 1 台だけなら待つのも手です。

Kimi K3 を動かすには GPU が何枚必要？

デバイス	必要枚数	合計価格	合計 VRAM	速度 t/s	合計消費電力
Mac Studio M3 Ultra 512GB1 台 512 GB	2 台	価格なし	1,024 GB	17.7	960 W

デバイス	必要枚数	合計価格	合計 VRAM	速度 t/s	合計消費電力
Mac Studio M3 Ultra 512GB1 台 512 GB	4 台	価格なし	2,048 GB	10.6	1,920 W

デバイス	必要枚数	合計価格	合計 VRAM	速度 t/s	合計消費電力
Mac Studio M3 Ultra 512GB1 台 512 GB	4 台	価格なし	2,048 GB	10.2	1,920 W

Mac Studio は Thunderbolt 5 で連結し、MLX や exo で動かします。vLLM は対応していません。詳しい計算ルールはデータの作り方ページをご覧ください。

Kimi K3 を動かすにはどんな構成のマシンが必要？

組めるのは 2-bit だけです。12 チャネル DDR5 サーバーにメモリ 768GB をフル搭載し、RTX PRO 6000 を 1 枚加えます。93 層のうち約 9 層分のエキスパートを VRAM に、残りをメインメモリに置いて約 19 tokens/s です。4-bit は約 1,509 GB 必要で、この種のサーバーのメモリ上限を超えます。

GeForce RTX 5090 + EPYC デュアル DDR5

フラッグシップ

生成速度13.3t/s

メモリ帯域幅922GB/s

GPU: GeForce RTX 5090エキスパート層 0 / 93 を VRAM 32 GB に配置; ¥1,399,990
メモリ: 1,536 GB DDR5-480064 GB × 24 枚; ¥14,100,432
CPU: 2 × AMD EPYC 9354合計 64 コア 128 スレッド・24 チャネル; ¥579,100
マザーボード: Gigabyte MZ73-LM0メモリスロット 24 本; ¥205,691
電源: Seasonic PRIME PX-16001,600 W; ¥80,694

マシン全体の参考価格¥16,365,908

8 × RTX PRO 6000 + EPYC デュアル DDR5 8 GPU サーバー

超大規模モデル向け

生成速度16.8t/s

メモリ帯域幅922GB/s

GPU: 8 × RTX PRO 6000エキスパート層 49 / 93 を VRAM 768 GB に配置; —
メモリ: 768 GB DDR5-480032 GB × 24 枚; ¥6,820,584
CPU: 2 × AMD EPYC 9354合計 64 コア 128 スレッド・24 チャネル; ¥579,100
ベアボーン: ASUS ESC8000A-E12GPU 8 基・メモリスロット 24 本; ¥1,091,746
電源: 内蔵 4 × 3,000 W; ベアボーンに含む

マシン全体の参考価格—

詳しい計算ルールはデータ方法のページで確認できます。

一部の購入リンクはアフィリエイトリンクです。リンク経由でご購入いただくと当サイトが手数料を受け取ることがありますが、お支払い金額は変わりません。

Kimi K3 をローカルで動かす前に知っておきたいこと

量子化
公式の重みは、学習段階からエキスパートを 4-bit（MXFP4）に合わせて調整しており、残りの部分は BF16 です。そのため Unsloth の 8-bit（UD-Q8_K_XL、約 1,561 GB）はそれをそのまま保持した劣化のない版で、4-bit（約 1,509 GB）もオリジナルに近い品質です。それより下げると劣化が出ます。Unsloth の測定では、オリジナルと同じトークンを第一候補に選ぶ割合が、2-bit（約 861 GB）で約 90%、最小の 1-bit で約 79% でした。
思考は段階の調整のみ
思考は常にオンで、reasoning_effort で low、high、max を選べるだけです。既定は max です。思考の履歴を保持する前提で学習されているため、複数ターンの会話やツール呼び出しでは、API が返した応答全体を reasoning_content や tool_calls も含めてそのまま送り返す必要があります。サンプリングパラメータは、一般的なタスクで temperature 1.0、top_p 0.95、エージェントタスクでは top_p 1.0 です。
推論エンジンの対応状況
llama.cpp のメインラインは 2026 年 8 月 15 日に K3 のテキスト部分をマージしました（PR #26185）。画像を扱うには Unsloth のブランチが必要です。vLLM では kimi-k3 専用のイメージを使う必要があり、CUDA 13 版しかなく、ホスト側のドライバーは r580 以上が必要です。レシピに書かれた最低ハードウェアは GB300 8 枚です。vLLM は、パーサーが認識できない形式のツール呼び出しをまれに出力することがあるとして、形式のチェックとリトライを加えるよう勧めています。
ライセンスの条項が 1 つ増えた
Kimi K3 License は、K2 シリーズの修正版 MIT に条項が 1 つ加わっています。収益が基準を超える「Model as a Service」事業は、商用利用の前に Moonshot AI と別途契約を結ぶ必要があります。月間アクティブユーザーが 1 億人を超えるか、月間収益が非常に大きい製品では、引き続き画面上に「Kimi K3」と表示する必要があります。社内だけで使う場合や、Moonshot AI 公式および認定の推論サービス事業者経由で呼び出す場合は、どちらの条項も適用されません。
長いコンテキスト
93 層のうち 69 層は線形アテンションを使っており、状態のサイズは固定で、コンテキストが長くなっても大きくなりません。キャッシュが増えるのは 24 層だけです。そのため 4-bit で 32K から 1M に広げても約 28 GB 増えるだけで、このモデルの規模ではほぼ無視できます。

起動コマンド

llama.cpp

NVIDIA
AMD
Mac
CPU

すべて VRAM に載せる

ターミナル

llama-server -hf unsloth/Kimi-K3-GGUF:UD-Q4_K_XL -c 8192

MoE オフロード

VRAM が足りないときは --cpu-moe を付けると、ルーティングされるエキスパートを RAM に置けます（約 1,480 GB 必要）。

ターミナル

llama-server -hf unsloth/Kimi-K3-GGUF:UD-Q4_K_XL -c 8192 -ngl 99 \
  --cpu-moe

vLLM

Linux
NVIDIA

実行前にデプロイガイドで必要な実行環境とハードウェアを確認してください。

ターミナル

vllm serve moonshotai/Kimi-K3 \
  --trust-remote-code \
  --gpu-memory-utilization 0.95 \
  --tensor-parallel-size 8 \
  --load-format fastsafetensors \
  --no-enable-flashinfer-autotune \
  --max-model-len 1048576 \
  --kv-cache-dtype fp8 \
  --attention-config '{"use_prefill_query_quantization":true,"mla_prefill_backend":"TOKENSPEED_MLA"}' \
  --enable-prefix-caching \
  --attention-backend TOKENSPEED_MLA \
  --prefix-match-unit 128 \
  --enable-auto-tool-choice \
  --tool-call-parser kimi_k3 \
  --reasoning-parser kimi_k3

Ollama

Windows
macOS
Linux

Ollama にはクラウド版の kimi-k3:cloud しかなく、手元のマシンではなく Ollama のサーバーで動きます。

ファイル名はその週のモデルライブラリ取得時点のものです。定義はデータ方法を参照してください。データ方法

Kimi ファミリーのほかのモデル

モデル	総パラメータ	アクティブ	4-bit のサイズ
Kimi Linear 48B A3BMoE	49.1B	3B	30.1 GB
Kimi K2MoE	1,000B	32B	621.3 GB
Kimi K2.5MoE	1,000B	32B	621.2 GB
Kimi K2.6MoE	1,000B	32B	583.7 GB
Kimi K2.7 CodeMoE	1,000B	32B	583.7 GB

Kimi について

Kimi K3 をローカルに導入するには？

Kimi K3 のモデル情報

Kimi K3 のローカル実行に必要なVRAMは？

Kimi K3 は GPU 1 枚で動く？

Kimi K3 を動かすには GPU が何枚必要？

Kimi K3 を動かすにはどんな構成のマシンが必要？

8 × Tesla V100 32GB + Xeon E5 デュアル 8 GPU サーバー

4 × GeForce RTX 5090 + EPYC デュアル DDR5

8 × RTX PRO 6000 + EPYC デュアル DDR5 8 GPU サーバー

GeForce RTX 5090 + EPYC デュアル DDR5

8 × RTX PRO 6000 + EPYC デュアル DDR5 8 GPU サーバー

4 × GeForce RTX 5090 + EPYC デュアル DDR5

8 × RTX PRO 6000 + EPYC デュアル DDR5 8 GPU サーバー

Kimi K3 をローカルで動かす前に知っておきたいこと

量子化

思考は段階の調整のみ

推論エンジンの対応状況

ライセンスの条項が 1 つ増えた

長いコンテキスト

起動コマンド

llama.cpp

vLLM

Ollama

Kimi ファミリーのほかのモデル