当サイトにはアフィリエイトリンクが含まれます。eBay パートナーとして、リンク経由でご購入いただいた場合に報酬を受け取ることがあります。eBay パートナーとして報酬を得ることがあります。詳しく

収録 GPU57価格追跡49 日直近 24h の価格データ43,303 件24h 最大の値下げGeForce RTX 3090-4.7%24h 最大の値上げRyzen AI Max+ 395 128GB+11.3%更新
¥ JPY

Kimi K2 をローカルに導入するには？

Kimi K2 は Moonshot AI の 1T パラメータの MoE で、当サイトが掲載しているのは 2025 年 9 月の 0905 版です。思考しない即時応答の会話専用で、扱えるのはテキストだけです。4-bit で約 621 GB あり、単体 GPU にも 128GB のマシンにもまったく届きません。新規に導入するなら、後継のバージョンを検討するのがおすすめです。コーディングやエージェント用途なら K2.7 Code で、公式の重みがそもそも 4-bit なので、量子化による追加の劣化はほとんどありません。K2 の公式の重みは FP8 なので、4-bit に圧縮すると実際に劣化します。

Kimi K2 のモデル情報

  • 4-bit 最小VRAM623 GB · 8K
  • パラメータ数1,000B
  • アクティブ32B
  • 最大コンテキスト256K
アーキテクチャ
MoE
エキスパートオフロード
VRAM 10 GB + RAM 615 GB
ライセンス
Modified MIT
発売日
2025年9月3日
提供元
Moonshot AI
Hugging Face リポジトリ
moonshotai/Kimi-K2-Instruct-0905
GGUF リポジトリ
unsloth/Kimi-K2-Instruct-0905-GGUF
MLX リポジトリ（Apple）
mlx-community/Kimi-K2-Instruct-0905-mlx-3bit
リビジョン
0905
レイヤー数
61
隠れ層次元
7,168
KV ヘッド数
64
ヘッド次元
192

Kimi K2 のローカル実行に必要なVRAMは？

量子化重みサイズGB8K コンテキストGB32K コンテキストGB128K コンテキストGB256K コンテキスト（最大）GB
1-bit304.8GGUF306.4308.2315.1324.3
2-bit383.6GGUF385.2387393.9403.1
3-bit452.4GGUF454455.8462.7471.9
4-bit621.3GGUF622.9624.7631.6640.8
5-bit728.7GGUF730.3732.1739748.2
8-bit1,091.1GGUF1,092.71,094.51,101.41,110.6
BF16/FP162,053.2GGUF2,054.82,056.62,063.52,072.7

詳しい計算ルールはデータの作り方ページをご覧ください。

Kimi K2 は GPU 1 枚で動く？

動かせません。単体 GPU にも 128GB のマシンにも遠く及ばず、1T パラメータは 2-bit に圧縮しても約 384 GB あります。1 台に収まるのは 512GB の Mac Studio M3 Ultra で 2-bit を動かす場合だけですが、macOS が既定で GPU に使わせるメモリの約 4 分の 3 ぎりぎりなので、先にこの上限を引き上げておく必要があります。より一般的なのは、384GB のメモリを積んだサーバーに RTX PRO 6000 を 1 枚挿し、エキスパートの大半をメインメモリに置く方法で、2-bit が毎秒 40 トークン前後です。なお K2 の公式の重みは 8-bit なので、2-bit も 4-bit もはっきりした劣化を伴い、この点は後継バージョンに劣ります。

Amazon.jp
デバイス価格速度 t/s最大コンテキスト
Mac Studio M3 Ultra 512GBマシン全体 · 512 GB価格なし40.5256K

よく使われる GPU とマシンだけを、50B 未満と 50B 以上のモデルで分けて、価格の安い順に掲載しています。

Kimi K2 を動かすには GPU が何枚必要？

96GB の RTX PRO 6000 が 8 枚必要で、2-bit なら毎秒約 69 トークン、4-bit なら約 50 です。K2 の 2-bit は後継の K2.6 よりひと回り大きく、32K のコンテキストを加えると 96GB カード 4 枚にも 48GB カード 8 枚にもわずかに収まらないため、これより少ない構成はありません。DGX Spark 4 台をつなげば 2-bit は収まりますが、毎秒 14〜15 トークンほどです。手元のカードが 96GB 4 枚なら、K2.6 に乗り換えるほうが向いています。同じ 1T の構造で 2-bit が 4 枚に収まり、即答モードの使い勝手も K2 にいちばん近いからです。

Amazon.jp
デバイス必要枚数合計価格合計 VRAM速度 t/s合計消費電力
RTX PRO 60001 枚 96 GB8 枚価格なし768 GB504,800 W
Mac Studio M3 Ultra 512GB1 台 512 GB2 台価格なし1,024 GB26.2960 W

Mac Studio は Thunderbolt 5 で連結し、MLX や exo で動かします。vLLM は対応していません。詳しい計算ルールはデータの作り方ページをご覧ください。

Kimi K2 を動かすにはどんな構成のマシンが必要？

エキスパートをメインメモリに置く場合、組める構成は 12 チャネル DDR5 サーバーと RTX PRO 6000 1 枚の組み合わせだけです。2-bit ならメモリ 384GB で約 41 tokens/s、4-bit なら 768GB をフル搭載して約 26 です。モデルカードが推奨する KTransformers は、こうした CPU と GPU で役割を分ける推論のためのエンジンです。

Amazon.jp

8 × Tesla V100 32GB + Xeon E5 デュアル 8 GPU サーバー

低予算
生成速度8.5t/s
メモリ帯域幅137GB/s
GPU
8 × Tesla V100 32GBエキスパート層 25 / 61 を VRAM 256 GB に配置
—
メモリ
384 GB DDR4-213316 GB × 24 枚
¥541,656
CPU
2 × Intel Xeon E5-2680 v4合計 28 コア 56 スレッド・8 チャネル
¥4,747
ベアボーン
Supermicro SYS-4028GR-TRGPU 8 基・メモリスロット 24 本
¥205,691
電源
内蔵 4 × 1,600 W
ベアボーンに含む
マシン全体の参考価格—

GeForce RTX 5090 + EPYC デュアル DDR5

フラッグシップ
生成速度30.1t/s
メモリ帯域幅922GB/s
GPU
GeForce RTX 5090エキスパート層 2 / 61 を VRAM 32 GB に配置
¥1,399,990
メモリ
768 GB DDR5-480032 GB × 24 枚
¥6,820,584
CPU
2 × AMD EPYC 9354合計 64 コア 128 スレッド・24 チャネル
¥579,100
マザーボード
Gigabyte MZ73-LM0メモリスロット 24 本
¥205,691
電源
Seasonic PRIME PX-16001,600 W
¥80,694
マシン全体の参考価格¥9,086,060

4 × RTX PRO 6000 + EPYC デュアル DDR5

超大規模モデル向け
生成速度40.8t/s
メモリ帯域幅922GB/s
GPU
4 × RTX PRO 6000エキスパート層 39 / 61 を VRAM 384 GB に配置
—
メモリ
384 GB DDR5-480016 GB × 24 枚
¥3,336,672
CPU
2 × AMD EPYC 9354合計 64 コア 128 スレッド・24 チャネル
¥579,100
マザーボード
Gigabyte MZ73-LM0メモリスロット 24 本
¥205,691
電源
2 × Seasonic PRIME PX-22004,400 W
¥208,856
マシン全体の参考価格—

詳しい計算ルールはデータ方法のページで確認できます。

一部の購入リンクはアフィリエイトリンクです。リンク経由でご購入いただくと当サイトが手数料を受け取ることがありますが、お支払い金額は変わりません。

Kimi K2 をローカルで動かす前に知っておきたいこと

  1. 新規に導入するならどれか

    コーディングやエージェント用途なら、迷わず K2.7 Code を使いましょう。同じ 1T の構造で、公式の重みがネイティブで 4-bit（INT4）なので、量子化による追加の劣化はほとんどありません。思考なしの即時応答が欲しいなら、K2.6 の即時モードが K2 の使い方に最も近いです。今も K2 を使い続ける理由は、主に既存のワークフローやプロンプトが K2 に合わせて調整されていることくらいです。

  2. GGUF の入手先

    このページの llama-server コマンドは Unsloth の 0905 版 GGUF（unsloth/Kimi-K2-Instruct-0905-GGUF）を使っています。1-bit から 8-bit までそろっており、llama.cpp でそのまま動きます。公式が推奨する推論エンジンは vLLM、SGLang、KTransformers、TensorRT-LLM です。

  3. 0905 版は初版より何が強いか

    公式のテストでは、コーディングの SWE-bench Verified が 0711 版の 65.8 から 69.2 に、ターミナル操作の Terminal-Bench が 37.5 から 44.5 に上がりました。フロントエンドのコードは見た目も実用性も向上し、コンテキストも 128K から 2 倍の 256K になりました。

  4. サンプリングパラメータ

    公式の推奨は temperature 0.6 です。システムプロンプトは、モデルカードにある既定の一文をそのまま使えば問題ありません。

  5. ライセンス

    修正版 MIT ライセンスで、追加条項は 1 つだけです。月間アクティブユーザーが 1 億人を超えるか、月間収益が非常に大きい商用製品では、画面上に「Kimi K2」と目立つように表示する必要があります。K2.5 から K2.7 Code まで同じ条項を引き継いでおり、表示する名前がそれぞれのバージョン名に変わるだけです。

起動コマンド

llama.cpp

  • NVIDIA
  • AMD
  • Mac
  • CPU
すべて VRAM に載せる
ターミナル
llama-server -hf unsloth/Kimi-K2-Instruct-0905-GGUF:Q4_K_M -c 8192
MoE オフロード

VRAM が足りないときは --cpu-moe を付けると、ルーティングされるエキスパートを RAM に置けます（約 615 GB 必要）。

ターミナル
llama-server -hf unsloth/Kimi-K2-Instruct-0905-GGUF:Q4_K_M -c 8192 \
  -ngl 99 --cpu-moe

vLLM

  • Linux
  • NVIDIA

実行前にデプロイガイドで必要な実行環境とハードウェアを確認してください。

ターミナル
vllm serve moonshotai/Kimi-K2-Instruct-0905 \
  --port 8000 \
  --served-model-name kimi-k2 \
  --trust-remote-code \
  --tensor-parallel-size 16 \
  --enable-auto-tool-choice \
  --tool-call-parser kimi_k2

MLX

  • Apple シリコン

Mac で pip install mlx-lm を済ませてから実行すると、Hugging Face から MLX 版の重みを取得し、OpenAI 互換のサーバーを起動します。

ターミナル
mlx_lm.server --model mlx-community/Kimi-K2-Instruct-0905-mlx-3bit

Ollama

  • Windows
  • macOS
  • Linux

Ollama ライブラリに公式タグはまだありません。

ファイル名はその週のモデルライブラリ取得時点のものです。定義はデータ方法を参照してください。 データ方法

Kimi ファミリーのほかのモデル

モデル総パラメータアクティブ4-bit のサイズ
Kimi Linear 48B A3BMoE49.1B3B30.1 GB
Kimi K2.5MoE1,000B32B621.2 GB
Kimi K2.6MoE1,000B32B583.7 GB
Kimi K2.7 CodeMoE1,000B32B583.7 GB
Kimi K3MoE2,800B104B1,508.7 GB

Kimi について