当サイトにはアフィリエイトリンクが含まれます。eBay パートナーとして、リンク経由でご購入いただいた場合に報酬を受け取ることがあります。eBay パートナーとして報酬を得ることがあります。詳しく

収録 GPU57価格追跡49 日直近 24h の価格データ43,303 件24h 最大の値下げGeForce RTX 3090-4.7%24h 最大の値上げRyzen AI Max+ 395 128GB+11.3%更新
¥ JPY

Kimi K2.6 をローカルに導入するには？

Kimi K2.6 は、Moonshot AI が 2026 年 4 月に公開した 1T パラメータの MoE です。構造は K2.5 とまったく同じで、長時間のプログラミング、デザインカンプどおりの UI 実装、マルチエージェントの連携が強化されています。6 月の K2.7 Code はこれをベースにプログラミングに特化した版なので、コーディングには K2.7 Code を使いましょう。即時モードが必要な場合や、プログラミング以外の汎用タスクでは、K2.6 が今も K2 シリーズで最新の選択肢です。

Kimi K2.6 のモデル情報

  • 4-bit 最小VRAM586 GB · 8K
  • パラメータ数1,000B
  • アクティブ32B
  • 最大コンテキスト256K
アーキテクチャ
MoE
エキスパートオフロード
VRAM 10 GB + RAM 578 GB
ライセンス
Modified MIT
発売日
2026年4月20日
提供元
Moonshot AI
Hugging Face リポジトリ
moonshotai/Kimi-K2.6
GGUF リポジトリ
unsloth/Kimi-K2.6-GGUF
NVFP4 リポジトリ（Blackwell）
nvidia/Kimi-K2.6-NVFP4
MLX リポジトリ（Apple）
mlx-community/Kimi-K2.6-mlx-DQ3_K_M-q8
レイヤー数
61
隠れ層次元
7,168
KV ヘッド数
64
ヘッド次元
192

Kimi K2.6 のローカル実行に必要なVRAMは？

量子化重みサイズGB8K コンテキストGB32K コンテキストGB128K コンテキストGB256K コンテキスト（最大）GB
1-bit252推定253.6255.4262.3271.5
2-bit340.5GGUF342.1343.9350.8360
3-bit514.5推定516.1517.9524.8534
4-bit583.7GGUF585.3587.1594603.2
5-bit—————
8-bit594.5GGUF596.1597.9604.8614
BF16/FP162,053.2GGUF2,054.82,056.62,063.52,072.7

詳しい計算ルールはデータの作り方ページをご覧ください。

Kimi K2.6 は GPU 1 枚で動く？

単体 GPU では動かせず、1 台で動かせる例外は 512GB の Mac Studio M3 Ultra で 2-bit を使う場合だけです。1T パラメータは 2-bit で約 341 GB と K2.5 よりひと回り小さく、この Mac ならシステム設定を変えずに載り、コンテキストを最大にしても余裕があります。1 トークンごとに使うパラメータは 32B だけなので、Mac でも生成はサイズから想像するほど遅くありません。4-bit は約 584 GB でこの Mac も超えるため、96GB のカード 8 枚か、768GB のメモリを積んだサーバーに GPU 1 枚を挿してエキスパートをメインメモリに置く構成が必要です。

Amazon.jp
デバイス価格速度 t/s最大コンテキスト
Mac Studio M3 Ultra 512GBマシン全体 · 512 GB価格なし44.4256K

よく使われる GPU とマシンだけを、50B 未満と 50B 以上のモデルで分けて、価格の安い順に掲載しています。

Kimi K2.6 を動かすには GPU が何枚必要？

96GB の RTX PRO 6000 4 枚で 2-bit を動かすのが最もコンパクトで、毎秒約 74 トークンです。合計容量が同じ 48GB の RTX A6000 8 枚でも 2-bit は収まりますが、速度は半分ほどです。4-bit にするには RTX PRO 6000 を 8 枚に増やす必要があり、そこまでするなら 8-bit を選ぶのが正解です。公式の重みのエキスパートはもともと 4-bit で、8-bit はそれをそのまま残した劣化なしの版、ファイルは 11 GB 大きいだけで、速度もどちらも毎秒 50 トークン強です。DGX Spark 4 台をつないでも 2-bit は動きますが、毎秒十数トークンにとどまります。

Amazon.jp
デバイス必要枚数合計価格合計 VRAM速度 t/s合計消費電力
A100 80GB PCIe1 枚 80 GB8 枚価格なし640 GB55.42,400 W
RTX PRO 60001 枚 96 GB8 枚価格なし768 GB52.34,800 W
Mac Studio M3 Ultra 512GB1 台 512 GB2 台価格なし1,024 GB27.6960 W

Mac Studio は Thunderbolt 5 で連結し、MLX や exo で動かします。vLLM は対応していません。詳しい計算ルールはデータの作り方ページをご覧ください。

Kimi K2.6 を動かすにはどんな構成のマシンが必要？

エキスパートをメインメモリに置く場合、組める構成は 12 チャネル DDR5 サーバーと RTX PRO 6000 1 枚の組み合わせだけです。2-bit ならメモリ 384GB で約 46 tokens/s、4-bit と 8-bit はどちらも 768GB をフル搭載して約 27 です。この構成では 8-bit が 4-bit より遅くなることはないので、メモリが足りるなら劣化のない 8-bit をそのまま使いましょう。

Amazon.jp

8 × Tesla V100 32GB + Xeon E5 デュアル 8 GPU サーバー

低予算
生成速度9.4t/s
メモリ帯域幅137GB/s
GPU
8 × Tesla V100 32GBエキスパート層 27 / 61 を VRAM 256 GB に配置
—
メモリ
384 GB DDR4-213316 GB × 24 枚
¥541,656
CPU
2 × Intel Xeon E5-2680 v4合計 28 コア 56 スレッド・8 チャネル
¥4,747
ベアボーン
Supermicro SYS-4028GR-TRGPU 8 基・メモリスロット 24 本
¥205,691
電源
内蔵 4 × 1,600 W
ベアボーンに含む
マシン全体の参考価格—

GeForce RTX 5090 + EPYC デュアル DDR5

フラッグシップ
生成速度31.8t/s
メモリ帯域幅922GB/s
GPU
GeForce RTX 5090エキスパート層 2 / 61 を VRAM 32 GB に配置
¥1,399,990
メモリ
768 GB DDR5-480032 GB × 24 枚
¥6,820,584
CPU
2 × AMD EPYC 9354合計 64 コア 128 スレッド・24 チャネル
¥579,100
マザーボード
Gigabyte MZ73-LM0メモリスロット 24 本
¥205,691
電源
Seasonic PRIME PX-16001,600 W
¥80,694
マシン全体の参考価格¥9,086,060

4 × RTX PRO 6000 + EPYC デュアル DDR5

超大規模モデル向け
生成速度44.1t/s
メモリ帯域幅922GB/s
GPU
4 × RTX PRO 6000エキスパート層 42 / 61 を VRAM 384 GB に配置
—
メモリ
384 GB DDR5-480016 GB × 24 枚
¥3,336,672
CPU
2 × AMD EPYC 9354合計 64 コア 128 スレッド・24 チャネル
¥579,100
マザーボード
Gigabyte MZ73-LM0メモリスロット 24 本
¥205,691
電源
2 × Seasonic PRIME PX-22004,400 W
¥208,856
マシン全体の参考価格—

詳しい計算ルールはデータ方法のページで確認できます。

一部の購入リンクはアフィリエイトリンクです。リンク経由でご購入いただくと当サイトが手数料を受け取ることがありますが、お支払い金額は変わりません。

Kimi K2.6 をローカルで動かす前に知っておきたいこと

  1. 量子化は 3 段階だけ

    Unsloth が公開しているのは 2-bit（約 341 GB）、4-bit（約 584 GB）、8-bit（約 595 GB）の 3 段階だけです。8-bit は 4-bit のエキスパートをそのまま保持し、残りの部分を BF16 にしたもので、劣化はないと言えます。4-bit はその残りの部分をさらに 8-bit に圧縮しただけで、8-bit との差は無視できるほど小さいです（パープレキシティ 1.8420 対 1.8419）。Unsloth は、サイズと品質のバランスが取れた選択肢として 2-bit を推奨しています。

  2. 思考モード、即時モードと preserve_thinking

    サンプリングパラメータは K2.5 と同じで、temperature は思考モードで 1.0、即時モードで 0.6、top_p は 0.95 です。即時モードへの切り替えも同じく、chat_template_kwargs の thinking をオフにします。新たに加わった preserve_thinking は既定でオフで、オンにすると複数ターンの会話で思考内容をすべて保持します。公式は、思考モードでコードを書くエージェント用途に限ってオンにするよう勧めています。

  3. 画像入力

    K2.6 以降、Unsloth の GGUF には画像入力用の射影ファイル（mmproj）が付属しています。llama.cpp に --mmproj を付ければ画像を入力でき、ローカルでも画像理解の機能を使えます。

  4. vLLM の要件

    vLLM のレシピは 0.25 以上を要求しています。公式のオリジナル（INT4）は H200 8 枚で検証されており、レシピに書かれた要件は VRAM 合計約 640 GB です。B300 なら NVFP4 版に替えれば 4 枚で足ります。

  5. コンテキスト

    ネイティブで 256K に対応し、しかもコンテキストは VRAM をあまり使いません。4-bit で 8K から 256K に広げても約 18 GB 増えるだけです。Unsloth は既定値として 98,304（約 96K）を勧めています。

起動コマンド

llama.cpp

  • NVIDIA
  • AMD
  • Mac
  • CPU
すべて VRAM に載せる
ターミナル
llama-server -hf unsloth/Kimi-K2.6-GGUF:UD-Q4_K_XL -c 8192
MoE オフロード

VRAM が足りないときは --cpu-moe を付けると、ルーティングされるエキスパートを RAM に置けます（約 578 GB 必要）。

ターミナル
llama-server -hf unsloth/Kimi-K2.6-GGUF:UD-Q4_K_XL -c 8192 -ngl 99 \
  --cpu-moe

vLLM

  • Linux
  • NVIDIA

実行前にデプロイガイドで必要な実行環境とハードウェアを確認してください。

ターミナル
vllm serve moonshotai/Kimi-K2.6 \
  --trust-remote-code \
  --tensor-parallel-size 8 \
  --tool-call-parser kimi_k2 \
  --enable-auto-tool-choice \
  --reasoning-parser kimi_k2 \
  --speculative-config '{"model":"lightseekorg/kimi-k2.6-eagle3-mla","method":"eagle3","num_speculative_tokens":3}' \
  --mm-encoder-tp-mode data

MLX

  • Apple シリコン

Mac で pip install mlx-lm を済ませてから実行すると、Hugging Face から MLX 版の重みを取得し、OpenAI 互換のサーバーを起動します。

ターミナル
mlx_lm.server --model mlx-community/Kimi-K2.6-mlx-DQ3_K_M-q8

Ollama

  • Windows
  • macOS
  • Linux

Ollama にはクラウド版の kimi-k2.6:cloud しかなく、手元のマシンではなく Ollama のサーバーで動きます。

ファイル名はその週のモデルライブラリ取得時点のものです。定義はデータ方法を参照してください。 データ方法

Kimi ファミリーのほかのモデル

モデル総パラメータアクティブ4-bit のサイズ
Kimi Linear 48B A3BMoE49.1B3B30.1 GB
Kimi K2MoE1,000B32B621.3 GB
Kimi K2.5MoE1,000B32B621.2 GB
Kimi K2.7 CodeMoE1,000B32B583.7 GB
Kimi K3MoE2,800B104B1,508.7 GB

Kimi について