Mistral Large 4 をローカルに導入するには？

• 4-bit 最小VRAM（8K コンテキスト）607 GB
• パラメータ数1,000B
• アクティブ52B
• 最大コンテキスト1M

アーキテクチャ

MoE

エキスパートオフロード

VRAM 16 GB + RAM 592 GB

ライセンス

Mistral Ecosystem Open-Weight License

発売日

2026年10月29日

提供元

Mistral AI

Hugging Face リポジトリ

mistralai/Mistral-Large-4-1T-A52B

GGUF リポジトリ

unsloth/Mistral-Large-4-1T-A52B-GGUF

NVFP4 リポジトリ（Blackwell）

mistralai/Mistral-Large-4-1T-A52B-NVFP4

レイヤー数

72

隠れ層次元

6,144

KV ヘッド数

64

ヘッド次元

128

詳しい計算ルールはデータの作り方ページをご覧ください。

よく使われる GPU とマシンだけを、価格の安い順に掲載しています。

デバイス	必要枚数	合計価格	合計 VRAM	速度 t/s	合計消費電力
RTX PRO 60001 枚 96 GB	8 枚	¥29,504,000	768 GB	35.2	4,800 W
A100 80GB PCIe1 枚 80 GB	8 枚	価格なし	640 GB	37.5	2,400 W
Mac Studio M3 Ultra 512GB1 台 512 GB	2 台	価格なし	1,024 GB	17.7	960 W

Mac Studio は Thunderbolt 5 で連結し、MLX や exo で動かします。vLLM は対応していません。詳しい計算ルールはデータの作り方ページをご覧ください。

詳しい計算ルールはデータ方法のページで確認できます。

一部の購入リンクはアフィリエイトリンクです。リンク経由でご購入いただくと当サイトが手数料を受け取ることがありますが、お支払い金額は変わりません。

1. 1

   llama.cpp はマージ済み、ただし正式リリースはまだ

   llama.cpp への対応は公開当日に本流へマージされました（PR #31376）が、10 月 29 日時点ではそれを含む正式リリースがなく、GGUF を読み込むには最新のソースを自分でビルドする必要があります。Unsloth も当面は自前のビルドを使うよう勧めています。Ollama にはローカルでは動かないクラウド版（mistral-large-4:cloud）しかありません。vLLM の対応も正式版・nightly のどちらにもまだ入っておらず（PR #64534）、公式レシピでは専用イメージ vllm/vllm-openai:mistral-large-4 を使います。Apple シリコン向けの mlx-lm 対応もまだ PR の段階ですが、mlx-community にはテキスト部分だけの 2-bit 版がすでに上がっています。

2. 2

   下書きヘッド内蔵で、出力がおよそ 2 倍速

   重みには DSpark という下書きヘッドが入っています。3 層の小さなネットワークが次の 3 トークンを先に予想し、本体がまとめて確かめる仕組みで、出力は使わない場合とまったく同じです。Mistral の計測ではスループットが最大 1.9 倍、Unsloth によると 1 人で対話する場合の出力速度はおよそ 2 倍です。llama.cpp では約 2.2 GB の下書きファイルを別に読み込み（-md dspark-Mistral-Large-4-1T-A52B-Q8_0.gguf --spec-type draft-dspark --spec-draft-n-max 3）、vLLM では --speculative-config '{"method": "dspark", "num_speculative_tokens": 3}' を付けます。本サイトの速度推定は下書きヘッドを使わない前提です。

3. 3

   考える深さは選べるが、オフにはできない

   思考の深さは reasoning_effort で low・medium・high から選び、既定は high です。Mistral は複雑なタスクやエージェント用途に high、普段使いに medium、すばやく返したいときに low を勧めています。ggml-org の説明によると、思考を完全に止めることはできません。推奨サンプリングはどの段階でも temperature 1.0、top_p 0.95 です。画像を読ませるには約 3.4 GB のプロジェクターファイル（--mmproj mmproj-BF16.gguf）を別に読み込みます。テキストだけなら不要です。

4. 4

   ファミリーのほかのバージョンとはライセンスが違う

   採用しているのは Mistral の新しい Mistral Ecosystem Open-Weight License で、MIT ライセンスを改変したものです。商用利用・ファインチューニング・再配布は無料ででき、著作権表示を残すことが条件です。追加された条項は「Model as a Service」事業を営む企業、つまり API やホスティングされたエンドポイントでモデルを第三者に提供し、入力やパラメータを相手が実質的に操作できるようにしている企業が対象です。こうした企業は、どんな商用目的で使う場合でも事前に Mistral と別の商用ライセンスを結ぶ必要があります。社内での利用や、Mistral の公式製品を通じた利用はこの条項の対象外です。本サイトで扱うほかの Mistral のバージョンはすべて Apache 2.0 で、この条項はありません。

llama-server -hf unsloth/Mistral-Large-4-1T-A52B-GGUF:UD-Q4_K_XL \
  --jinja -c 8192

docker run --runtime nvidia --gpus all \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  -p 8000:8000 \
  --ipc=host \
  vllm/vllm-openai:mistral-large-4 \
  --model mistralai/Mistral-Large-4-1T-A52B-NVFP4 \
  --tensor-parallel-size 8 \
  --kv-cache-dtype fp8_ds_mla \
  --tool-call-parser mistral \
  --reasoning-parser mistral \
  --enable-auto-tool-choice \
  --gpu-memory-utilization 0.85

ファイル名はその週のモデルライブラリ取得時点のものです。定義はデータ方法を参照してください。 データ方法

モデル	総パラメータ	アクティブ	4-bit のサイズ
Mistral 7B v0.3Dense	7.3B	7.3B	4.4 GB
Ministral 3 8BDense	8.4B	8.4B	5.2 GB
Mistral NemoDense	12.3B	12.3B	7.5 GB
Ministral 3 14BDense	13.5B	13.5B	8.2 GB
Mistral Small 3.2 24BDense	24B	24B	14.3 GB

Mistral について