Ministral 3 14B をローカルに導入するには？
Ministral 3 14B は Mistral 3 の小型モデルのうち最大のもので、画像を扱え、公式によると性能は Small 3.2 24B に迫ります。それでいて VRAM は約 6 GB 少なく済みます。4-bit と 8K で約 10.6 GB なので 16GB の GPU で動き、40K 以上のコンテキストも確保できます。コンテキストの上限は 256K で、ライセンスは Apache 2.0 です。
Ministral 3 14B のモデル情報
- 4-bit 最小VRAM11 GB · 8K
- パラメータ数13.5B
- 最大コンテキスト256K
- アーキテクチャ
- Dense
- ライセンス
- Apache-2.0
- 発売日
- 2025年12月2日
- 提供元
- Mistral AI
- Hugging Face リポジトリ
- mistralai/Ministral-3-14B-Instruct-2512
- NVFP4 リポジトリ（Blackwell）
- RedHatAI/Ministral-3-14B-Instruct-2512-NVFP4
- MLX リポジトリ（Apple）
- mlx-community/Ministral-3-14B-Instruct-2512-4bit
- Ollama タグ
- ministral-3:14b
- リビジョン
- 2512
- レイヤー数
- 40
- 隠れ層次元
- 5,120
- KV ヘッド数
- 8
- ヘッド次元
- 128
Ministral 3 14B のローカル実行に必要なVRAMは？
| 量子化 | 重みサイズGB | 8K コンテキストGB | 32K コンテキストGB | 128K コンテキストGB | 256K コンテキスト（最大）GB |
|---|---|---|---|---|---|
| 1-bit | 3.7GGUF | 6.1 | 10.1 | 26.2 | 47.7 |
| 2-bit | 5.5GGUF | 7.9 | 11.9 | 28 | 49.5 |
| 3-bit | 6.9GGUF | 9.3 | 13.3 | 29.4 | 50.9 |
| 4-bit | 8.2GGUF | 10.6 | 14.6 | 30.7 | 52.2 |
| 5-bit | 9.6GGUF | 12 | 16 | 32.1 | 53.6 |
| 8-bit | 14.4GGUF | 16.8 | 20.8 | 36.9 | 58.4 |
| BF16/FP16 | 27GGUF | 29.4 | 33.4 | 49.5 | 71 |
詳しい計算ルールはデータの作り方ページをご覧ください。
Ministral 3 14B は GPU 1 枚で動く？
動きます。16GB の GPU でも普段使いのメインにでき、4-bit と 32K コンテキストで約 14.6 GB です。ただし 16GB で使えるのは 4-bit までで、8-bit ではモデル本体だけでカードがほぼ埋まります。24GB のカードがあるなら 8-bit がおすすめで、Mistral も公式の重みはそのまま 24GB の VRAM に収まるとしています。RTX 3090 では約 45 tokens/s、コンテキストは 6 万トークン前後まで広げられます。公称 256K をフルに使うと約 52 GB 必要で、収まるのは 96GB のカードか 128GB ユニファイドメモリのマシンだけです。
| デバイス | 価格 | 速度 t/s | 最大コンテキスト |
|---|---|---|---|
 Tesla V100 16GB16 GB | ¥116,6274 件の出品 | 96.9 | 63K |
| GeForce RTX 5060 Ti 16GB16 GB | ¥156,40029 件の出品 | 51.7 | 63K |
| Radeon RX 7900 XTX24 GB | ¥293,6506 件の出品 | 102.4 | 114K |
| GeForce RTX 309024 GB | ¥406,9228 件の出品 | 100.2 | 114K |
| Ryzen AI Max+ 395 128GBマシン全体 · 128 GB | ¥688,8588 件の出品 | 30.5 | 256K |
| GeForce RTX 409024 GB | ¥862,1369 件の出品 | 106.7 | 114K |
| GeForce RTX 509032 GB | ¥1,399,9909 件の出品 | 170 | 165K |
| RTX A600048 GB | ¥1,511,5715 件の出品 | 84.3 | 256K |
| RTX PRO 600096 GB | 価格なし | 170 | 256K |
| Mac Studio M5 Ultra 96GBマシン全体 · 96 GB | 価格なし | 126 | 256K |
| Tesla V100 32GB32 GB | 価格なし | 96.9 | 165K |
| MacBook Pro M5 Max 128GBマシン全体 · 128 GB | 価格なし | 69.1 | 256K |
| DGX Spark 128GBマシン全体 · 128 GB | 価格なし | 32.4 | 256K |
| デバイス | 価格 | 速度 t/s | 最大コンテキスト |
|---|---|---|---|
| Tesla V100 16GB16 GB | ¥116,6274 件の出品 | 70.2 | 47K |
| GeForce RTX 5060 Ti 16GB16 GB | ¥156,40029 件の出品 | 36.8 | 47K |
| Radeon RX 7900 XTX24 GB | ¥293,6506 件の出品 | 74.4 | 98K |
| GeForce RTX 309024 GB | ¥406,9228 件の出品 | 72.8 | 98K |
| Ryzen AI Max+ 395 128GBマシン全体 · 128 GB | ¥688,8588 件の出品 | 21.5 | 256K |
| GeForce RTX 409024 GB | ¥862,1369 件の出品 | 77.7 | 98K |
| GeForce RTX 509032 GB | ¥1,399,9909 件の出品 | 127.4 | 149K |
| RTX A600048 GB | ¥1,511,5715 件の出品 | 60.8 | 251K |
| RTX PRO 600096 GB | 価格なし | 127.4 | 256K |
| Mac Studio M5 Ultra 96GBマシン全体 · 96 GB | 価格なし | 92.6 | 256K |
| Tesla V100 32GB32 GB | 価格なし | 70.2 | 149K |
| MacBook Pro M5 Max 128GBマシン全体 · 128 GB | 価格なし | 49.5 | 256K |
| DGX Spark 128GBマシン全体 · 128 GB | 価格なし | 22.9 | 256K |
| デバイス | 価格 | 速度 t/s | 最大コンテキスト |
|---|---|---|---|
| Tesla V100 16GB16 GB | ¥116,6274 件の出品 | 43.1 | 10K |
| GeForce RTX 5060 Ti 16GB16 GB | ¥156,40029 件の出品 | 22.1 | 10K |
| Radeon RX 7900 XTX24 GB | ¥293,6506 件の出品 | 45.7 | 61K |
| GeForce RTX 309024 GB | ¥406,9228 件の出品 | 44.7 | 61K |
| Ryzen AI Max+ 395 128GBマシン全体 · 128 GB | ¥688,8588 件の出品 | 12.8 | 256K |
| GeForce RTX 409024 GB | ¥862,1369 件の出品 | 47.9 | 61K |
| GeForce RTX 509032 GB | ¥1,399,9909 件の出品 | 80.9 | 112K |
| RTX A600048 GB | ¥1,511,5715 件の出品 | 37.1 | 214K |
| RTX PRO 600096 GB | 価格なし | 80.9 | 256K |
| Mac Studio M5 Ultra 96GBマシン全体 · 96 GB | 価格なし | 57.5 | 256K |
| Tesla V100 32GB32 GB | 価格なし | 43.1 | 112K |
| MacBook Pro M5 Max 128GBマシン全体 · 128 GB | 価格なし | 29.9 | 256K |
| DGX Spark 128GBマシン全体 · 128 GB | 価格なし | 13.6 | 256K |
よく使われる GPU とマシンだけを、50B 未満と 50B 以上のモデルで分けて、価格の安い順に掲載しています。
Ministral 3 14B をローカルで動かす前に知っておきたいこと
Instruct か Reasoning か
同じサイズに Base、Instruct、Reasoning の 3 つの版があり、どれも画像を扱えます。Instruct は直接回答する版で、FP8 で公開されています。Reasoning は考えてから回答する版で BF16 で公開されており、Mistral によると数学コンテスト問題の AIME 2025 で 85% に達しています。普段の会話やツール呼び出しには Instruct を、数学やコードの難問には Reasoning を使いましょう。
24GB カードでは何 bit にするか
GGUF は 4-bit が約 8.2 GB、5-bit が約 9.6 GB、8-bit が約 14.4 GB です。24GB カードなら、迷わず 8-bit をおすすめします。32K を加えて約 20.8 GB、RTX 3090 で約 45 tokens/s、コンテキストは最長約 61K です。公式も、FP8 のオリジナルは 24GB の VRAM に収まるとしています。
デプロイ時の設定
vLLM は 0.12.0 以上が必要で、ツール呼び出しを使うには
--enable-auto-tool-choiceと--tool-call-parser mistralを付けます。サンプリングの推奨は 8B と同じで、temperatureは 0.1 未満にし、用途をはっきり書いたシステムプロンプトを加えます。Ollama のタグは ministral-3:14b です。長いコンテキストの代償
通常のアテンション構造なので、コンテキストが 1K 増えるごとに VRAM が約 0.17 GB 増えます。128K ではコンテキストのキャッシュが約 21 GB になり、4-bit の重みの 2 倍以上です。長い文書を扱うなら、先に必要なコンテキストを計算してから量子化を選びましょう。
起動コマンド
Ollama
- Windows
- macOS
- Linux
ollama run ministral-3:14bllama.cpp
- NVIDIA
- AMD
- Mac
- CPU
llama-server -hf mistralai/Ministral-3-14B-Instruct-2512-GGUF:Q4_K_M \ -c 8192
vLLM
- Linux
- NVIDIA
- AMD
vllm serve mistralai/Ministral-3-14B-Instruct-2512Blackwell 世代の GPU（RTX 50 シリーズ、RTX PRO 6000、B200）は NVFP4 の重みをネイティブに扱え、サイズは元の約 3 割です。
vllm serve RedHatAI/Ministral-3-14B-Instruct-2512-NVFP4MLX
- Apple シリコン
画像を扱うモデルは mlx-vlm で動かします。Mac で pip install mlx-vlm を済ませてから実行すると、Hugging Face から MLX 版の重みを取得してサーバーを起動します。
mlx_vlm.server --model mlx-community/Ministral-3-14B-Instruct-2512-4bitファイル名はその週のモデルライブラリ取得時点のものです。定義はデータ方法を参照してください。 データ方法
Mistral ファミリーのほかのモデル
| モデル | 総パラメータ | アクティブ | 4-bit のサイズ |
|---|---|---|---|
| Mistral 7B v0.3Dense | 7.3B | 7.3B | 4.4 GB |
| Ministral 3 8BDense | 8.4B | 8.4B | 5.2 GB |
| Mistral NemoDense | 12.3B | 12.3B | 7.5 GB |
| Mistral Small 3.2 24BDense | 24B | 24B | 14.3 GB |