Mistral Small 3.2 24B をローカルに導入するには？

• 4-bit 最小VRAM17 GB · 8K
• パラメータ数24B
• 最大コンテキスト128K

アーキテクチャ

Dense

ライセンス

Apache-2.0

発売日

2025年6月19日

提供元

Mistral AI

Hugging Face リポジトリ

mistralai/Mistral-Small-3.2-24B-Instruct-2506

GGUF リポジトリ

bartowski/mistralai_Mistral-Small-3.2-24B-Instruct-2506-GGUF

NVFP4 リポジトリ（Blackwell）

RedHatAI/Mistral-Small-3.2-24B-Instruct-2506-NVFP4

MLX リポジトリ（Apple）

mlx-community/Mistral-Small-3.2-24B-Instruct-2506-4bit

Ollama タグ

mistral-small3.2:24b

リビジョン

2506

レイヤー数

40

隠れ層次元

5,120

KV ヘッド数

8

ヘッド次元

128

詳しい計算ルールはデータの作り方ページをご覧ください。

デバイス	価格	速度 t/s	最大コンテキスト
Tesla V100 16GB16 GB	¥116,6274 件の出品	43.3	10K
GeForce RTX 5060 Ti 16GB16 GB	¥156,40029 件の出品	22.2	10K
Radeon RX 7900 XTX24 GB	¥293,6506 件の出品	46	61K
GeForce RTX 309024 GB	¥406,9228 件の出品	45	61K
Ryzen AI Max+ 395 128GBマシン全体 · 128 GB	¥688,8588 件の出品	12.9	128K
GeForce RTX 409024 GB	¥862,1369 件の出品	48.2	61K
GeForce RTX 509032 GB	¥1,399,9909 件の出品	81.4	113K
RTX A600048 GB	¥1,511,5715 件の出品	37.3	128K
RTX PRO 600096 GB	価格なし	81.4	128K
Mac Studio M5 Ultra 96GBマシン全体 · 96 GB	価格なし	57.9	128K
Tesla V100 32GB32 GB	価格なし	43.3	113K
MacBook Pro M5 Max 128GBマシン全体 · 128 GB	価格なし	30.1	128K
DGX Spark 128GBマシン全体 · 128 GB	価格なし	13.7	128K

よく使われる GPU とマシンだけを、50B 未満と 50B 以上のモデルで分けて、価格の安い順に掲載しています。

1. 1

   Ollama のタグを間違えない

   Ollama の mistral-small:24b はひとつ前の Small 3 で、テキストのみ、コンテキストは 32K です。Small 3.2 のタグは mistral-small3.2:24b で、画像に対応し、コンテキストは 128K です。

2. 2

   temperature とシステムプロンプト

   公式の推奨は temperature 0.15 で、システムプロンプトも必ず加えるよう求めています。汎用アシスタントとして使うなら、モデルのリポジトリにある SYSTEM_PROMPT.txt をそのまま使えば十分です。

3. 3

   推論エンジンと画像入力

   公式は vLLM 0.9.1 以上を推奨しています。ただしオリジナルの BF16 は GPU 上で約 55 GB 必要なので、1 枚で動かすなら事実上量子化版しかありません。llama.cpp で画像を扱うには別途 mmproj ファイルを読み込む必要があり、bartowski の GGUF リポジトリに用意されています。

4. 4

   3.2 と 3.1 のどちらを選ぶか

   構造もサイズも同じで、3.2 はあらゆる面で使いやすくなっています。指示追従のテスト WildBench v2 は 55.6% から 65.3% に上がり、公式の社内テストで同じ出力を延々と繰り返す割合は 2.11% から 1.29% に減り、ツール呼び出しも安定しました。画像関連のスコアは上がったものも下がったものもあり、おおむね横ばいです。今から 3.1 を新たに導入する理由はありません。

5. 5

   次世代は大型 MoE に

   Mistral が 2026 年 3 月に公開した Small 4 は、119B パラメータの MoE（1 トークンあたり 6B を使用）に変わり、24GB カード 1 枚には収まりません。24GB カード 1 枚で Mistral の Dense モデルを動かしたいなら、今も Small 3.2 が最大の選択肢です。

ollama run mistral-small3.2:24b

llama-server \
  -hf bartowski/mistralai_Mistral-Small-3.2-24B-Instruct-2506-GGUF:Q4_K_M \
  -c 8192

vllm serve mistralai/Mistral-Small-3.2-24B-Instruct-2506

vllm serve RedHatAI/Mistral-Small-3.2-24B-Instruct-2506-NVFP4

mlx_lm.server \
  --model mlx-community/Mistral-Small-3.2-24B-Instruct-2506-4bit

ファイル名はその週のモデルライブラリ取得時点のものです。定義はデータ方法を参照してください。 データ方法

モデル	総パラメータ	アクティブ	4-bit のサイズ
Mistral 7B v0.3Dense	7.3B	7.3B	4.4 GB
Ministral 3 8BDense	8.4B	8.4B	5.2 GB
Mistral NemoDense	12.3B	12.3B	7.5 GB
Ministral 3 14BDense	13.5B	13.5B	8.2 GB

Mistral について