当サイトにはアフィリエイトリンクが含まれます。eBay パートナーとして、リンク経由でご購入いただいた場合に報酬を受け取ることがあります。eBay パートナーとして報酬を得ることがあります。詳しく

収録 GPU57価格追跡49 日直近 24h の価格データ43,303 件24h 最大の値下げGeForce RTX 3090-4.7%24h 最大の値上げRyzen AI Max+ 395 128GB+11.3%更新
¥ JPY

Mistral Nemo をローカルに導入するには？

Mistral NeMo は、Mistral AI と NVIDIA が 2024 年 7 月に共同で公開した 12B のモデルです。公式は Mistral 7B をそのまま置き換えるモデルと位置づけています。短い会話なら負荷は軽く、4-bit なら 12GB の GPU で足ります。ただしコンテキストは VRAM を大きく消費し、32K 増えるごとに約 5 GB 増え、128K をフルに使うと約 30 GB 必要です。

Mistral Nemo のモデル情報

  • 4-bit 最小VRAM10 GB · 8K
  • パラメータ数12.3B
  • 最大コンテキスト128K
アーキテクチャ
Dense
ライセンス
Apache-2.0
発売日
2024年7月17日
提供元
Mistral AI
Hugging Face リポジトリ
mistralai/Mistral-Nemo-Instruct-2407
GGUF リポジトリ
bartowski/Mistral-Nemo-Instruct-2407-GGUF
MLX リポジトリ（Apple）
mlx-community/Mistral-Nemo-Instruct-2407-4bit
Ollama タグ
mistral-nemo:12b
リビジョン
2407
レイヤー数
40
隠れ層次元
5,120
KV ヘッド数
8
ヘッド次元
128

Mistral Nemo のローカル実行に必要なVRAMは？

量子化重みサイズGB8K コンテキストGB32K コンテキストGB128K コンテキスト（最大）GB
1-bit3.1推定5.59.525.6
2-bit5.4GGUF7.811.827.9
3-bit7.1GGUF9.513.529.6
4-bit7.5GGUF9.913.930
5-bit8.7GGUF11.115.131.2
8-bit13GGUF15.419.435.5
BF16/FP1624.5GGUF26.930.947

詳しい計算ルールはデータの作り方ページをご覧ください。

Mistral Nemo は GPU 1 枚で動く？

1 枚で問題なく動き、12GB のカードで 4-bit と 8K コンテキスト（約 9.9 GB）なら十分です。VRAM を食うのはコンテキストで、32K 広げるごとに約 5 GB ずつ増えるため、16GB カードでは 4-bit のままが得策です。8-bit にするとコンテキストの余地がほとんど残りません。質と長さを両立させたいなら、24GB の RTX 3090 の 8-bit で約 69K まで広げられ、速度も快適です。128K をフルに使うには 32GB の RTX 5090 が要ります。なお新しいトークナイザーにより、ソースコードは従来の Mistral モデルより約 3 割少ないトークンで表せます。

Amazon.jp
デバイス価格速度 t/s最大コンテキスト
Tesla V100 16GB16 GB¥116,6274 件の出品75.651K
GeForce RTX 5060 Ti 16GB16 GB¥156,40029 件の出品39.851K
Radeon RX 7900 XTX24 GB¥293,6506 件の出品80.1102K
GeForce RTX 309024 GB¥406,9228 件の出品78.3102K
Ryzen AI Max+ 395 128GBマシン全体 · 128 GB¥688,8588 件の出品23.3128K
GeForce RTX 409024 GB¥862,1369 件の出品83.6102K
GeForce RTX 509032 GB¥1,399,9909 件の出品136.3128K
RTX A600048 GB¥1,511,5715 件の出品65.6128K
RTX PRO 600096 GB価格なし136.3128K
Mac Studio M5 Ultra 96GBマシン全体 · 96 GB価格なし99.4128K
Tesla V100 32GB32 GB価格なし75.6128K
MacBook Pro M5 Max 128GBマシン全体 · 128 GB価格なし53.4128K
DGX Spark 128GBマシン全体 · 128 GB価格なし24.8128K

よく使われる GPU とマシンだけを、50B 未満と 50B 以上のモデルで分けて、価格の安い順に掲載しています。

Mistral Nemo をローカルで動かす前に知っておきたいこと

  1. temperature は低めに

    公式が特に注意しているとおり、NeMo はこれまでの Mistral モデルより低い temperature が必要で、推奨は 0.3 です。多くのチャットフロントエンドは既定で 0.7 以上なので、忘れずに手動で変更してください。

  2. どの量子化を選ぶか

    公式によると学習段階から量子化を考慮した調整がされており、FP8 で推論しても精度は落ちません。GGUF は 4-bit が約 7.5 GB、5-bit が約 8.7 GB、8-bit が約 13.0 GB です。12GB カードなら 4-bit か 5-bit、16GB 以上なら 8-bit を使いましょう。

  3. 中国語のトークン効率が高い

    NeMo は新しい Tekken トークナイザーを採用しており、公式によると中国語とコードの圧縮効率が従来より約 30% 高くなっています。つまり、同じ 128K のコンテキストにより多くの中国語を詰め込めます。

  4. 推論エンジンの選び方

    llama.cpp と vLLM がそのまま対応しており、Ollama のタグは mistral-nemo:12b です。標準的な構造なので、Mistral 7B を動かしていたツールチェーンはほぼそのまま使えます。

起動コマンド

Ollama

  • Windows
  • macOS
  • Linux
ターミナル
ollama run mistral-nemo:12b

llama.cpp

  • NVIDIA
  • AMD
  • Mac
  • CPU
ターミナル
llama-server -hf bartowski/Mistral-Nemo-Instruct-2407-GGUF:Q4_K_M \
  -c 8192

vLLM

  • Linux
  • NVIDIA
  • AMD
ターミナル
vllm serve mistralai/Mistral-Nemo-Instruct-2407

MLX

  • Apple シリコン

Mac で pip install mlx-lm を済ませてから実行すると、Hugging Face から MLX 版の重みを取得し、OpenAI 互換のサーバーを起動します。

ターミナル
mlx_lm.server --model mlx-community/Mistral-Nemo-Instruct-2407-4bit

ファイル名はその週のモデルライブラリ取得時点のものです。定義はデータ方法を参照してください。 データ方法

Mistral ファミリーのほかのモデル

モデル総パラメータアクティブ4-bit のサイズ
Mistral 7B v0.3Dense7.3B7.3B4.4 GB
Ministral 3 8BDense8.4B8.4B5.2 GB
Ministral 3 14BDense13.5B13.5B8.2 GB
Mistral Small 3.2 24BDense24B24B14.3 GB

Mistral について