当サイトにはアフィリエイトリンクが含まれます。eBay パートナーとして、リンク経由でご購入いただいた場合に報酬を受け取ることがあります。eBay パートナーとして報酬を得ることがあります。詳しく

収録 GPU57価格追跡49 日直近 24h の価格データ43,303 件24h 最大の値下げGeForce RTX 3090-4.7%24h 最大の値上げRyzen AI Max+ 395 128GB+11.3%更新
¥ JPY

Mistral 7B v0.3 をローカルに導入するには？

Mistral 7B v0.3 は Mistral が 2024 年 5 月に公開した 7B のモデルで、この版で関数呼び出しに対応しました。4-bit なら 8GB の GPU で 8K のコンテキストを使え、12GB の GPU なら 32K をフルに使えます。問題は古さです。同じファミリーの Ministral 3 8B は、VRAM の消費がわずかに多いだけで、コンテキストは 8 倍長く、画像も扱えます。

Mistral 7B v0.3 のモデル情報

  • 4-bit 最小VRAM7 GB · 8K
  • パラメータ数7.3B
  • 最大コンテキスト32K
アーキテクチャ
Dense
ライセンス
Apache-2.0
発売日
2024年5月22日
提供元
Mistral AI
Hugging Face リポジトリ
mistralai/Mistral-7B-Instruct-v0.3
GGUF リポジトリ
bartowski/Mistral-7B-Instruct-v0.3-GGUF
MLX リポジトリ（Apple）
mlx-community/Mistral-7B-Instruct-v0.3-4bit
Ollama タグ
mistral:7b
レイヤー数
32
隠れ層次元
4,096
KV ヘッド数
8
ヘッド次元
128

Mistral 7B v0.3 のローカル実行に必要なVRAMは？

量子化重みサイズGB8K コンテキストGB32K コンテキスト（最大）GB
1-bit1.8GGUF3.97.2
2-bit2.5GGUF4.67.9
3-bit3.8GGUF5.99.2
4-bit4.4GGUF6.59.8
5-bit5.1GGUF7.210.5
8-bit7.7GGUF9.813.1
BF16/FP1615.2推定17.420.6

詳しい計算ルールはデータの作り方ページをご覧ください。

Mistral 7B v0.3 は GPU 1 枚で動く？

余裕で動きます。しかもコンテキストで悩む必要がありません。対応するのは最長 32K までで、4-bit なら 32K いっぱいでも 10 GB 未満、8GB の GPU でも 8K 前後なら使えます。決めるのは量子化だけです。VRAM が 16GB 以上あれば迷わず 8-bit にしましょう。32K いっぱいで約 13.1 GB、回答の質はほとんど落ちません。12GB のカードで 8-bit を使うなら、コンテキストを 8K 程度に抑えれば収まります。速度はメモリ帯域でほぼ決まり、8-bit で RTX 3090 は 80 tokens/s 近く、RTX 5060 Ti 16GB はその半分ほどですが、会話には十分です。

Amazon.jp
デバイス価格速度 t/s最大コンテキスト
Tesla V100 16GB16 GB¥116,6274 件の出品117.132K
GeForce RTX 5060 Ti 16GB16 GB¥156,40029 件の出品63.532K
Radeon RX 7900 XTX24 GB¥293,6506 件の出品123.632K
GeForce RTX 309024 GB¥406,9228 件の出品12132K
Ryzen AI Max+ 395 128GBマシン全体 · 128 GB¥688,8588 件の出品37.732K
GeForce RTX 409024 GB¥862,1369 件の出品128.632K
GeForce RTX 509032 GB¥1,399,9909 件の出品200.632K
RTX A600048 GB¥1,511,5715 件の出品102.432K
RTX PRO 600096 GB価格なし200.632K
Mac Studio M5 Ultra 96GBマシン全体 · 96 GB価格なし150.932K
Tesla V100 32GB32 GB価格なし117.132K
MacBook Pro M5 Max 128GBマシン全体 · 128 GB価格なし84.332K
DGX Spark 128GBマシン全体 · 128 GB価格なし40.132K

よく使われる GPU とマシンだけを、50B 未満と 50B 以上のモデルで分けて、価格の安い順に掲載しています。

Mistral 7B v0.3 をローカルで動かす前に知っておきたいこと

  1. v0.3 は v0.2 から何が変わったか

    v0.3 では語彙が拡張され（32768 トークン、新しい v3 トークナイザー）、関数呼び出しに対応しました。32K コンテキストは v0.2 から対応しており、v0.1 は 8K だけでした。ツール呼び出しでは注意が必要で、Mistral はツール呼び出しの ID をちょうど 9 文字の英数字にするよう求めています。会話履歴を自分で組み立てるときは、ここで間違えやすいです。

  2. 推論エンジンの選び方

    llama.cpp と vLLM がそのまま対応しており、Ollama の mistral:7b がこの v0.3 です。公式の推奨は mistral-inference で、transformers で関数呼び出しを使うには 4.42.0 以上が必要です。

  3. どの量子化を選ぶか

    4-bit は約 4.4 GB、5-bit は約 5.1 GB、8-bit は約 7.7 GB で、差は数 GB しかないので、使えるなら 8-bit にしましょう。3-bit（約 3.8 GB）以下を検討する必要があるのは、VRAM が 6GB 以下の古いカードだけです。

  4. コンテンツモデレーションなし

    公式の説明どおり、このモデルにはモデレーションの仕組みが一切ありません。外部に公開するサービスでは、入出力のフィルタリングを自前で用意してください。

起動コマンド

Ollama

  • Windows
  • macOS
  • Linux
ターミナル
ollama run mistral:7b

llama.cpp

  • NVIDIA
  • AMD
  • Mac
  • CPU
ターミナル
llama-server -hf bartowski/Mistral-7B-Instruct-v0.3-GGUF:Q4_K_M -c 8192

vLLM

  • Linux
  • NVIDIA
  • AMD
ターミナル
vllm serve mistralai/Mistral-7B-Instruct-v0.3

MLX

  • Apple シリコン

Mac で pip install mlx-lm を済ませてから実行すると、Hugging Face から MLX 版の重みを取得し、OpenAI 互換のサーバーを起動します。

ターミナル
mlx_lm.server --model mlx-community/Mistral-7B-Instruct-v0.3-4bit

ファイル名はその週のモデルライブラリ取得時点のものです。定義はデータ方法を参照してください。 データ方法

Mistral ファミリーのほかのモデル

モデル総パラメータアクティブ4-bit のサイズ
Ministral 3 8BDense8.4B8.4B5.2 GB
Mistral NemoDense12.3B12.3B7.5 GB
Ministral 3 14BDense13.5B13.5B8.2 GB
Mistral Small 3.2 24BDense24B24B14.3 GB

Mistral について