Qwen3.5 9B をローカルに導入するには？

• 4-bit 最小VRAM8 GB · 8K
• パラメータ数9.7B
• 最大コンテキスト256K

アーキテクチャ

Dense

ライセンス

Apache-2.0

発売日

2026年3月2日

提供元

Alibaba

Hugging Face リポジトリ

Qwen/Qwen3.5-9B

GGUF リポジトリ

unsloth/Qwen3.5-9B-GGUF

MLX リポジトリ（Apple）

mlx-community/Qwen3.5-9B-4bit

Ollama タグ

qwen3.5:9b

レイヤー数

32

隠れ層次元

4,096

KV ヘッド数

4

ヘッド次元

256

詳しい計算ルールはデータの作り方ページをご覧ください。

デバイス	価格	速度 t/s	最大コンテキスト
Tesla V100 16GB16 GB	¥116,6274 件の出品	101.5	256K
GeForce RTX 5060 Ti 16GB16 GB	¥156,40029 件の出品	54.4	256K
Radeon RX 7900 XTX24 GB	¥293,6506 件の出品	107.2	256K
GeForce RTX 309024 GB	¥406,9228 件の出品	105	256K
Ryzen AI Max+ 395 128GBマシン全体 · 128 GB	¥688,8588 件の出品	32.1	256K
GeForce RTX 409024 GB	¥862,1369 件の出品	111.8	256K
GeForce RTX 509032 GB	¥1,399,9909 件の出品	177.1	256K
RTX A600048 GB	¥1,511,5715 件の出品	88.5	256K
RTX PRO 600096 GB	価格なし	177.1	256K
Mac Studio M5 Ultra 96GBマシン全体 · 96 GB	価格なし	131.7	256K
Tesla V100 32GB32 GB	価格なし	101.5	256K
MacBook Pro M5 Max 128GBマシン全体 · 128 GB	価格なし	72.5	256K
DGX Spark 128GBマシン全体 · 128 GB	価格なし	34.2	256K

よく使われる GPU とマシンだけを、50B 未満と 50B 以上のモデルで分けて、価格の安い順に掲載しています。

1. 1

   思考モードは既定でオン

   公式のテンプレートは既定で思考してから回答し、思考能力を保つにはコンテキストを少なくとも 128K 確保するよう推奨しています。幸い 4-bit なら 128K でも約 11.1 GB です。Qwen3 の /think、/no_think による切り替えには対応しなくなったので、思考をオフにするにはリクエストで enable_thinking=false を渡します。なお Unsloth の説明には 9B 以下のモデルは既定で思考しないと書かれており、公式のテンプレートと食い違っています。llama.cpp では実際の出力で確認し、思考をオンにしたいなら --chat-template-kwargs '{"enable_thinking":true}' を付けてください。

2. 2

   公式推奨のサンプリングパラメータ

   思考モードの一般的なタスクでは temperature 1.0、top_p 0.95、top_k 20、presence_penalty 1.5 で、コーディングでは temperature 0.6、presence_penalty 0 に変えます。非思考モードでは temperature 0.7、top_p 0.8、top_k 20、presence_penalty 1.5 です。

3. 3

   Ollama では公式ライブラリを使う

   Ollama では qwen3.5:9b をそのまま取得でき、画像入力にも対応しています。Unsloth の注意書きによると、サードパーティ製 GGUF の画像処理部分は別の mmproj ファイルになっていて、Ollama に取り込んでも動きません。こうしたファイルは llama.cpp で使ってください。

4. 4

   vLLM の 2 つのオプション

   テキストだけを扱うなら --language-model-only を付けてビジョン部分を省き、その分の VRAM をコンテキストに回します。モデルには MTP（マルチトークン予測）ヘッドも内蔵されており、vLLM と SGLang では投機的デコードを有効にして高速化できます。当サイトの速度はこの分を含めていません。

ollama run qwen3.5:9b

llama-server -hf unsloth/Qwen3.5-9B-GGUF:Q4_K_M -c 8192

vllm serve Qwen/Qwen3.5-9B

mlx_vlm.server --model mlx-community/Qwen3.5-9B-4bit

ファイル名はその週のモデルライブラリ取得時点のものです。定義はデータ方法を参照してください。 データ方法

モデル	総パラメータ	アクティブ	4-bit のサイズ
Qwen3 8BDense	8.2B	8.2B	5 GB
Qwen3.6 27BDense	27.8B	27.8B	16.8 GB
Qwen3.8 27BDense	27.8B	27.8B	16.5 GB
Qwen3 32BDense	32.8B	32.8B	19.8 GB
Qwen3.6 35B A3BMoE	36B	3B	22.1 GB
Qwen3.8 Flash NextMoE	176B	6B	111.3 GB
Qwen3.8 2.4T A95BMoE	2,446B	95B	1,310.9 GB

Qwen について