Qwen3.6 27B をローカルに導入するには?
Qwen3.6 27B は Qwen が 2026 年 4 月に公開した 27B の Dense モデルで、画像を扱えます。8 月の Qwen3.8 27B は同じ構造を引き継いでおり、サイズも速度もほぼ同じで性能はより高いので、新規に導入するなら 3.8 を使いましょう。3.6 は、すでに調整済みのワークフローで使い続けるのに向いています。24GB の GPU で 4-bit を動かすと、コンテキストは約 117K まで広げられます。
Qwen3.6 27B のモデル情報
- 4-bit 最小VRAM19 GB · 8K
- パラメータ数27.8B
- 最大コンテキスト256K
- アーキテクチャ
- Dense
- ライセンス
- Apache-2.0
- 発売日
- 2026年4月22日
- 提供元
- Alibaba
- Hugging Face リポジトリ
- Qwen/Qwen3.6-27B
- GGUF リポジトリ
- unsloth/Qwen3.6-27B-GGUF
- NVFP4 リポジトリ(Blackwell)
- nvidia/Qwen3.6-27B-NVFP4
- MLX リポジトリ(Apple)
- mlx-community/Qwen3.6-27B-4bit
- Ollama タグ
- qwen3.6:27b
- レイヤー数
- 64
- 隠れ層次元
- 5,120
- KV ヘッド数
- 4
- ヘッド次元
- 256
Qwen3.6 27B のローカル実行に必要なVRAMは?
| 量子化 | 重みサイズGB | 8K コンテキストGB | 32K コンテキストGB | 128K コンテキストGB | 256K コンテキスト(最大)GB |
|---|---|---|---|---|---|
| 1-bit | 7推定 | 8.6 | 10.2 | 16.7 | 25.3 |
| 2-bit | 11.8GGUF | 13.4 | 15 | 21.5 | 30.1 |
| 3-bit | 14.5GGUF | 16.1 | 17.7 | 24.2 | 32.8 |
| 4-bit | 16.8GGUF | 18.4 | 20 | 26.5 | 35.1 |
| 5-bit | 19.5GGUF | 21.1 | 22.7 | 29.2 | 37.8 |
| 8-bit | 28.6GGUF | 30.2 | 31.8 | 38.3 | 46.9 |
| BF16/FP16 | 53.8GGUF | 55.4 | 57 | 63.5 | 72.1 |
詳しい計算ルールはデータの作り方ページをご覧ください。
Qwen3.6 27B は GPU 1 枚で動く?
24GB の GPU 1 枚で 4-bit が動きます。RTX 3090 や 4090 なら毎秒約 40 トークン、コンテキストは約 117K まで広げられます。惜しいのは、公式が思考用に少なくとも 128K を確保するよう勧めている点で、Unsloth もコンテキストが小さすぎると出力が文字化けすることがあると注意しています。24GB カードで確保するなら 3-bit に下げるか、32GB の RTX 5090 に替えてください。16GB カードでは 2-bit しか使えず、3.6 の低ビット量子化ファイルは 3.8 より一回り大きいので余裕がさらにありません。16GB カードでこれから導入するなら、Qwen3.8 27B のほうが向いています。
| デバイス | 価格 | 速度 t/s | 最大コンテキスト |
|---|---|---|---|
| ¥116,6274 件の出品 | 53 | 64K | |
| ¥156,40029 件の出品 | 27.4 | 64K | |
| Radeon RX 7900 XTX24 GB | ¥293,6506 件の出品 | 56.2 | 192K |
| ¥406,9228 件の出品 | 54.9 | 192K | |
| Ryzen AI Max+ 395 128GBマシン全体 · 128 GB | ¥688,8588 件の出品 | 15.9 | 256K |
| ¥862,1369 件の出品 | 58.8 | 192K | |
| ¥1,399,9909 件の出品 | 98.2 | 256K | |
| ¥1,511,5715 件の出品 | 45.7 | 256K | |
| 価格なし | 98.2 | 256K | |
| Mac Studio M5 Ultra 96GBマシン全体 · 96 GB | 価格なし | 70.4 | 256K |
| 価格なし | 53 | 256K | |
| MacBook Pro M5 Max 128GBマシン全体 · 128 GB | 価格なし | 37 | 256K |
| 価格なし | 16.9 | 256K |
| デバイス | 価格 | 速度 t/s | 最大コンテキスト |
|---|---|---|---|
| Radeon RX 7900 XTX24 GB | ¥293,6506 件の出品 | 40.7 | 117K |
| ¥406,9228 件の出品 | 39.7 | 117K | |
| Ryzen AI Max+ 395 128GBマシン全体 · 128 GB | ¥688,8588 件の出品 | 11.3 | 256K |
| ¥862,1369 件の出品 | 42.6 | 117K | |
| ¥1,399,9909 件の出品 | 72.3 | 245K | |
| ¥1,511,5715 件の出品 | 32.9 | 256K | |
| 価格なし | 72.3 | 256K | |
| Mac Studio M5 Ultra 96GBマシン全体 · 96 GB | 価格なし | 51.2 | 256K |
| 価格なし | 38.3 | 245K | |
| MacBook Pro M5 Max 128GBマシン全体 · 128 GB | 価格なし | 26.6 | 256K |
| 価格なし | 12.1 | 256K |
| デバイス | 価格 | 速度 t/s | 最大コンテキスト |
|---|---|---|---|
| Ryzen AI Max+ 395 128GBマシン全体 · 128 GB | ¥688,8588 件の出品 | 6.7 | 256K |
| ¥1,399,9909 件の出品 | 44.6 | 69K | |
| ¥1,511,5715 件の出品 | 19.8 | 256K | |
| 価格なし | 44.6 | 256K | |
| Mac Studio M5 Ultra 96GBマシン全体 · 96 GB | 価格なし | 31.2 | 256K |
| 価格なし | 23.1 | 69K | |
| MacBook Pro M5 Max 128GBマシン全体 · 128 GB | 価格なし | 15.9 | 256K |
| 価格なし | 7.2 | 256K |
よく使われる GPU とマシンだけを、50B 未満と 50B 以上のモデルで分けて、価格の安い順に掲載しています。
Qwen3.6 27B をローカルで動かす前に知っておきたいこと
3.8 27B との違い
構造はまったく同じで、違いはすべて学習と使い方にあります。3.8 はコーディングや長い工程のエージェントタスクに強く、思考の深さを調整する
reasoning_effortが新たに加わり、「思考の保持」も既定でオンです。3.6 は既定で直近のターンの思考だけを保持し、すべて保持するにはchat_template_kwargsでpreserve_thinkingを設定する必要があります。サンプリングパラメータ
3.8 27B と同じで、思考モードは
temperature1.0、top_p0.95、top_k20、presence_penalty0、非思考モードは 0.7、0.8、20、1.5 です。3.6 には、フロントエンドのような正確さが求められるコード向けの設定も別にあり、temperatureを 0.6 に下げます。推論エンジンのバージョンと既知の問題
公式は vLLM 0.19.0 以上、SGLang 0.5.10 以上を推奨しています。Unsloth によると、CUDA 13.2 でビルドした llama.cpp は文字化けした出力を出すことがあるので避けてください。コンテキストが小さすぎても出力が文字化けすることがあり、公式は思考用に少なくとも 128K を確保するよう推奨しています。Ollama のタグは qwen3.6:27b です。
MTP による投機的デコード
llama.cpp はすでにこのモデルの MTP による投機的デコードに対応しており、Unsloth の MTP 版 GGUF を使うだけです。Unsloth によると生成速度は 1.4〜2.2 倍になり、余分に使うメモリは約 1 GB だけです。当サイトの速度は MTP なしで推定しています。
起動コマンド
Ollama
- Windows
- macOS
- Linux
ollama run qwen3.6:27bllama.cpp
- NVIDIA
- AMD
- Mac
- CPU
llama-server -hf unsloth/Qwen3.6-27B-GGUF:Q4_K_M -c 8192
vLLM
- Linux
- NVIDIA
- AMD
vllm serve Qwen/Qwen3.6-27BBlackwell 世代の GPU(RTX 50 シリーズ、RTX PRO 6000、B200)は NVFP4 の重みをネイティブに扱え、サイズは元の約 3 割です。
vllm serve nvidia/Qwen3.6-27B-NVFP4MLX
- Apple シリコン
画像を扱うモデルは mlx-vlm で動かします。Mac で pip install mlx-vlm を済ませてから実行すると、Hugging Face から MLX 版の重みを取得してサーバーを起動します。
mlx_vlm.server --model mlx-community/Qwen3.6-27B-4bitファイル名はその週のモデルライブラリ取得時点のものです。定義はデータ方法を参照してください。 データ方法
Qwen ファミリーのほかのモデル
| モデル | 総パラメータ | アクティブ | 4-bit のサイズ |
|---|---|---|---|
| 8.2B | 8.2B | 5 GB | |
| 9.7B | 9.7B | 5.7 GB | |
| 27.8B | 27.8B | 16.5 GB | |
| 32.8B | 32.8B | 19.8 GB | |
| 36B | 3B | 22.1 GB | |
| 176B | 6B | 111.3 GB | |
| 2,446B | 95B | 1,310.9 GB |