Qwen3.8 27B をローカルに導入するには?
Qwen3.8 27B は、Qwen が 2026 年 8 月に公開した画像・動画対応の 27B Dense モデルです。GPU 1 枚で Qwen の Dense モデルを動かすなら、現在の第一候補です。24GB の GPU 1 枚で 4-bit が約 40 tokens/s で動き、コンテキストは約 122K まで広げられます。4 層のうちコンテキスト全体を見るのは 1 層だけなので、長いコンテキストでも VRAM をあまり使いません。
Qwen3.8 27B のモデル情報
- 4-bit 最小VRAM19 GB · 8K
- パラメータ数27.8B
- 最大コンテキスト256K
- アーキテクチャ
- Dense
- ライセンス
- Apache-2.0
- 発売日
- 2026年8月14日
- 提供元
- Alibaba
- Hugging Face リポジトリ
- Qwen/Qwen3.8-27B
- GGUF リポジトリ
- unsloth/Qwen3.8-27B-GGUF
- NVFP4 リポジトリ(Blackwell)
- nvidia/Qwen3.8-27B-NVFP4
- MLX リポジトリ(Apple)
- mlx-community/Qwen3.8-27B-4bit
- Ollama タグ
- qwen3.8:27b
- レイヤー数
- 64
- 隠れ層次元
- 5,120
- KV ヘッド数
- 4
- ヘッド次元
- 256
Qwen3.8 27B のローカル実行に必要なVRAMは?
| 量子化 | 重みサイズGB | 8K コンテキストGB | 32K コンテキストGB | 128K コンテキストGB | 256K コンテキスト(最大)GB |
|---|---|---|---|---|---|
| 1-bit | 6.7GGUF | 8.3 | 9.9 | 16.4 | 25 |
| 2-bit | 9.8GGUF | 11.4 | 13 | 19.5 | 28.1 |
| 3-bit | 13.1GGUF | 14.7 | 16.3 | 22.8 | 31.4 |
| 4-bit | 16.5GGUF | 18.1 | 19.7 | 26.2 | 34.8 |
| 5-bit | 19.8GGUF | 21.4 | 23 | 29.5 | 38.1 |
| 8-bit | 29GGUF | 30.6 | 32.2 | 38.7 | 47.3 |
| BF16/FP16 | 54.7GGUF | 56.3 | 57.9 | 64.4 | 73 |
詳しい計算ルールはデータの作り方ページをご覧ください。
Qwen3.8 27B は GPU 1 枚で動く?
動きます。基本は 24GB の GPU で、16GB にも詰め込めます。24GB カードなら 4-bit で毎秒約 40 トークン、コンテキストは約 122K まで広げられ、32GB の RTX 5090 なら速度はほぼ倍です。16GB で動くのは Unsloth の 2-bit が約 10 GB と小さいからで、Tesla V100 のようなカードに丸ごと収まりますが、回答の質はいくらか落ちます。過去の各ターンの思考も会話に残すのが既定なので、やり取りが続くとコンテキストが早く埋まり、VRAM に余裕があるほど安心です。128GB ユニファイドメモリのマシンには 8-bit も収まりますが、帯域幅が狭いうえ Dense モデルは 1 トークンごとに重みを全部読むため、4-bit でも毎秒約 12 トークンです。
| デバイス | 価格 | 速度 t/s | 最大コンテキスト |
|---|---|---|---|
| ¥116,6274 件の出品 | 62.6 | 93K | |
| ¥156,40029 件の出品 | 32.6 | 93K | |
| Radeon RX 7900 XTX24 GB | ¥293,6506 件の出品 | 66.3 | 221K |
| ¥406,9228 件の出品 | 64.8 | 221K | |
| Ryzen AI Max+ 395 128GBマシン全体 · 128 GB | ¥688,8588 件の出品 | 19 | 256K |
| ¥862,1369 件の出品 | 69.3 | 221K | |
| ¥1,399,9909 件の出品 | 114.6 | 256K | |
| ¥1,511,5715 件の出品 | 54.1 | 256K | |
| 価格なし | 114.6 | 256K | |
| Mac Studio M5 Ultra 96GBマシン全体 · 96 GB | 価格なし | 82.8 | 256K |
| 価格なし | 62.6 | 256K | |
| MacBook Pro M5 Max 128GBマシン全体 · 128 GB | 価格なし | 43.9 | 256K |
| 価格なし | 20.2 | 256K |
| デバイス | 価格 | 速度 t/s | 最大コンテキスト |
|---|---|---|---|
| Radeon RX 7900 XTX24 GB | ¥293,6506 件の出品 | 41.4 | 122K |
| ¥406,9228 件の出品 | 40.4 | 122K | |
| Ryzen AI Max+ 395 128GBマシン全体 · 128 GB | ¥688,8588 件の出品 | 11.5 | 256K |
| ¥862,1369 件の出品 | 43.3 | 122K | |
| ¥1,399,9909 件の出品 | 73.5 | 250K | |
| ¥1,511,5715 件の出品 | 33.5 | 256K | |
| 価格なし | 73.5 | 256K | |
| Mac Studio M5 Ultra 96GBマシン全体 · 96 GB | 価格なし | 52.1 | 256K |
| 価格なし | 38.9 | 250K | |
| MacBook Pro M5 Max 128GBマシン全体 · 128 GB | 価格なし | 27 | 256K |
| 価格なし | 12.3 | 256K |
| デバイス | 価格 | 速度 t/s | 最大コンテキスト |
|---|---|---|---|
| Ryzen AI Max+ 395 128GBマシン全体 · 128 GB | ¥688,8588 件の出品 | 6.6 | 256K |
| ¥1,399,9909 件の出品 | 44 | 63K | |
| ¥1,511,5715 件の出品 | 19.6 | 256K | |
| 価格なし | 44 | 256K | |
| Mac Studio M5 Ultra 96GBマシン全体 · 96 GB | 価格なし | 30.8 | 256K |
| 価格なし | 22.8 | 63K | |
| MacBook Pro M5 Max 128GBマシン全体 · 128 GB | 価格なし | 15.7 | 256K |
| 価格なし | 7.1 | 256K |
よく使われる GPU とマシンだけを、50B 未満と 50B 以上のモデルで分けて、価格の安い順に掲載しています。
Qwen3.8 27B をローカルで動かす前に知っておきたいこと
思考の深さは 3 段階
思考の深さは
reasoning_effortで設定し、xhigh(既定)、medium、low の 3 段階があります。公式の注意によると、複数ターンのエージェントタスクでは下げても速くなるとは限りません。各ターンの思考が足りないと、かえって失敗してやり直すことが増えるためです。llama.cpp では--chat-template-kwargsでreasoning_effortを渡します。思考内容は既定で保持
3.8 は既定で過去の各ターンの思考もコンテキストに残すため、複数ターンの会話ではコンテキストが速く増えます。幸いコンテキストのキャッシュは省メモリで、4-bit で 8K から 128K に広げても約 8.1 GB 増えるだけです。最新のターンの思考だけを残したいなら、
preserve_thinkingを false にします。公式推奨のサンプリングパラメータ
思考モードは
temperature1.0、top_p0.95、top_k20、presence_penalty0、非思考モードはtemperature0.7、top_p0.8、top_k20、presence_penalty1.5 です。量子化と形式
GGUF は Unsloth の Dynamic 3.0 版を使い、4-bit は約 16.5 GB です。Ollama のタグは qwen3.8:27b です。RTX 50 シリーズと DGX Spark では vLLM で Unsloth の NVFP4 版を動かせ、Unsloth によると BF16 より約 1.5 倍速くなります。公式の FP8 版もあります。
起動コマンド
Ollama
- Windows
- macOS
- Linux
ollama run qwen3.8:27bllama.cpp
- NVIDIA
- AMD
- Mac
- CPU
llama-server -hf unsloth/Qwen3.8-27B-GGUF:Q4_K_M -c 8192
vLLM
- Linux
- NVIDIA
- AMD
vllm serve Qwen/Qwen3.8-27BBlackwell 世代の GPU(RTX 50 シリーズ、RTX PRO 6000、B200)は NVFP4 の重みをネイティブに扱え、サイズは元の約 3 割です。
vllm serve nvidia/Qwen3.8-27B-NVFP4MLX
- Apple シリコン
画像を扱うモデルは mlx-vlm で動かします。Mac で pip install mlx-vlm を済ませてから実行すると、Hugging Face から MLX 版の重みを取得してサーバーを起動します。
mlx_vlm.server --model mlx-community/Qwen3.8-27B-4bitファイル名はその週のモデルライブラリ取得時点のものです。定義はデータ方法を参照してください。 データ方法
Qwen ファミリーのほかのモデル
| モデル | 総パラメータ | アクティブ | 4-bit のサイズ |
|---|---|---|---|
| 8.2B | 8.2B | 5 GB | |
| 9.7B | 9.7B | 5.7 GB | |
| 27.8B | 27.8B | 16.8 GB | |
| 32.8B | 32.8B | 19.8 GB | |
| 36B | 3B | 22.1 GB | |
| 176B | 6B | 111.3 GB | |
| 2,446B | 95B | 1,310.9 GB |