DeepSeek V4.1 Flash をローカルに導入するには？

• 4-bit 最小VRAM（8K コンテキスト）446 GB
• パラメータ数763B
• アクティブ8 / 16B
• 最大コンテキスト1M

アーキテクチャ

MoE

ライセンス

MIT

発売日

2026年10月17日

提供元

DeepSeek

Hugging Face リポジトリ

deepseek-ai/DeepSeek-V4.1-Flash-1017

GGUF リポジトリ

mrfakename/DeepSeek-V4.1-Flash-1017-GGUF

NVFP4 リポジトリ（Blackwell）

nvidia/DeepSeek-V4.1-Flash-NVFP4

リビジョン

1017

レイヤー数

40

隠れ層次元

5,120

KV ヘッド数

1

ヘッド次元

512

1017 は DeepSeek が 10 月 17 日に公開した重みの更新版で、推論、コーディング、エージェント、画像理解のベンチマークがそろって伸び、回答も短くなりました。モデル構造とファイルサイズは 9 月の初版とまったく同じです。DeepSeek の発表で伸びが最も大きいのはターミナル操作で作業をこなす Terminal-Bench 4.0 で、31.2 から 42.3 に上がり、同じタスクを少ないトークンでより速く終えられるようになっています。必要な VRAM も動くハードウェアも変わらないので、9 月版を動かしている人は起動コマンドのモデル名を DeepSeek-V4.1-Flash-1017 に変えるだけです。NVIDIA の NVFP4 版はまだ 1017 に追いついておらず、使うと 9 月版の重みになります。

モデルサイズは公式 Hugging Face リポジトリの Model size に合わせて 763B と表示しています。モデルカードにはバックボーン 552B と Engram 約 196B が別々に記載されています。以下の容量は GGUF 内の Engram テーブルを含む全分割ファイルの合計であり、パラメータ数からの推定ではありません。確認済みなのはファイルサイズで、量子化品質や実行時メモリ使用量ではありません。

確認したソース · 2026-10-17

詳しい計算ルールはデータの作り方ページをご覧ください。

よく使われる GPU とマシンだけを、価格の安い順に掲載しています。

デバイス	必要枚数	合計価格	合計 VRAM	速度 t/s	合計消費電力
RTX PRO 60001 枚 96 GB	4 枚Engram は RAM	¥14,752,000	384 GB	68.1	2,400 W
A100 80GB PCIe1 枚 80 GB	8 枚Engram は RAM	価格なし	640 GB	71.7	2,400 W
Instinct MI2101 枚 64 GB	8 枚Engram は RAM	価格なし	512 GB	64	2,400 W
RTX PRO 5000 72GB1 枚 72 GB	8 枚Engram は RAM	価格なし	576 GB	55.5	2,400 W

「Engram は RAM」の行は、別途約 203 GB のシステムメモリが必要です。詳しい計算ルールはデータの作り方ページをご覧ください。

詳しい計算ルールはデータ方法のページで確認できます。

一部の購入リンクはアフィリエイトリンクです。リンク経由でご購入いただくと当サイトが手数料を受け取ることがありますが、お支払い金額は変わりません。

1. 1

   vLLM は 0.31.0 以降を使う

   レシピの要件は vLLM 0.31.0 以上になり、pip でも公式の Docker イメージでも動きます。公開当初に必要だった nightly イメージや deepseekv41-flash-0909 タグはもう使いません。Engram をメインメモリに置くオプションは --engram-config '{"cpu_offload":true}' です。初回の読み込みは非常に遅く、レシピでは準備完了までのタイムアウトを 3600 秒に設定しています。

2. 2

   コミュニティ製 GGUF は ik_llama.cpp で動かす

   mrfakename が 1017 の重みから 2・3・4・8-bit の 4 種類を作っていて、サイズは確認済みです。メインラインの llama.cpp の V4.1 対応 PR（#28696）は 10 月 18 日時点でまだマージされていませんが、ik_llama.cpp は 9 月 22 日に V4.1 対応をマージ済みで、これらのファイルにはその読み込みに必要な Engram の設定も入っています。ファイルに画像部分はなく、テキスト専用です。2 つの Engram テーブルは -ot "engram_embd.weight=CPU" を付ければメインメモリに置いたまま使えます。

3. 3

   思考は既定でオン

   パラメータを渡さない場合、思考はオンで強度は 50 です。max_tokens を小さくしすぎると、出力枠をすべて思考に使い切って本文が空になります。強度には 1〜100 の整数を指定できますが、段階名の意味は場所によって異なります。vLLM の low、high、xhigh、max は 25、50、75、100 に、DeepSeek API の low、high、max は 50、75、100 に対応します。vLLM のレシピは技術レポートを引用し、強度を 60〜80 にすれば精度の大部分を取り戻せ、トークン消費は半分未満で済むとしています。

4. 4

   サンプリングパラメータとテキスト専用のデプロイ

   1017 のモデルカードの推奨は temperature、top_p ともに 1.0、max_tokens は 256K 以上です。コンテキストは VRAM を非常に節約する設計で、1M コンテキストでもキャッシュは 1 GB 未満なので、フルに使っても負担はほとんどありません。テキストだけを扱うなら --language-model-only を付けてビジョン部分を省き、その分の VRAM をコンテキストに回します。

docker run --gpus all --privileged --ipc=host -p 8000:8000 \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  -e VLLM_ENGINE_READY_TIMEOUT_S=3600 -e VLLM_USE_RUST_FRONTEND=1 \
  vllm/vllm-openai:latest deepseek-ai/DeepSeek-V4.1-Flash-1017 \
  --tokenizer-mode deepseek_v41 --tensor-parallel-size 2 \
  --attention-config '{"backend":"FLASHINFER_MLA_SPARSE_DSV41","indexer_kv_dtype":"mxfp4","indexer_sparse_logits":true}' \
  --kv-cache-dtype fp8 --max-num-seqs 128 \
  --engram-config '{"cpu_offload":true}' \
  --tool-call-parser deepseek_v41 --enable-auto-tool-choice \
  --reasoning-parser deepseek_v41 --mm-encoder-tp-mode data

ファイル名はその週のモデルライブラリ取得時点のものです。定義はデータ方法を参照してください。 データ方法

モデル	総パラメータ	アクティブ	4-bit のサイズ
DeepSeek R1 Qwen3 8BDense	8.2B	8.2B	5 GB
DeepSeek R1 Distill Qwen 14BDense	14.8B	14.8B	9 GB
DeepSeek R1 Distill Qwen 32BDense	32.8B	32.8B	19.9 GB
DeepSeek V4 FlashMoE	284B	13B	155.1 GB
DeepSeek V3.2MoE	671B	37B	405.4 GB
DeepSeek V4 ProMoE	1,600B	49B	849.7 GB

DeepSeek について