DeepSeek V4.1 Flash 如何本地部署？

• 4-bit 最低顯示記憶體（8K 上下文）446 GB
• 參數量763B
• 激活參數8 / 16B
• 上下文上限1M

架構

MoE

授權

MIT

發布日期

2026年10月17日

廠商

DeepSeek

Hugging Face 倉庫

deepseek-ai/DeepSeek-V4.1-Flash-1017

GGUF 倉庫

mrfakename/DeepSeek-V4.1-Flash-1017-GGUF

NVFP4 倉庫（Blackwell）

nvidia/DeepSeek-V4.1-Flash-NVFP4

小版本

1017

層數

40

隱藏維度

5,120

KV 頭

1

頭維度

512

1017 是 DeepSeek 在 10 月 17 日推出的新版權重：推理、寫程式、agent 任務和看圖的跑分都有進步，回答也變短了，模型架構和檔案體積則和 9 月首發版一模一樣。官方跑分中進步最多的是在終端機裡完成任務的 Terminal-Bench 4.0，從 31.2 提高到 42.3；同樣的任務花的 token 更少，完成得也更快。顯示記憶體需求和能跑的硬體都沒變，已經在跑 9 月版的人，把啟動指令裡的模型名稱換成 DeepSeek-V4.1-Flash-1017 就好；NVIDIA 的 NVFP4 版還沒跟上，用它跑的仍是 9 月權重。

模型大小依官方 Hugging Face 倉庫的 Model size 顯示為 763B；模型卡中的 552B 指骨幹參數，另列約 196B Engram。下列檔案大小包含 GGUF 內的 Engram 查表，按實際分片加總，不由參數量乘以量化位元寬度推算。僅核驗檔案大小，未驗證量化品質或實際執行用量。

核驗來源 · 2026-10-17

詳細計算規則可在資料方法頁查看。

只列常見的顯示卡和整機，按價格從低到高排。

裝置	需要幾張	總價	總顯示記憶體	速度 t/s	總功耗
Instinct MI210單卡 64 GB	8 張Engram 放記憶體	NT$722,427	512 GB	64	2,400 W
RTX PRO 5000 72GB單卡 72 GB	8 張Engram 放記憶體	NT$2,319,273	576 GB	55.5	2,400 W
RTX PRO 6000單卡 96 GB	4 張Engram 放記憶體	NT$2,538,375	384 GB	68.1	2,400 W
A100 80GB PCIe單卡 80 GB	8 張Engram 放記憶體	NT$5,467,312	640 GB	71.7	2,400 W

標「Engram 放記憶體」的另需約 203 GB 系統記憶體。詳細計算規則可在資料方法頁查看。

詳細計算規則可在資料方法頁查看。

部分購買連結是聯盟連結：透過它們購買時我們可能獲得佣金，你支付的價格不變。

1. 1

   vLLM 要用 0.31.0 以上的版本

   配方現在要求 vLLM 0.31.0 以上，用 pip 安裝或官方 Docker 映像檔都可以，首發時需要的 nightly 映像檔和 deepseekv41-flash-0909 標籤都用不到了。把 Engram 放進記憶體的參數是 --engram-config '{"cpu_offload":true}'。第一次載入很慢，配方把就緒逾時設成了 3600 秒。

2. 2

   社群 GGUF 要用 ik_llama.cpp 跑

   mrfakename 已經用 1017 權重做出 2、3、4、8-bit 四檔檔案，體積核對過了。主線 llama.cpp 為 V4.1 開的 PR #28696 截至 10 月 18 日仍未合併；ik_llama.cpp 在 9 月 22 日已經合併 V4.1 支援，這幾份檔案也帶著它要讀的 Engram 參數。檔案裡沒有圖片部分，只能處理文字；兩張 Engram 表可以加上 -ot "engram_embd.weight=CPU" 留在主機記憶體裡。

3. 3

   思考預設是開啟的

   不帶參數時，思考預設開啟、強度 50；max_tokens 設得太小，輸出長度會全部耗在思考上，正文變成空白。強度可以填 1 到 100 的整數，但檔位名稱在不同地方代表的數值不一樣：vLLM 的 low、high、xhigh、max 對應 25、50、75、100，DeepSeek API 的 low、high、max 則對應 50、75、100。vLLM 配方引用技術報告的說法：強度開到 60 到 80 就能拿回大部分精度，token 用量還不到一半。

4. 4

   取樣參數和純文字部署

   1017 的模型卡建議 temperature 和 top_p 都設為 1.0，max_tokens 至少 256K。它的上下文非常省顯示記憶體，1M 上下文的快取不到 1 GB，開滿也幾乎沒有代價。只處理文字時加上 --language-model-only，略過視覺部分，把顯示記憶體留給上下文。

docker run --gpus all --privileged --ipc=host -p 8000:8000 \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  -e VLLM_ENGINE_READY_TIMEOUT_S=3600 -e VLLM_USE_RUST_FRONTEND=1 \
  vllm/vllm-openai:latest deepseek-ai/DeepSeek-V4.1-Flash-1017 \
  --tokenizer-mode deepseek_v41 --tensor-parallel-size 2 \
  --attention-config '{"backend":"FLASHINFER_MLA_SPARSE_DSV41","indexer_kv_dtype":"mxfp4","indexer_sparse_logits":true}' \
  --kv-cache-dtype fp8 --max-num-seqs 128 \
  --engram-config '{"cpu_offload":true}' \
  --tool-call-parser deepseek_v41 --enable-auto-tool-choice \
  --reasoning-parser deepseek_v41 --mm-encoder-tp-mode data

量化檔名以模型庫當週抓取為準，口徑見資料方法。 資料方法

模型	總參數	激活參數	4-bit 模型大小
DeepSeek R1 Qwen3 8B稠密	8.2B	8.2B	5 GB
DeepSeek R1 Distill Qwen 14B稠密	14.8B	14.8B	9 GB
DeepSeek R1 Distill Qwen 32B稠密	32.8B	32.8B	19.9 GB
DeepSeek V4 FlashMoE	284B	13B	155.1 GB
DeepSeek V3.2MoE	671B	37B	405.4 GB
DeepSeek V4 ProMoE	1,600B	49B	849.7 GB

關於 DeepSeek