DeepSeek V4.1 Flash 如何本地部署？

• 4-bit 最低显存（8K 上下文）446 GB
• 参数量763B
• 激活参数8 / 16B
• 上下文上限1M

架构

MoE

许可证

MIT

发布日期

2026年10月17日

厂商

DeepSeek

Hugging Face 仓库

deepseek-ai/DeepSeek-V4.1-Flash-1017

GGUF 仓库

mrfakename/DeepSeek-V4.1-Flash-1017-GGUF

NVFP4 仓库（Blackwell）

nvidia/DeepSeek-V4.1-Flash-NVFP4

小版本

1017

层数

40

隐藏维度

5,120

KV 头

1

头维度

512

1017 是 DeepSeek 在 10 月 17 日放出的新版权重：推理、写代码、agent 任务和看图的跑分都有提升，回答也更短，模型结构和文件体积则和 9 月首发版完全一样。官方跑分里涨得最多的是在终端里完成任务的 Terminal-Bench 4.0，从 31.2 升到 42.3；同样的任务用的 token 更少，完成得也更快。显存需求和能跑的硬件都没变，已经在跑 9 月版的，把启动命令里的模型名换成 DeepSeek-V4.1-Flash-1017 就行；NVIDIA 的 NVFP4 版还没跟进，用它跑到的仍是 9 月权重。

模型大小按官方 Hugging Face 仓库的 Model size 显示为 763B；模型卡中的 552B 指骨干参数，另列约 196B Engram。下列文件大小包含 GGUF 内的 Engram 查表，按实际分片求和，不由参数量乘以量化位宽推算。仅核验了文件大小，未验证量化质量或实际运行占用。

核验来源 · 2026-10-17

详细计算规则可在数据方法页查看。

只列常见的显卡和整机，按价格从低到高排。

设备	需要几张	总价	总显存	速度 t/s	总功耗
Instinct MI210单卡 64 GB	8 张Engram 放内存	¥147,992	512 GB	64	2,400 W
RTX PRO 5000 72GB单卡 72 GB	8 张Engram 放内存	¥475,112	576 GB	55.5	2,400 W
RTX PRO 6000单卡 96 GB	4 张Engram 放内存	¥519,996	384 GB	68.1	2,400 W
A100 80GB PCIe单卡 80 GB	8 张Engram 放内存	¥1,120,000	640 GB	71.7	2,400 W

标「Engram 放内存」的另需约 203 GB 系统内存。详细计算规则可在数据方法页查看。

详细计算规则可在数据方法页查看。

部分购买链接是联盟链接：通过它们购买时我们可能获得佣金，你支付的价格不变。

1. 1

   vLLM 要用 0.31.0 以上的版本

   配方现在要求 vLLM 0.31.0 以上，pip 安装和官方 Docker 镜像都可以，首发时要用的 nightly 镜像和 deepseekv41-flash-0909 标签都不需要了。把 Engram 放进内存的参数是 --engram-config '{"cpu_offload":true}'。首次加载很慢，配方把就绪超时设成了 3600 秒。

2. 2

   社区 GGUF 要用 ik_llama.cpp 跑

   mrfakename 已经按 1017 权重做了 2、3、4、8-bit 四档文件，体积已经核验。主线 llama.cpp 给 V4.1 开的 PR #28696 截至 10 月 18 日还没合并；ik_llama.cpp 9 月 22 日已经合并了 V4.1 支持，这几份文件里也带着它要读的 Engram 参数。文件里没有图片部分，只能处理文字；两张 Engram 表可以加 -ot "engram_embd.weight=CPU" 留在内存里。

3. 3

   思考默认开着

   不传参数时，思考默认开启、强度 50；max_tokens 给小了，输出长度会全花在思考上，正文是空的。强度可以填 1 到 100 的整数，但档位名在不同地方含义不同：vLLM 的 low、high、xhigh、max 对应 25、50、75、100，DeepSeek API 的 low、high、max 对应 50、75、100。vLLM 配方引用技术报告的说法，强度开到 60 到 80 就能拿回大部分精度，token 用量不到一半。

4. 4

   采样参数和纯文字部署

   1017 的模型卡建议 temperature 和 top_p 都设 1.0，max_tokens 至少 256K。它的上下文非常省显存，1M 上下文的缓存不到 1 GB，开满也没什么代价。只处理文字时加 --language-model-only，跳过视觉部分，把显存留给上下文。

docker run --gpus all --privileged --ipc=host -p 8000:8000 \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  -e VLLM_ENGINE_READY_TIMEOUT_S=3600 -e VLLM_USE_RUST_FRONTEND=1 \
  vllm/vllm-openai:latest deepseek-ai/DeepSeek-V4.1-Flash-1017 \
  --tokenizer-mode deepseek_v41 --tensor-parallel-size 2 \
  --attention-config '{"backend":"FLASHINFER_MLA_SPARSE_DSV41","indexer_kv_dtype":"mxfp4","indexer_sparse_logits":true}' \
  --kv-cache-dtype fp8 --max-num-seqs 128 \
  --engram-config '{"cpu_offload":true}' \
  --tool-call-parser deepseek_v41 --enable-auto-tool-choice \
  --reasoning-parser deepseek_v41 --mm-encoder-tp-mode data

量化文件名以模型库当周抓取为准，口径见数据方法。 数据方法

模型	总参数	激活参数	4-bit 模型大小
DeepSeek R1 Qwen3 8B稠密	8.2B	8.2B	5 GB
DeepSeek R1 Distill Qwen 14B稠密	14.8B	14.8B	9 GB
DeepSeek R1 Distill Qwen 32B稠密	32.8B	32.8B	19.9 GB
DeepSeek V4 FlashMoE	284B	13B	155.1 GB
DeepSeek V3.2MoE	671B	37B	405.4 GB
DeepSeek V4 ProMoE	1,600B	49B	849.7 GB

关于 DeepSeek