DeepSeek R1 Distill Qwen 14B 如何本地部署？

DeepSeek R1 Distill Qwen 14B 是 DeepSeek 2025 年 1 月用 R1 生成的样本训练出来的 14B 推理模型。它的底座是 Qwen2.5 14B，每次回答前都要先思考；4-bit 加 8K 上下文约 11.7 GB，一张 12GB 显卡就装得下，但思考很吃上下文，16GB 卡最多只能开到约 35K。现在同尺寸已经有更强的新模型，新部署建议先看 R1 Qwen3 8B 或 Gemma 4 12B。

DeepSeek R1 Distill Qwen 14B 模型信息

4-bit 最低显存12 GB · 8K
参数量14.8B
上下文上限128K

架构: 稠密
许可证: MIT
发布日期: 2025年1月20日
厂商: DeepSeek
Hugging Face 仓库: deepseek-ai/DeepSeek-R1-Distill-Qwen-14B
GGUF 仓库: bartowski/DeepSeek-R1-Distill-Qwen-14B-GGUF
MLX 仓库（Apple）: mlx-community/DeepSeek-R1-Distill-Qwen-14B-4bit
Ollama 标签: deepseek-r1:14b
层数: 48
隐藏维度: 5,120
KV 头: 8
头维度: 128

DeepSeek R1 Distill Qwen 14B 本地部署需要多少显存？

量化	权重体积GB	8K 上下文GB	32K 上下文GB	128K 上下文（最大）GB
1-bit	3.7估	6.4	11.2	30.6
2-bit	6.5GGUF	9.2	14	33.3
3-bit	8.6GGUF	11.3	16.1	35.4
4-bit	9GGUF	11.7	16.5	35.8
5-bit	10.5GGUF	13.2	18	37.3
8-bit	15.7GGUF	18.4	23.2	42.5
BF16/FP16	29.5GGUF	32.2	37	56.3

详细计算规则可在数据方法页查看。

单卡能跑 DeepSeek R1 Distill Qwen 14B 吗？

12GB 显卡就能跑，但卡的大小决定了它能想多久。4-bit 权重只有 9 GB，占地方的是上下文：它用的是普通的注意力结构，上下文开得越长，额外占的显存越多，开满 128K 时这部分比权重还大一倍多。所以 16GB 卡（比如 RTX 5060 Ti 16GB）跑 4-bit 最多开到约 35K，做长推理题会紧；24GB 卡能开到约 77K，RTX 3090 上也很流畅。3-bit 腾不出多少地方；8-bit 只会让上下文更短，显存还是留给上下文更有用。

设备	价格	速度 t/s	最大上下文
Tesla V100 16GB16 GB	¥1,2505 条挂单	83.6	47K
Tesla V100 32GB32 GB	¥4,2004 条挂单	83.6	128K
GeForce RTX 5060 Ti 16GB16 GB	¥5,17514 条挂单	44.2	47K
Radeon RX 7900 XTX24 GB	¥5,69412 条挂单	88.5	90K
GeForce RTX 309024 GB	¥8,50013 条挂单	86.5	90K
Ryzen AI Max+ 395 128GB整机 · 128 GB	¥19,00016 条挂单	25.9	128K
GeForce RTX 409024 GB	¥25,0006 条挂单	92.3	90K
RTX A600048 GB	¥32,0007 条挂单	72.6	128K
DGX Spark 128GB整机 · 128 GB	¥43,00041 条挂单	27.6	128K
MacBook Pro M5 Max 128GB整机 · 128 GB	¥45,69410 条挂单	59.2	128K
Mac Studio M5 Ultra 96GB整机 · 96 GB	¥46,00015 条挂单	109.4	128K
GeForce RTX 509032 GB	¥51,99914 条挂单	149.1	128K
RTX PRO 600096 GB	¥125,0006 条挂单	149.1	128K

设备	价格	速度 t/s	最大上下文
Tesla V100 16GB16 GB	¥1,2505 条挂单	64.2	35K
Tesla V100 32GB32 GB	¥4,2004 条挂单	64.2	120K
GeForce RTX 5060 Ti 16GB16 GB	¥5,17514 条挂单	33.4	35K
Radeon RX 7900 XTX24 GB	¥5,69412 条挂单	68	77K
GeForce RTX 309024 GB	¥8,50013 条挂单	66.5	77K
Ryzen AI Max+ 395 128GB整机 · 128 GB	¥19,00016 条挂单	19.5	128K
GeForce RTX 409024 GB	¥25,0006 条挂单	71.1	77K
RTX A600048 GB	¥32,0007 条挂单	55.5	128K
DGX Spark 128GB整机 · 128 GB	¥43,00041 条挂单	20.8	128K
MacBook Pro M5 Max 128GB整机 · 128 GB	¥45,69410 条挂单	45.1	128K
Mac Studio M5 Ultra 96GB整机 · 96 GB	¥46,00015 条挂单	84.8	128K
GeForce RTX 509032 GB	¥51,99914 条挂单	117.3	120K
RTX PRO 600096 GB	¥125,0006 条挂单	117.3	128K

设备	价格	速度 t/s	最大上下文
Tesla V100 32GB32 GB	¥4,2004 条挂单	39.5	87K
Radeon RX 7900 XTX24 GB	¥5,69412 条挂单	42	44K
GeForce RTX 309024 GB	¥8,50013 条挂单	41	44K
Ryzen AI Max+ 395 128GB整机 · 128 GB	¥19,00016 条挂单	11.7	128K
GeForce RTX 409024 GB	¥25,0006 条挂单	44	44K
RTX A600048 GB	¥32,0007 条挂单	34	128K
DGX Spark 128GB整机 · 128 GB	¥43,00041 条挂单	12.5	128K
MacBook Pro M5 Max 128GB整机 · 128 GB	¥45,69410 条挂单	27.4	128K
Mac Studio M5 Ultra 96GB整机 · 96 GB	¥46,00015 条挂单	52.9	128K
GeForce RTX 509032 GB	¥51,99914 条挂单	74.6	87K
RTX PRO 600096 GB	¥125,0006 条挂单	74.6	128K

只列常见的显卡和整机，50B 以下和以上的模型各一组，按价格从低到高。

本地部署 DeepSeek R1 Distill Qwen 14B 要注意什么？

按官方要求写提示词
官方有三条建议：temperature 设在 0.5 到 0.7 之间（推荐 0.6），太高容易无限重复或前后不通；不要用系统提示词，所有要求都写进用户消息；做数学题时在提示里加上「Please reason step by step, and put your final answer within \boxed{}」。
它有时会跳过思考
R1 系列偶尔会输出一个空的思考块就直接作答，效果会变差。官方建议强制每次输出都以「<think>」加换行开头。0528 之后的版本（比如 R1 Qwen3 8B）已经不需要这一步。
瓶颈是上下文，不是权重
它用的是普通的注意力结构，上下文越长，存放上下文的 KV 缓存就线性变大：4-bit 下从 8K 开到 128K 要多约 24.1 GB，是权重本身的两倍多。所以在 16GB 卡上，限制它的是上下文长度；做长推理题之前，先算好要留多少。
用什么框架
它就是 Qwen2.5 的架构，llama.cpp、Ollama、vLLM、SGLang 都直接支持；Ollama 标签是 deepseek-r1:14b（4-bit，下载约 9 GB）。官方说对配置和分词器做过小改动，部署时用 DeepSeek 仓库里的文件。

启动命令

Ollama

Windows
macOS
Linux

终端

ollama run deepseek-r1:14b

llama.cpp

NVIDIA
AMD
Mac
CPU

终端

llama-server -hf bartowski/DeepSeek-R1-Distill-Qwen-14B-GGUF:Q4_K_M \
  -c 8192

vLLM

Linux
NVIDIA
AMD

终端

vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-14B

MLX

Apple 芯片

Mac 上先 pip install mlx-lm，这条命令会从 Hugging Face 下载 MLX 权重，并启动兼容 OpenAI 接口的服务。

终端

mlx_lm.server --model mlx-community/DeepSeek-R1-Distill-Qwen-14B-4bit

量化文件名以模型库当周抓取为准，口径见数据方法。数据方法

DeepSeek 家族的其他模型

模型	总参数	激活参数	4-bit 模型大小
DeepSeek R1 Qwen3 8B稠密	8.2B	8.2B	5 GB
DeepSeek R1 Distill Qwen 32B稠密	32.8B	32.8B	19.9 GB
DeepSeek V4 FlashMoE	284B	13B	155.1 GB
DeepSeek V3.2MoE	671B	37B	405.4 GB
DeepSeek V4.1 FlashMoE	763B	8 / 16B	444.7 GB
DeepSeek V4 ProMoE	1,600B	49B	849.7 GB

关于 DeepSeek