DeepSeek R1 Qwen3 8B 如何本地部署？

• 4-bit 最低显存8 GB · 8K
• 参数量8.2B
• 上下文上限128K

架构

稠密

许可证

MIT

发布日期

2025年5月29日

厂商

DeepSeek

Hugging Face 仓库

deepseek-ai/DeepSeek-R1-0528-Qwen3-8B

GGUF 仓库

unsloth/DeepSeek-R1-0528-Qwen3-8B-GGUF

MLX 仓库（Apple）

mlx-community/DeepSeek-R1-0528-Qwen3-8B-4bit

Ollama 标签

deepseek-r1:8b

小版本

0528

层数

36

隐藏维度

4,096

KV 头

8

头维度

128

详细计算规则可在数据方法页查看。

设备	价格	速度 t/s	最大上下文
Tesla V100 16GB16 GB	¥1,2505 条挂单	105.2	73K
Tesla V100 32GB32 GB	¥4,2004 条挂单	105.2	128K
GeForce RTX 5060 Ti 16GB16 GB	¥5,17514 条挂单	56.6	73K
Radeon RX 7900 XTX24 GB	¥5,69412 条挂单	111.1	128K
GeForce RTX 309024 GB	¥8,50013 条挂单	108.8	128K
Ryzen AI Max+ 395 128GB整机 · 128 GB	¥19,00016 条挂单	33.5	128K
GeForce RTX 409024 GB	¥25,0006 条挂单	115.8	128K
RTX A600048 GB	¥32,0007 条挂单	91.8	128K
DGX Spark 128GB整机 · 128 GB	¥43,00041 条挂单	35.6	128K
MacBook Pro M5 Max 128GB整机 · 128 GB	¥45,69410 条挂单	75.3	128K
Mac Studio M5 Ultra 96GB整机 · 96 GB	¥46,00015 条挂单	136.3	128K
GeForce RTX 509032 GB	¥51,99914 条挂单	182.8	128K
RTX PRO 600096 GB	¥125,0006 条挂单	182.8	128K

只列常见的显卡和整机，50B 以下和以上的模型各一组，按价格从低到高。

1. 1

   它不是满血 R1

   名字里有 R1，但它和 671B 的满血 R1 不是一回事：架构和 Qwen3 8B 完全相同，只是用 R1-0528 的思考过程对 Qwen3 8B 做了后训练。官方特别提醒，它的分词器配置沿用 R1-0528，自己部署或转换格式时，配置文件要从 DeepSeek 的仓库取，不能拿 Qwen3 原版的替代。

2. 2

   量化选哪一档

   显存够就用 8-bit：权重 8.7 GB，16GB 卡加 32K 上下文约 14.6 GB，放得下。12GB 卡用 4-bit（32K 约 10.9 GB）。2-bit 只比 4-bit 小 1.5 GB，对 8B 模型来说省下的空间不值得。

3. 3

   官方推荐的设置

   官方网页和 App 用 temperature 0.6，评测时 top_p 0.95。和 2025 年 1 月的 14B、32B 蒸馏版不同，0528 版支持系统提示词，也不用再在输出开头手动补思考标记。

4. 4

   别用默认上下文跑难题

   默认上下文往往太短，思考一长就会被截断：Ollama 按显存定默认值，24GB 以下只有 4K，24 到 48GB 是 32K；页面上的 llama-server 命令开的是 8K（-c 8192）。做数学、代码题时，llama-server 把 -c 改到 32768 以上；Ollama 用 OLLAMA_CONTEXT_LENGTH 环境变量或 /set parameter num_ctx 调大。

ollama run deepseek-r1:8b

llama-server -hf unsloth/DeepSeek-R1-0528-Qwen3-8B-GGUF:Q4_K_M -c 8192

vllm serve deepseek-ai/DeepSeek-R1-0528-Qwen3-8B

mlx_lm.server --model mlx-community/DeepSeek-R1-0528-Qwen3-8B-4bit

量化文件名以模型库当周抓取为准，口径见数据方法。 数据方法

模型	总参数	激活参数	4-bit 模型大小
DeepSeek R1 Distill Qwen 14B稠密	14.8B	14.8B	9 GB
DeepSeek R1 Distill Qwen 32B稠密	32.8B	32.8B	19.9 GB
DeepSeek V4 FlashMoE	284B	13B	155.1 GB
DeepSeek V3.2MoE	671B	37B	405.4 GB
DeepSeek V4.1 FlashMoE	763B	8 / 16B	444.7 GB
DeepSeek V4 ProMoE	1,600B	49B	849.7 GB

关于 DeepSeek