DeepSeek R1 Qwen3 8B 如何本地部署？

VRAMGlass 编辑部 · 更新于 2026年9月10日

DeepSeek R1 Qwen3 8B 是 8.2B 参数的稠密模型。Q4 量化最低需要 7GB 显存，8K 上下文下推荐 12GB。当前最便宜能跑的显卡是 Tesla V100 16GB，约 ¥4,432，预估 109.9 tokens/s。

DeepSeek R1 Qwen3 8B 版本信息

发布日期2025年5月29日

Hugging Face 仓库deepseek-ai/DeepSeek-R1-0528-Qwen3-8B

小版本0528

许可证MIT

架构稠密

GGUF 仓库unsloth/DeepSeek-R1-0528-Qwen3-8B-GGUF

Ollama 标签deepseek-r1:8b

Q4 最低显存7 GB · Q4_K_M · 8K

参数量8.2B

层数36

隐藏维度4,096

KV 头8

头维度128

上下文上限128K

厂商DeepSeek

DeepSeek R1 Qwen3 8B 本地部署需要多少显存？

量化	权重体积GB	8K 总显存GB	32K 总显存GB	128K 总显存GB
1-bit	2.4GGUF	4	7.4	20.9
2-bit	3.5GGUF	5.2	8.5	22
3-bit	4.3GGUF	6	9.4	22.9
4-bit	5GGUF	6.7	10.1	23.6
5-bit	5.9GGUF	7.7	11	24.5
8-bit	8.7GGUF	10.6	14	27.5
FP16	16.4GGUF	18.1	21.5	35

总显存 = 权重 + KV cache（FP16）+ 1GB 运行开销。标 GGUF 的权重是仓库里的实测文件体积，标「估」的按每参数字节估算。超过这个模型 128K 上下文上限的档位写「—」。各档取仓库里该比特数的任一文件，优先 unsloth 动态量化，所以同一档不同模型对应的文件名可能不同。

什么显卡能跑 DeepSeek R1 Qwen3 8B？

AmazonJP

设备	显存GB	价	预估 t/s	建议上下文
Tesla V100 16GB	16	¥4,4324 条挂单	109.9	32K
Radeon RX 9070 XT	16	¥5,9498 条挂单	58.3	32K
GeForce RTX 5060 Ti 16GB	16	¥6,2179 条挂单	57.2	32K
GeForce RTX 5070	12	¥6,42810 条挂单	83.9	32K
Radeon RX 7800 XT	16	¥6,49810 条挂单	56.9	32K
Tesla V100 32GB	32	¥7,6733 条挂单	109.9	128K
Arc Pro B60	24	¥7,8293 条挂单	38	128K
Radeon RX 7900 XT	20	¥8,3639 条挂单	72.1	32K
Radeon RX 6950 XT	16	¥9,4424 条挂单	52.7	32K
GeForce RTX 5070 Ti	16	¥10,60010 条挂单	109.4	32K
Radeon RX 7900 XTX	24	¥11,6869 条挂单	85.5	128K
GeForce RTX 5080	16	¥12,5604 条挂单	116.5	32K
Arc Pro B70	32	¥13,9473 条挂单	50.2	128K
GeForce RTX 4080	16	¥14,7108 条挂单	89.1	32K
Radeon AI PRO R9700	32	¥15,0896 条挂单	58.3	128K
GeForce RTX 3090	24	¥16,9509 条挂单	113.9	128K
Ryzen AI Max+ 395 128GB	128	¥26,3156 条挂单	24	128K
RTX PRO 4000 Blackwell	24	¥26,6035 条挂单	83.9	128K
GeForce RTX 4090	24	¥32,9869 条挂单	121.8	128K
GeForce RTX 5090	32	¥50,3659 条挂单	201.2	128K
DGX Spark 128GB	128	¥55,3043 条挂单	35.5	128K
GeForce RTX 2080 Ti 22GB	22	—暂无挂单	77.3	32K
GeForce RTX 5090 D V2	24	—暂无挂单	157.2	128K
Arc Pro B65	32	—暂无挂单	50.2	128K
GeForce RTX 4080 SUPER 32GB	32	—暂无挂单	91.3	128K
GeForce RTX 5090 D	32	—暂无挂单	201.2	128K
Instinct MI100	32	—暂无挂单	107.4	128K
Instinct MI50 32GB	32	—暂无挂单	90.8	128K
Radeon PRO W7800	32	—暂无挂单	52.7	128K
RTX PRO 4500 Blackwell	32	—暂无挂单	109.4	128K
A100 40GB PCIe	40	—暂无挂单	178.4	128K
CMP 170HX 40GB	40	—暂无挂单	178.9	128K
GeForce RTX 4090 48GB	48	—暂无挂单	121.8	128K
Radeon PRO W7900	48	—暂无挂单	77.5	128K
RTX PRO 5000 Blackwell 48GB	48	—暂无挂单	157.2	128K
CMP 170HX 64GB	64	—暂无挂单	172.3	128K
Instinct MI210	64	—暂无挂单	139.2	128K
RTX PRO 5000 Blackwell 72GB	72	—暂无挂单	157.2	128K
RTX PRO 6000D	84	—暂无挂单	179.7	128K
RTX PRO 6000 Blackwell	96	—暂无挂单	201.2	128K
Mac Studio M4 Max 128GB	128	—暂无挂单	54.9	128K
Mac Studio M5 Max 128GB	128	—暂无挂单	61.4	128K
MacBook Pro M4 Max 128GB	128	—暂无挂单	54.9	128K
MacBook Pro M5 Max 128GB	128	—暂无挂单	61.4	128K
Mac Studio M3 Ultra 512GB	512	—暂无挂单	80.6	128K

判定口径：权重 + KV cache + 运行开销 ≤ 可用显存，单卡。MoE 模型标「卸载」表示把专家权重放进系统内存后能跑（显存只放注意力层与 KV cache），速度按内存带宽 70 GB/s 估算。上下文列给的是能装下的最大档位。

用 Ollama / llama.cpp / vLLM 本地部署 DeepSeek R1 Qwen3 8B

Ollama

Ollama 一条命令拉起，量化档位由官方标签决定。

ollama run deepseek-r1:8b

llama.cpp

llama.cpp 直接从 Hugging Face 拉 GGUF，-c 是上下文长度。

llama-server -hf unsloth/DeepSeek-R1-0528-Qwen3-8B-GGUF:Q4_K_M -c 8192

vLLM

vLLM 跑的是原始精度权重，显存要求比 GGUF 高得多，通常要多卡。

vllm serve deepseek-ai/DeepSeek-R1-0528-Qwen3-8B

量化文件名以模型库当周抓取为准，口径见数据方法。数据方法

常见问题

DeepSeek R1 Qwen3 8B 需要多少显存？

在 Q4_K_M 量化、8K 上下文下 DeepSeek R1 Qwen3 8B 约需 7GB 显存，留到 12GB 更稳。

哪张显卡最便宜能跑 DeepSeek R1 Qwen3 8B？

Tesla V100 16GB，16GB 显存，当前中位价约 ¥4,432，预估 109.9 tokens/s。

DeepSeek R1 Qwen3 8B 能用 Ollama 跑吗？

能，命令是 ollama run deepseek-r1:8b。