Tesla V100 32GB + E5 雙路 DDR4
低價生成速度10.1t/s
記憶體頻寬137GB/s
整機參考價NT$65,939
DeepSeek V3.2 如何本地部署？
DeepSeek V3.2 是 DeepSeek 在 2025 年 12 月發布的 671B MoE。即使是 4-bit 也要約 405 GB，任何單張顯示卡或 128GB 的整機都放不下。在家要跑它，不是湊多卡、多台機器，就是用大記憶體伺服器把專家放進系統記憶體；單機只有 512GB 的 Mac Studio 在容量上放得下 4-bit。新部署比較建議看體積不到它四成的 V4 Flash。
DeepSeek V3.2 模型資訊
- 4-bit 最低顯示記憶體408 GB · 8K
- 參數量671B
- 激活參數37B
- 上下文上限160K
- 架構
- MoE
- 專家卸載
- 13 GB 顯存 + 396 GB 記憶體
- 授權
- MIT
- 發布日期
- 2025年12月1日
- 廠商
- DeepSeek
- Hugging Face 倉庫
- deepseek-ai/DeepSeek-V3.2
- GGUF 倉庫
- unsloth/DeepSeek-V3.2-GGUF
- NVFP4 倉庫（Blackwell）
- nvidia/DeepSeek-V3.2-NVFP4
- MLX 倉庫（Apple）
- mlx-community/DeepSeek-V3.2-4bit
- 層數
- 61
- 隱藏維度
- 7,168
- KV 頭
- 128
- 頭維度
- 192
DeepSeek V3.2 本地部署需要多少顯示記憶體？
| 量化 | 權重體積GB | 8K 上下文GB | 32K 上下文GB | 128K 上下文GB | 160K 上下文（最大）GB |
|---|---|---|---|---|---|
| 1-bit | 199.3GGUF | 200.9 | 202.7 | 209.6 | 211.9 |
| 2-bit | 246.6GGUF | 248.2 | 250 | 256.9 | 259.2 |
| 3-bit | 321GGUF | 322.6 | 324.4 | 331.3 | 333.6 |
| 4-bit | 405.4GGUF | 407 | 408.8 | 415.7 | 418 |
| 5-bit | 476.2GGUF | 477.8 | 479.6 | 486.5 | 488.8 |
| 8-bit | 713.3GGUF | 714.9 | 716.7 | 723.6 | 725.9 |
| BF16/FP16 | 1,342.3GGUF | 1,343.9 | 1,345.7 | 1,352.6 | 1,354.9 |
詳細計算規則可在資料方法頁查看。
單卡能跑 DeepSeek V3.2 嗎？
單卡跑不了，128GB 的整機也不行：4-bit 加 8K 上下文約 407 GB，壓到 1-bit 也還要約 201 GB。在家裡跑它有三條路。門檻最低的是大記憶體伺服器加一張顯示卡，把每次只用到一小部分的專家權重放進系統記憶體；其次是湊 4 張以上的 96GB 卡；再來是 512GB 的 Mac Studio M3 Ultra，它是唯一能把 4-bit 整個放下的單台機器，不過已經貼近 macOS 預設分給 GPU 的四分之三記憶體。如果只是想在本機用 DeepSeek，體積不到它四成的 V4 Flash 容易得多。
| 裝置 | 價格 | 速度 t/s | 最大上下文 |
|---|---|---|---|
| Mac Studio M3 Ultra 512GB整機 · 512 GB | NT$573,1654 筆掛單 | 37.3 | 160K |
| 裝置 | 價格 | 速度 t/s | 最大上下文 |
|---|---|---|---|
| Mac Studio M3 Ultra 512GB整機 · 512 GB | NT$573,1654 筆掛單 | 24.5 | 160K |
只列常見的顯示卡和整機，50B 以下和以上的模型各一組，按價格從低到高。
多卡跑 DeepSeek V3.2 要幾張顯示卡？
最少要 4 張 72GB 以上的卡，而且只夠跑 2-bit，4 張 96GB 的 RTX PRO 6000 每秒約 65 個 token。4-bit 要加倍到 8 張，每秒約 46 個；8 張 48GB 的 RTX A6000 只能跑 2-bit。4 台 DGX Spark 串接起來放得下 4-bit，但每台的記憶體頻寬有限，每秒不到 10 個，只適合不趕時間的用途。動手前先確認軟體支援：vLLM 官方只在 H100、H200 上驗證過它，它那套只挑部分上下文來計算的新注意力機制，在這些卡上能不能跑通還很難說。
| 裝置 | 需要幾張 | 總價 | 總顯示記憶體 | 速度 t/s | 總功耗 |
|---|---|---|---|---|---|
| Instinct MI210單卡 64 GB | 8 張 | NT$721,598 | 512 GB | 60.9 | 2,400 W |
 DGX Spark 128GB單台 128 GB | 4 台 | NT$838,660 | 512 GB | 13.3 | 960 W |
| RTX PRO 5000 72GB單卡 72 GB | 4 張 | NT$1,150,719 | 288 GB | 52.7 | 1,200 W |
| RTX A6000單卡 48 GB | 8 張 | NT$1,248,238 | 384 GB | 33.7 | 2,400 W |
| RTX PRO 6000單卡 96 GB | 4 張 | NT$2,437,964 | 384 GB | 64.9 | 2,400 W |
| A100 80GB PCIe單卡 80 GB | 4 張 | NT$2,730,520 | 320 GB | 68.4 | 1,200 W |
| GeForce RTX 4090 48GB單卡 48 GB | 8 張 | 暫無 | 384 GB | 42.1 | 3,600 W |
| 裝置 | 需要幾張 | 總價 | 總顯示記憶體 | 速度 t/s | 總功耗 |
|---|---|---|---|---|---|
| Instinct MI210單卡 64 GB | 8 張 | NT$721,598 | 512 GB | 42.7 | 2,400 W |
| DGX Spark 128GB單台 128 GB | 4 台 | NT$838,660 | 512 GB | 8.6 | 960 W |
| RTX PRO 5000 72GB單卡 72 GB | 8 張 | NT$2,301,438 | 576 GB | 36.4 | 2,400 W |
| RTX PRO 6000單卡 96 GB | 8 張 | NT$4,875,929 | 768 GB | 45.9 | 4,800 W |
| A100 80GB PCIe單卡 80 GB | 8 張 | NT$5,461,040 | 640 GB | 48.7 | 2,400 W |
| 裝置 | 需要幾張 | 總價 | 總顯示記憶體 | 速度 t/s | 總功耗 |
|---|---|---|---|---|---|
| Mac Studio M3 Ultra 512GB單台 512 GB | 2 台 | NT$1,146,331 | 1,024 GB | 14.5 | 960 W |
| RTX PRO 6000單卡 96 GB | 8 張 | NT$4,875,929 | 768 GB | 29.3 | 4,800 W |
Mac Studio 以 Thunderbolt 5 線串接，要用 MLX 或 exo 執行，vLLM 不支援。詳細計算規則可在資料方法頁查看。
用整機跑 DeepSeek V3.2 要什麼配置？
顯示記憶體不夠，就把專家放進系統記憶體，用一張顯示卡加大記憶體伺服器來跑。4-bit 下，12 通道 DDR5 伺服器加一張 RTX PRO 6000 約 26 tokens/s，專家全放記憶體時約需 396 GB 記憶體；2-bit 下，8 通道 DDR4 的二手伺服器加一張 RTX 3090 約 14 tokens/s。這條路要用 llama.cpp（2026 年 5 月起支援 V3.2）搭配 unsloth 的 GGUF，頁面上帶 --cpu-moe 的指令就是把專家全部放進記憶體。
GeForce RTX 3090 + EPYC 雙路 DDR4
性價比生成速度20.3t/s
記憶體頻寬341GB/s
整機參考價NT$156,902
GeForce RTX 5090 + EPYC 雙路 DDR5
旗艦生成速度44.7t/s
記憶體頻寬922GB/s
整機參考價NT$840,551
2 × RTX PRO 6000 + EPYC 雙路 DDR5
超大模型生成速度60.8t/s
記憶體頻寬922GB/s
整機參考價NT$1,807,931
2 × Tesla V100 32GB + E5 雙路 8 卡機
低價生成速度6.4t/s
記憶體頻寬137GB/s
- 電源
- 內建 4 × 1,600 W 電源
- 含在準系統內
整機參考價NT$112,146
GeForce RTX 3090 + EPYC 雙路 DDR4
性價比生成速度12.6t/s
記憶體頻寬341GB/s
整機參考價NT$212,683
2 × GeForce RTX 5090 + EPYC 雙路 DDR5
旗艦生成速度30.1t/s
記憶體頻寬922GB/s
整機參考價NT$1,097,991
4 × RTX PRO 6000 + EPYC 雙路 DDR5
超大模型生成速度47.2t/s
記憶體頻寬922GB/s
整機參考價NT$3,048,367
Tesla V100 32GB + E5 雙路 8 卡機
低價生成速度3.4t/s
記憶體頻寬137GB/s
- 電源
- 內建 4 × 1,600 W 電源
- 含在準系統內
整機參考價NT$157,668
GeForce RTX 5090 + EPYC 雙路 DDR5
旗艦生成速度17.4t/s
記憶體頻寬922GB/s
整機參考價NT$1,191,618
4 × RTX PRO 6000 + EPYC 雙路 DDR5
超大模型生成速度22.6t/s
記憶體頻寬922GB/s
整機參考價NT$3,048,367
部分購買連結是聯盟連結：透過它們購買時我們可能獲得佣金，你支付的價格不變。
本地部署 DeepSeek V3.2 要注意什麼？
用哪個框架
在本機跑首選 llama.cpp：2026 年 5 月底合併了 V3.2 支援（包含 DSA 稀疏注意力），8 月又支援了模型內建的 MTP 推測解碼，unsloth 也提供從 1-bit 到 BF16 的整套 GGUF。vLLM 官方配方只驗證過 H100 和 H200。
沒有現成的對話範本
官方沒有提供常見的 Jinja 對話範本，而是給了一套 Python 編碼腳本，工具呼叫的格式也和以前不一樣。llama.cpp 從 2026 年 4 月起有專屬的 V3.2 解析器；自己寫用戶端時，請照官方 encoding 目錄裡的腳本組出提示詞。新增的 developer 角色只用於搜尋 Agent。
取樣參數與 Speciale 版
官方對本機部署建議
temperature1.0、top_p0.95。另外還有一個同架構的 V3.2-Speciale，專做深度推理、不支援工具呼叫，別拿它跑 Agent。量化和上下文
原版權重本身就是 FP8，所以 8-bit（約 713 GB）基本上就等於原版。它的注意力結構很省上下文：4-bit 下從 8K 開到 160K 只多約 11 GB，只要放得下權重，上下文基本上都能開滿。
啟動指令
llama.cpp
- NVIDIA
- AMD
- Mac
- CPU
全部放進顯示記憶體
llama-server -hf unsloth/DeepSeek-V3.2-GGUF:Q4_K_M -c 8192專家卸載
顯示記憶體不夠時加上 --cpu-moe，把路由專家放進系統記憶體（約需 396 GB）。
llama-server -hf unsloth/DeepSeek-V3.2-GGUF:Q4_K_M -c 8192 -ngl 99 \ --cpu-moe
vLLM
- Linux
- NVIDIA
vllm serve deepseek-ai/DeepSeek-V3.2 \ --trust-remote-code \ --kernel-config.enable_flashinfer_autotune=False \ --tensor-parallel-size 8 \ --tokenizer-mode deepseek_v32 \ --tool-call-parser deepseek_v32 \ --enable-auto-tool-choice \ --reasoning-parser deepseek_v3
MLX
- Apple 晶片
在 Mac 上先 pip install mlx-lm，這條指令會從 Hugging Face 下載 MLX 權重，並啟動相容 OpenAI 介面的服務。
mlx_lm.server --model mlx-community/DeepSeek-V3.2-4bitOllama
- Windows
- macOS
- Linux
Ollama 庫暫無官方標籤。
量化檔名以模型庫當週抓取為準，口徑見資料方法。 資料方法
DeepSeek 家族的其他模型
| 模型 | 總參數 | 激活參數 | 4-bit 模型大小 |
|---|---|---|---|
| DeepSeek R1 Qwen3 8B稠密 | 8.2B | 8.2B | 5 GB |
| DeepSeek R1 Distill Qwen 14B稠密 | 14.8B | 14.8B | 9 GB |
| DeepSeek R1 Distill Qwen 32B稠密 | 32.8B | 32.8B | 19.9 GB |
| DeepSeek V4 FlashMoE | 284B | 13B | 155.1 GB |
| DeepSeek V4.1 FlashMoE | 763B | 8 / 16B | 444.7 GB |
| DeepSeek V4 ProMoE | 1,600B | 49B | 849.7 GB |