Tesla V100 32GB + E5 雙路 8 卡機
低價生成速度7.3t/s
記憶體頻寬137GB/s
- 電源
- 內建 4 × 1,600 W 電源
- 含在準系統內
整機參考價NT$157,668
DeepSeek V4 Pro 如何本地部署？
DeepSeek V4 Pro 是 DeepSeek 目前最大的開源模型，1.6T 參數，4-bit 約 851 GB，連 8 張 96GB 的卡都放不下。個人能走的路有兩條：大記憶體伺服器加一張顯示卡、把專家放進系統記憶體，約 22 tokens/s；或是兩台 512GB 的 Mac Studio 串接，就容量來說放得下 4-bit。它勝過 V4 Flash 的地方在知識面，官方公布的基座模型知識問答測試（SimpleQA-Verified）是 55.2 比 30.1。
DeepSeek V4 Pro 模型資訊
- 4-bit 最低顯示記憶體851 GB · 8K
- 參數量1,600B
- 激活參數49B
- 上下文上限1M
- 架構
- MoE
- 專家卸載
- 16 GB 顯存 + 837 GB 記憶體
- 授權
- MIT
- 發布日期
- 2026年8月13日
- 廠商
- DeepSeek
- Hugging Face 倉庫
- deepseek-ai/DeepSeek-V4-Pro-0813
- NVFP4 倉庫（Blackwell）
- nvidia/DeepSeek-V4-Pro-0813-NVFP4
- 小版本
- 0813
- 層數
- 61
- 隱藏維度
- 7,168
- KV 頭
- 1
- 頭維度
- 512
DeepSeek V4 Pro 本地部署需要多少顯示記憶體？
| 量化 | 權重體積GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文GB | 1M 上下文（最大）GB |
|---|---|---|---|---|---|
| 1-bit | 403.2估 | 404.5 | 405.3 | 406.4 | 412.6 |
| 2-bit | 638.4估 | 639.7 | 640.5 | 641.6 | 647.8 |
| 3-bit | 823.2估 | 824.5 | 825.3 | 826.4 | 832.6 |
| 4-bit | 849.7GGUF | 851 | 851.8 | 852.9 | 859.1 |
| 5-bit | — | — | — | — | — |
| 8-bit | 873.4GGUF | 874.7 | 875.5 | 876.6 | 882.8 |
| BF16/FP16 | 3,360估 | 3,361.3 | 3,362.1 | 3,363.2 | 3,369.4 |
詳細計算規則可在資料方法頁查看。
單卡能跑 DeepSeek V4 Pro 嗎？
不能，沒有哪張卡或哪台機器接近它的體積：1.6T 參數的 4-bit 加 32K 上下文約 851 GB，512GB 的 Mac Studio 也只放得下六成。而且 unsloth 只推出 4-bit 和 8-bit 兩種檔案，兩者大小差不多（它的專家原本就是 4-bit），沒有更小的現成檔位可以退。單台機器能走的路只有一條：伺服器插滿 768GB 記憶體，加一張 RTX PRO 6000，把大部分專家放進系統記憶體，4-bit 每秒約 22 個 token，換成 8-bit 也差不多快。不想組伺服器，就得把兩台 512GB 的 Mac Studio 串接起來。
多卡跑 DeepSeek V4 Pro 要幾張顯示卡？
顯示卡組合都放不下 4-bit：8 張 96GB 的 RTX PRO 6000 合計 768GB，離 4-bit 需要的約 851 GB 還差一截；依參數量估算，2-bit 塞得進這 8 張卡，每秒約 53 個 token，但這一檔目前沒有現成的量化檔案。就容量來說，兩台 512GB 的 Mac Studio M3 Ultra 用 Thunderbolt 5 線串接放得下 4-bit，估計每秒約 22 個 token，8-bit 也是兩台、速度幾乎一樣，不過 Mac 上的分散式推論軟體能不能跑這個新架構，要先確認。真要用顯示卡跑 4-bit，得用 H200、B200 這類 8 卡資料中心伺服器，vLLM 官方驗證過的也只有這類硬體和 AMD 的 MI355X。
| 裝置 | 需要幾張 | 總價 | 總顯示記憶體 | 速度 t/s | 總功耗 |
|---|---|---|---|---|---|
| Mac Studio M3 Ultra 512GB單台 512 GB | 2 台 | NT$1,146,331 | 1,024 GB | 27.7 | 960 W |
 RTX PRO 6000單卡 96 GB | 8 張 | NT$4,875,929 | 768 GB | 52.6 | 4,800 W |
| 裝置 | 需要幾張 | 總價 | 總顯示記憶體 | 速度 t/s | 總功耗 |
|---|---|---|---|---|---|
| Mac Studio M3 Ultra 512GB單台 512 GB | 2 台 | NT$1,146,331 | 1,024 GB | 21.6 | 960 W |
| 裝置 | 需要幾張 | 總價 | 總顯示記憶體 | 速度 t/s | 總功耗 |
|---|---|---|---|---|---|
| Mac Studio M3 Ultra 512GB單台 512 GB | 2 台 | NT$1,146,331 | 1,024 GB | 21 | 960 W |
Mac Studio 以 Thunderbolt 5 線串接，要用 MLX 或 exo 執行，vLLM 不支援。詳細計算規則可在資料方法頁查看。
用整機跑 DeepSeek V4 Pro 要什麼配置？
實際可行的方案是一台 12 通道 DDR5 伺服器加一張 RTX PRO 6000，4-bit 約 22 tokens/s。4-bit 的專家全部放進記憶體約需 837 GB，比插滿 12 條 64GB 的 768 GB 還多，所以頁面上的方案把 6 層專家留在顯示卡上，其餘放進記憶體。換成 8-bit 也是約 22 tokens/s，速度幾乎一樣，因為它只比 4-bit 大約 3%。
GeForce RTX 5090 + EPYC 雙路 DDR5
旗艦生成速度33.8t/s
記憶體頻寬922GB/s
整機參考價NT$1,191,618
4 × RTX PRO 6000 + EPYC 雙路 DDR5
超大模型生成速度43.3t/s
記憶體頻寬922GB/s
整機參考價NT$3,048,367
4 × Tesla V100 32GB + E5 雙路 8 卡機
低價生成速度6t/s
記憶體頻寬137GB/s
- 電源
- 內建 4 × 1,600 W 電源
- 含在準系統內
整機參考價NT$219,105
4 × GeForce RTX 5090 + EPYC 雙路 DDR5
旗艦生成速度27.5t/s
記憶體頻寬922GB/s
整機參考價NT$1,975,643
8 × RTX PRO 6000 + EPYC 雙路 DDR5 8 卡機
超大模型生成速度41t/s
記憶體頻寬922GB/s
- 電源
- 內建 4 × 3,000 W 電源
- 含在準系統內
整機參考價NT$5,570,701
8 × Tesla V100 32GB + E5 雙路 8 卡機
低價生成速度6.7t/s
記憶體頻寬137GB/s
- 電源
- 內建 4 × 1,600 W 電源
- 含在準系統內
整機參考價NT$301,020
GeForce RTX 5090 + EPYC 雙路 DDR5
旗艦生成速度25.7t/s
記憶體頻寬922GB/s
整機參考價NT$2,045,881
8 × RTX PRO 6000 + EPYC 雙路 DDR5 8 卡機
超大模型生成速度39.3t/s
記憶體頻寬922GB/s
- 電源
- 內建 4 × 3,000 W 電源
- 含在準系統內
整機參考價NT$5,570,701
部分購買連結是聯盟連結：透過它們購買時我們可能獲得佣金，你支付的價格不變。
本地部署 DeepSeek V4 Pro 要注意什麼？
量化只有兩檔
官方權重中，專家本來就是 4-bit 格式（FP4），其餘是 FP8（下載約 893 GB，含 DSpark 草稿模組），所以 4-bit（約 850 GB）和 8-bit（約 873 GB）只差二十多 GB。記憶體如果還能多騰出這二十多 GB，就直接用 8-bit。
框架支援
llama.cpp 主線在 2026 年 6 月底合併的 V4 支援同樣涵蓋 Pro，unsloth 的 GGUF 就是給它用的。vLLM 配方驗證過的都是資料中心卡（H200、B200、GB200、B300、GB300 和 MI355X），MI300X、MI325X 則標示為不支援。
思考檔位別預設開 max
思考檔位和取樣參數與 V4 Flash 相同（
temperature1.0，Agent 情境top_p0.95）。官方的 Agent 成績是在 max 檔測出來的，high 和 max 檔都建議把最大輸出預留到 384K；但以 4-bit 專家卸載約 22 tokens/s 計算，真要寫滿 384K 得花約 5 小時，日常使用 low 或 high 檔比較實際。1M 上下文幾乎不佔記憶體
它的注意力結構把上下文壓縮得很小：4-bit 下從 32K 開到 1M 只多約 8.1 GB，相對於 850 GB 的權重可以忽略，開滿上下文也不必另外估算記憶體。
啟動指令
llama.cpp
- NVIDIA
- AMD
- Mac
- CPU
全部放進顯示記憶體
llama-server -hf unsloth/DeepSeek-V4-Pro-0813-GGUF:UD-Q4_K_XL -c 8192專家卸載
顯示記憶體不夠時加上 --cpu-moe，把路由專家放進系統記憶體（約需 837 GB）。
llama-server -hf unsloth/DeepSeek-V4-Pro-0813-GGUF:UD-Q4_K_XL -c 8192 \ -ngl 99 --cpu-moe
vLLM
- Linux
- NVIDIA
vllm serve deepseek-ai/DeepSeek-V4-Pro-0813 \ --trust-remote-code \ --kv-cache-dtype fp8 \ --block-size 256 \ --enable-expert-parallel \ --tensor-parallel-size 8 \ --max-model-len 800000 \ --gpu-memory-utilization 0.95 \ --max-num-seqs 512 \ --no-enable-flashinfer-autotune \ --compilation-config '{"mode": 0, "cudagraph_mode": "FULL_DECODE_ONLY"}' \ --tokenizer-mode deepseek_v4 \ --tool-call-parser deepseek_v4 \ --enable-auto-tool-choice \ --reasoning-parser deepseek_v4 \ --speculative-config '{"method":"dspark","num_speculative_tokens":7,"draft_sample_method":"probabilistic"}'
Ollama
- Windows
- macOS
- Linux
Ollama 只有雲端版 deepseek-v4-pro:cloud，在 Ollama 的伺服器上執行，不在你自己的電腦上跑。
量化檔名以模型庫當週抓取為準，口徑見資料方法。 資料方法
DeepSeek 家族的其他模型
| 模型 | 總參數 | 激活參數 | 4-bit 模型大小 |
|---|---|---|---|
| DeepSeek R1 Qwen3 8B稠密 | 8.2B | 8.2B | 5 GB |
| DeepSeek R1 Distill Qwen 14B稠密 | 14.8B | 14.8B | 9 GB |
| DeepSeek R1 Distill Qwen 32B稠密 | 32.8B | 32.8B | 19.9 GB |
| DeepSeek V4 FlashMoE | 284B | 13B | 155.1 GB |
| DeepSeek V3.2MoE | 671B | 37B | 405.4 GB |
| DeepSeek V4.1 FlashMoE | 763B | 8 / 16B | 444.7 GB |