2枚のGPUのVRAMはそのまま足せる？

容量は足せますが、帯域幅は足せません。llama.cppはレイヤーを2枚へ直列に配置するため、48GBに43 GBのモデルは載りますが、各tokenで重みを読むのは1枚だけで、速度は単体GPU相当です。vLLMのテンソル並列なら同じレイヤーを2枚で同時に計算でき、単体の1.6〜1.8倍になります。

RTX 3090を2枚使うのにNVLinkは必要？

不要です。llama.cppのレイヤー分割はレイヤー境界で数MBの活性値を送るだけなので、PCIe 4.0 x8で十分です。vLLMのテンソル並列はNVLinkがあれば1〜2割速くなりますが、なくても動きます。NVLinkブリッジの中古価格は300〜800人民元で必須ではありません。

16GBカード4枚（64GB）は24GBカード2枚より良い？

良くありません。RX 7800 XTまたはRTX 4080を4枚にすると総額は3090を2枚と同程度かそれ以上で、4スロットと1200W以上の電源が必要になり、PCIeレーンもx4へ分割されます。速度はなお単体GPU水準です。複数GPUでは枚数が少ないほど良い選択です。

70Bには3090を2枚かRTX PRO 6000を1枚か？

3090を2枚なら約1万6,000人民元、推定16 tokens/sです。RTX PRO 6000 Blackwell 96GBは約12万人民元、推定30 tokens/sで128Kコンテキストも使えます。個人なら3090を2枚、チームまたは商用で初めてPRO 6000が妥当です。

複数GPUでローカルLLMを動かす入門：RTX 3090を2枚で70Bは動く？構成方法（2026）

複数GPUのVRAMはそのまま加算できる？

容量は加算できますが帯域幅は加算できません。llama.cppのレイヤー分割なら24GBを2枚で43 GBのモデルを載せられますが、速度は単体GPU水準です。2枚を同時に計算させるにはvLLMのテンソル並列が必要です。

レイヤー分割（pipeline / layer split）：llama.cppの既定方式です。前半40層をGPU 1、後半40層をGPU 2に置き、tokenが順に通過します。任意の瞬間に重みを読むのは1枚だけなので、速度 ≈ 単体帯域幅 ÷ 重みサイズとなり、3090を2枚で70B 4-bitは約16 tokens/sです。PCIe帯域幅とカードの一致性への要求が低いのが利点です。
テンソル並列（tensor parallel）：vLLM、SGLang、exllamaの方式です。各レイヤーの行列を半分ずつに切って2枚で同時に計算し、帯域幅も加算され、実測で単体の1.6〜1.8倍です。GPU枚数は2のべき乗、同一モデルが望ましく、PCIeは最低x8、NVLinkがあればより良好です。

個人のチャットにはllama.cppで十分です。複数人へ提供するなら、vLLMのテンソル並列と連続バッチ処理こそ複数GPUの価値です。

70Bモデルの4-bitにはどれだけVRAMが必要？

Llama 3.3 70Bの4-bitは、8Kで約43 GB、32Kで約50 GB、128Kで約73 GBです。48GBの2枚構成は8K〜16Kまでです。 リアルタイム計算：

モデル	2-bit		4-bit		8-bit		動かせる最安のカード
モデル	8K	32K	8K	32K	8K	32K	動かせる最安のカード
Llama 3.3 70B70.6B	30 GB	38 GB	43 GB	51 GB	77 GB	85 GB	Radeon PRO W7900¥545,824
DeepSeek R1 Distill Qwen 32B32.8B	16 GB	22 GB	22 GB	28 GB	37 GB	43 GB	Tesla V100 32GB¥111,507
gpt-oss 120B117B · A5.1B	45 GBオフロード：VRAM 4 GB + RAM 43 GB	47 GBオフロード：VRAM 5 GB + RAM 43 GB	67 GBオフロード：VRAM 4 GB + RAM 65 GB	69 GBオフロード：VRAM 6 GB + RAM 65 GB	123 GBオフロード：VRAM 5 GB + RAM 120 GB	125 GBオフロード：VRAM 6 GB + RAM 120 GB	Tesla V100 16GB¥44,978 · オフロード
GLM 4.5 Air106B · A12B	42 GBオフロード：VRAM 6 GB + RAM 38 GB	47 GBオフロード：VRAM 10 GB + RAM 38 GB	62 GBオフロード：VRAM 7 GB + RAM 56 GB	66 GBオフロード：VRAM 11 GB + RAM 56 GB	113 GBオフロード：VRAM 10 GB + RAM 104 GB	117 GBオフロード：VRAM 14 GB + RAM 104 GB	Tesla V100 16GB¥44,978 · オフロード

gpt-oss 120BとGLM 4.5 Airという2つのMoEは、全体をVRAMに置くには62〜74 GBが必要で3090を2枚には収まりません。しかしエキスパートをオフロードすれば単体GPUでも動かせます。この場合はGPUをもう1枚買うより64GBのメモリを増設する方が有効です。16GB VRAMで動かせるモデルのオフロード解説を参照してください。

3090を2枚 / 4090を2枚 / 4080を3枚のコストと速度

3090を2枚が70B 4-bitの最安案です。4090を2枚は価格が2倍で8%しか速くなく、4080を3枚や16GBカードを4枚にする案も3090を2枚に劣ります。 組み合わせ比較（Llama 3.3 70B、4-bit、8K）：

構成	合計 VRAM GB	収まる	中古合計価格	速度 t/s t/s	合計消費電力 W
2 × GeForce RTX 3090	48	✓	¥507,562	16	700
2 × GeForce RTX 4090	48	✓	¥999,507	17	900
3 × GeForce RTX 4080	48	✓	¥561,754	12	960
2 × Radeon RX 7900 XTX	48	✓	¥312,346	12	710
2 × GeForce RTX 5090	64	✓	¥2,027,749	30	1,150
2 × Radeon AI PRO R9700	64	✓	—	8	600
1 × GeForce RTX 4090 48GB	48	✓	—	17	450
1 × RTX PRO 6000 Blackwell	96	✓	¥2,652,597	30	600

Llama 3.3 70B は 4-bit、コンテキスト 8K で約 43 GB 必要です。速度は 1 枚構成の推定値です。llama.cpp のレイヤー分割は層を順番に処理するため、カードを増やしても容量は増えますが帯域は増えません。

3090を2枚：最安の48GB、16 tokens/s。マイニング使用歴のリスクは中古3090ガイドを参照。
4090を2枚：価格は2倍、速度は8%増。すでに1枚持っている場合を除き推奨しません。
5090を2枚：64GBで32Kコンテキスト、30 tokens/s。高速案ですが総額は約8万人民元です。
7900 XTXを2枚：安価で動きますが、ROCmの複数GPUはllama.cppのレイヤー分割だけを推奨します。
RTX 4090 48GB改造カード：単体で済み、2枚構成を組む必要がない代わりに保証なしです。
RTX PRO 6000：96GB単体で30 tokens/s、128Kコンテキスト対応の商用案です。

イメージ図：ケース内の大出力モジュラー電源から、複数のPCIe給電ケーブルが2枚のGPUへ伸びる

マザーボード、電源、ケースはどう選ぶ？

2枚GPUマシンの必須条件は、3スロット以上離れたPCIe x16物理スロット2本、1000W以上の電源、3スロットGPUを2枚収められるケースです。

マザーボード：コンシューマー向けZ790 / X870は2本目がx4のことが多く、レイヤー分割には十分です。テンソル並列にはx8 / x8に分割できるボード（X670E、X870Eの一部、W790 / TRX50ワークステーションボード）を選びます。3スロットカードを密着させると上側が過熱するため、間隔を確認してください。
電源：3090を2枚で350W × 2にCPUを加えるため、ATX 3.0の1000〜1200Wを選びます。各GPUには独立した8-pinケーブル2本を使い、1本の分岐コネクターは使いません。
ケース：フルタワーまたは縦置き対応ミドルタワーで、カードの間に少なくとも1スロットの放熱空間を確保します。350Wカード2枚を小型ケースに入れると互いに熱でクロックが落ちます。
電力制限：nvidia-smi -pl 280で3090を280Wに制限すると、推論速度の低下は5%未満で、温度と電気代は明確に下がります。
熱と騒音：2枚が全負荷なら700Wで電気ストーブ相当です。夏は部屋の空調を考慮してください。

ソフトウェア設定：llama.cppとvLLMの複数GPUパラメーター

llama.cppは既定で自動レイヤー分割、vLLMは--tensor-parallel-size 2を指定します。

llama.cpp（既定ではVRAM比でレイヤーを分け、-tsで比率を手動指定）：

llama-server -hf bartowski/Llama-3.3-70B-Instruct-GGUF:Q4_K_M -c 8192 -ngl 99 -ts 1,1 -fa on

Ollamaは複数GPUを自動認識してレイヤーを分割するため、追加パラメーターは不要です。

ollama run llama3.3:70b

vLLMのテンソル並列（AWQ / GPTQ / FP8重みと同型GPU 2枚が必要）：

vllm serve casperhansen/llama-3.3-70b-instruct-awq --tensor-parallel-size 2 --max-model-len 8192 --gpu-memory-utilization 0.92

切り分けは、まずnvidia-smiで2枚とも認識されているか確認します。VRAM不足なら-c / --max-model-lenを下げ、vLLMのNCCLエラーはPCIe ACSまたはIOMMUが原因であることが多いためBIOSで無効にします。

結論：70Bはどう構成する？

3090を2枚が70Bの最低ラインで、NVLinkは不要、小容量GPUを4枚集めるのは割に合いません。高速なら5090を2枚、手間を避けるならMac 128GBまたは4090の48GB改造カードです。

予算1万6,000〜2万人民元、16 tokens/sを許容：RTX 3090を2枚。
30 tokens/sと32Kコンテキストが必要：RTX 5090を2枚、またはRTX PRO 6000を1枚。
2枚構成を組みたくない：Mac Studio 128GBは半分の速度ですが静音です。Macユニファイドメモリ vs 独立GPUを参照してください。
主にMoE（gpt-oss 120B、GLM Air）を動かす：24GB GPU 1枚と128GBメモリにし、複数GPUにはしません。