中古サーバーとDDR4で大規模モデルを低コストに動かす：デュアル3090構成の速度と費用の内訳（2026）

なぜサーバーとDDR4で300Bのモデルが動く？

これらのモデルがMoEで、1トークンごとに使うパラメータがごく一部であり、その一部はメモリから読めるからです。それを担うソフトがllama.cppと、その分岐のik_llama.cppです。 DeepSeek V4 Flashは284Bパラメータ、256エキスパートで、1トークンで有効になるのは6エキスパートとアテンション層、合わせて13Bだけです。GLM 5.3 Flashは320B、288エキスパートで、1トークンあたり18Bが有効になります。

llama.cppはこの2種類の重みを分けて置きます。アテンション層、共有エキスパート、KVキャッシュはグラフィックスカードに置き、数GBしか使いません。256のエキスパートはメモリに置き、100〜200 GBを占めます。1トークン生成するたびに、カードは自分の担当分を計算し、メモリから6〜8個のエキスパートを読みます。読み出しが速いほど、生成も速くなります。

メモリの読み出し速度は、チャネル数と周波数の掛け算で決まります。

デスクトップでも動きますが、8チャネルのサーバーはその倍以上速く、しかもデスクトップは最大128GBまでで、V4 FlashのQ4が入りません。サーバーを買う理由はCPUではなく、メモリスロットが8本あることです。

なぜ3090を2枚にする？

1枚の3090はアテンション層と共有エキスパートを置く、KVキャッシュを置く、プロンプトをバッチ処理する、という3つを担います。2枚目の価値はKVキャッシュが倍になること、エキスパートを6層多く置けること、プロンプト処理が速くなることで、生成速度は1割しか上がりません。 まず1枚の24GBが何に使われるかを見ます。

生成速度の大半はメモリ側の時間です。1トークンごとにメモリから3.7 GB（V4 Flash）または4.9 GB（GLM）のエキスパートを読み、8チャネルDDR4-2666では30〜40ミリ秒かかります。カード側は5〜8ミリ秒しかありません。ですから2枚目でエキスパートを6層多く置いても、メモリ側が1割ほど短くなるだけで、生成は25から27 tokens/sになる程度です。

2枚目が本当に効くのは別の2点です。

• コンテキスト。 KVキャッシュが1枚のときの十数GBから40 GB超になり、V4 Flashなら128Kまで開けます。エージェント用途の多ターン対話でも頻繁に消さずに済みます。
• プロンプト処理。 プロンプトの読み込みはバッチ単位で、llama.cppはバッチ全体のトークンをカードへ送り、メモリに置いたエキスパートも一時的に移して計算します。カードが多くバッチが大きいほどこの段階は速くなり、実測は65〜500 tokens/s、バッチサイズとコンテキスト長で変わります。

4090や5090ではなく3090を選ぶ理由は単純です。この構成でカードはボトルネックではなく、3090の24GBはVRAMのGB単価が約16,800円といちばん安いからです。RTX 4090は約711,000円で、24GBあたり約29,600円になります。2枚のカードにNVLinkは不要です。

逆の例も先に書いておきます。4チャネルDDR4のあるユーザーは3090を2枚で5〜6 tokens/sしか出ず、1枚に戻したら9.5になりました。3090を4枚と256GB DDR4の別のユーザーは「最大でも6」と報告しています。複数枚の分割設定が合っていないとかえって遅くなるので、まず1枚で動かしてから2枚目を足してください（Unsloth V4 Flashのディスカッション）。

どれだけ速く、精度ごとにVRAMとメモリはどれだけ要る？

Q4が日常的に使える精度です。V4 Flashは155 GB、GLM 5.3 Flashは200 GBのメモリが必要で、生成速度は3090 2枚と8チャネルDDR4でそれぞれ約27と21 tokens/s。3-bitに落とすと2割、2-bitなら5割速くなります。 まず精度ごとのファイルサイズです。2モデルともUnslothのUD動的量子化を使い、正解率はUnslothがGLM 5.3 Flashで測ったtop-1です（V4 Flash GGUF、GLM 5.3 Flash GGUF）。

メモリはファイルサイズからカードに置く数GBを引き、2割の余裕を足して見積もります。コンテキストをどこまで開くかは主にVRAM側に効きます。下表はモデルデータベースがパラメータ数からリアルタイムに計算したもので、3-bitと4-bitを32K・128K・256Kのコンテキストで示します。「オフロード」欄はカードとメモリの内訳です。

生成速度は当サイトのエキスパートオフロードの式（方法の説明）で計算します。32Kコンテキストの場合は次のとおりです。

計算は1トークンの所要時間を3つに分けて足すものです。カードがアテンション層、共有エキスパート、VRAMに置いたエキスパート層を読む分は936 GB/s、残りのエキスパートをメモリから読む分は8チャネルDDR4-2666の171 GB/s、これにルーティングの4ミリ秒を加えます。帯域幅はいずれも効率0.7を掛けます。DDR4-3200なら1割、12チャネルDDR5なら7割速くなります。

公開されている実測で式を校正します。3090を3枚とDDR4でGLM 5.3 FlashのIQ3_XXSを動かした例は実測14.6 tokens/sで、式は25、つまり6割です。デュアルソケットEPYCの8チャネルDDR4-2666でV4 FlashのQ8_K_XLを動かした例は実測20で、式のQ4基準では27、つまり7割です（ik_llama.cpp PR #2376、Unsloth V4 Flashのディスカッション）。ですから表の数値は6〜10割で見てください。V4 Flash Q4が18〜27に収まるのは正常です。

数値が表からずれる原因は2つあります。

• プロンプト処理は別の数値なので混同しないこと。 llama.cppは回答のたびに速度を2行出力します。prompt evalがプロンプトを読む速度で、バッチサイズを4096にすれば65〜500 tokens/sも普通です。evalが回答を生成する速度で、上の表の数値はこちらです。ネットの「100超え」という投稿は、たいてい1行目を貼っています。
• コンテキストが長いほど遅くなる。 3090 1枚と8チャネルDDR4-3200の同じ機材で、69Kのプロンプトを与えてGLM 5.3 Flashを動かすと、実測の生成は6.1 tokens/sまで落ちます。トークンごとにアテンションの計算が大きく増えるためです。

費用はどこに消え、多枚数GPUやMacよりどれだけ安い？

メモリはDDR4だけを買い、2つの構成に分かれます。16GBを8枚の128GB構成は約77万円で3-bitまで、32GBを8枚の256GB構成は約135万円でQ4まで、V4 Flashなら無損失のQ8_K_XLも動きます。 メモリ価格はリアルタイムのデータで、シングルソケットの8チャネルを埋める前提です。

2つの構成の総額はAmazon.co.jpの現在価格で次のとおりです。

CPUとマザーボードの行は当サイトでは収集しておらず、2026年9月のeBayでデュアルEPYC 7642と512GBの一式が2,700〜3,300ドルという相場から逆算した中古価格です。128GB構成は約58万円安いですが、代償として精度が3-bitで止まります。GLM 5.3 Flashの3-bitの正解率は82%、Q4は92%で、コードを書くときや長い推論では差が分かります。16GBのメモリで256GBにするには16枚必要で、シングルソケットのマザーボードには挿せません。

同じくV4 Flash Q4が収まる他の構成も見ます。

RTX PRO 6000とMac Studioは国内の流通が薄いため、eBay相場を1ドル153.6円で換算した値です。

結論は3つです。

• グラフィックスカードだけの構成には中間がありません。 3090を4枚の96GBではV4 Flashの2-bit（97 GB）すら入らず、Q4を載せるには8枚必要で、カードだけで約323万円。さらに8枚挿せるマザーボード、分岐ケーブル、3000Wの電源も要ります。RTX PRO 6000を2枚なら約522万円です。
• Macは速度が5割増しで、価格は約2.4倍。 M3 Ultra 512GBの819 GB/sのユニファイドメモリなら、V4 Flash Q4は推定43 tokens/sで、無損失版も動きます。静かで省電力、調整も不要ですが、約326万円です。
• Ryzen AI Max+ 395は128GB構成の対抗馬。 約598,000円のミニPCで、128GBのユニファイドメモリは256 GB/sしかなく、V4 Flashの3-bitで推定16 tokens/s。128GB構成のDDR4サーバーの半分の速度ですが、大きさと静かさは別世界です。

DDR4はGB単価が約1,630円で、DDR5サーバーメモリの5分の1、RTX 3090のVRAMの10分の1です。だから2026年に通用するのはDDR4の道だけです。悪い知らせは、DDR4が生産終了の周期に入っていることです。Micronは2026年6月に生産終了を通知し、SamsungとSK hynixも生産終了を2026年まで延期しただけです（TrendForce）。2025年1月には512GBのDDR4-2400を400ドルで買えた人がいますが（Digital Spaceport）、2026年9月に同じ容量をeBayで買うと3,200ドルです。買うならメモリを先に買ってください。

パーツ選びの経験則は3つです。

• CPUはEPYC 7003、7002でも構いませんが、7232P、7252、7262、7272、7282は避けること。 この5つはCCDが2つしかなく、メモリ帯域幅が半分になります（ServeTheHome）。コア数は32で十分で、それ以上増やしても見返りはありません。
• マザーボードはシングルソケットでスロット8本。 Gigabyte MZ32-AR0やSupermicro H12SSLがよく使われます。デュアルソケットは、16枚以上のメモリが必要だと確信したときだけ買ってください。
• メモリは全部同じ種類で揃える。 RDIMMとLRDIMMは混在できません。2666と3200の価格差が小さいなら3200を選びます。帯域幅が2割違います。

組んだあとはどう起動する？

llama.cppのllama-serverを使い、アテンション層はすべてカード、エキスパート重みはすべてメモリに置きます。動いたらエキスパートを少しずつカードへ移します。 第1段階、エキスパートを全部メモリに置きます。

./llama-server -m DeepSeek-V4-Flash-0731-UD-Q4_K_XL-00001-of-00004.gguf \
  -ngl 99 --n-cpu-moe 43 -t 32 -c 32768 -fa on -b 4096 -ub 4096 \
  --host 0.0.0.0 --port 8080

すべてを決めるのは3つの引数です。-ngl 99は全レイヤーをカードに任せます。--n-cpu-moe 43は43層分のエキスパート重みをメモリへ戻すもので、V4 Flashは43層、GLM 5.3 Flashは45を指定します。-b 4096 -ub 4096はプロンプトを4096トークンのバッチでカードへ送って計算させるもので、プロンプト処理が数百に届く鍵です。付けないと数十しか出ません。-tには物理コア数を入れます。

第2段階、nvidia-smiでVRAMの空きを見て--n-cpu-moeを下げます。1減るごとに1層分のエキスパート（V4 Flashで約3.7 GB）がカードへ移り、生成が少し速くなります。3090が1枚ならおおよそ39まで、2枚なら33まで下げられますが、KVキャッシュにどれだけ余裕を残すかは自分で試してください。2枚のときはまず-ts 1,1を付けて両方のVRAMが使われていることを確認してから、この数値を動かします。

ik_llama.cppはllama.cppの分岐で、CPU上のMoEカーネルが速く、長いコンテキストのGLM 5.3 Flashに向いています。上の実測で3090を3枚使っていた人のコマンドは次のとおりです。

./llama-server -m GLM-5.3-Flash-UD-IQ3_XXS-00001-of-00003.gguf \
  --flash-attn on -mla 1 -ctk f16 -ctv f16 --dsa -ngl 999 -ot exps=CPU \
  -amb 512 -b 8192 -ub 2048 -c 32768

-ot exps=CPUは--n-cpu-moeと同じことで、正規表現ですべてのエキスパートのテンソルをCPUに指定します。何層かをカードに残したいときは、-ot "blk\.(3[0-9]|4[0-4])\.ffn.*exps=CPU"のように後ろの数層だけに一致させる書き方に変えます。

どんな落とし穴がある？

代償の大きい順に3つ。デュアルソケットのNUMA、密モデル、カードの分割です。

1. デュアルソケットのサーバーでも倍速にはなりません。 2つのCPUがそれぞれ8チャネルを持ち、理論帯域幅は倍ですが、llama.cppがノードをまたいでメモリを読むときのコストは今も未解決の問題で（llama.cpp Issue #1437）、実際には1.3〜1.6倍にとどまります。シングルソケットの32GB 8枚で足りなくなったら、まず64GBのメモリに替え、その次にデュアルソケットを検討してください。本当に2ソケットにするなら--numa distributeを付けます。
2. 密モデルはこの道を選ばないこと。 Qwen3.8 27Bのように全パラメータが有効になるモデルは、1トークンごとにメモリから16 GBを読む必要があり、8チャネルDDR4-3200でも8 tokens/sしか出ません。CPUのコア数を増やしても無駄です。密モデルはグラフィックスカードに戻してください。計算はVRAMが足りないとき、メモリを増やせば解決する？にあります。
3. 複数枚の分割は調整を誤ると遅くなります。 上のデュアル3090が1枚より遅かった例がこれです。複数枚のときはまず-tsで2枚の比率を手動で指定し、両方のVRAMが使われていることを確かめてから--n-cpu-moeを動かします。

結論

1人で使い、目標が300B級のMoEモデルで、20〜30 tokens/sの生成速度を許容できるなら、256GB構成の約135万円の機材が2026年でいちばん安い答えです。試すだけ、または予算が80万円前後で止まるなら128GB構成で3-bit。50 tokens/s以上が欲しい、あるいは主力が密モデルなら、買わないほうがよいです。

• DeepSeek V4 FlashとGLM 5.3 FlashのQ4を動かす：シングルソケットEPYC + 32GB DDR4を8枚 + 3090を2枚。
• Qwen3.8 Flash Nextやgpt-oss 120B、あるいは300Bモデルの3-bitを動かす：16GBを8枚と3090を1枚で足ります。
• 763BのDeepSeek V4.1 Flashや1TのKimi K2.6を動かす：メモリを64GB 8枚にして512GBへ。ほかは同じです。
• デスクトップしかなく、目標が100B級のMoE：サーバーは不要で、96GBのメモリと16GBのカード1枚で足ります。VRAMが足りないとき、メモリを増やせば解決する？を参照してください。
• 5割速くしたくて費用を気にしないなら：Mac Studio M3 Ultra 512GB。Macのユニファイドメモリと単体GPUの比較を参照してください。