16GB VRAMで動かせる大規模モデル：収まるモデル、量子化、速度（2026）

16GB VRAMの上限はどこ？

収まる条件は、重み + KV cache + 実行時オーバーヘッド1 GB ≤ 16 GB、すなわち重みとキャッシュが15 GB以下です。 内訳は次のとおりです。

• 重み ≈ パラメーター数 × 1パラメーターあたりのバイト数 × 1.05。4-bit（Q4_K_M）は1パラメーターあたり0.57バイトで、14Bモデルは約8 GBです。8-bitでは1.06バイト、14Bで約15 GBとなり余裕がありません。
• KV cache = 2 × 層数 × KVヘッド数 × ヘッド次元 × コンテキスト × 2バイト。14B Denseモデル（48層、KVヘッド8、128次元）は8Kコンテキストごとに約1.5 GBです。
• 実行時オーバーヘッドは約1 GBで、推論フレームワークのCUDAバッファと表示出力です。

したがって14B 4-bitは8Kで約11 GB、32Kで約15 GBです。24B 4-bitは8Kですでに15.6 GBとなり、より長いコンテキストは開けません。係数はすべてデータ手法ページで公開しています。

16GBに収まるモデルは？

モデルライブラリの2025年以降の版では、16GB単体GPUの4-bitに収まるのは14B以下のDenseモデルと、エキスパートをオフロードした30B級MoEです。 以下はリアルタイム計算で、✓は全体をVRAMに置くこと、「オフロード」はMoEのエキスパートをメモリに置くことを示します。

• Mistral Small 3.2 24Bで✓なのは4-bit / 8Kの1マスだけです。16GBでは限界構成で、システムに残るVRAMは1 GB未満となり、デスクトップ環境では不足しやすくなります。
• gpt-oss 20BはMoEで、ネイティブMXFP4重みは約12 GBです。全体をVRAMに置いても32Kコンテキストが使え、このクラスで最も扱いやすい「大きい」モデルです。
• Qwen3.6 35B A3BとGemma 4 26B A4Bはエキスパートをオフロードします。VRAMにはAttention層とKV cacheだけを置き、エキスパート重みはメモリへ置くのでVRAM要件は4〜6 GBに下がります。代償は速度がメモリ帯域幅水準まで落ちることです。

コーディング、文章作成、多言語には何を選ぶ？

コーディングにはgpt-oss 20B、文章作成と多言語にはGemma 4 12B、推論連鎖が必要ならDeepSeek R1 Distill Qwen 14Bを選びます。 理由は次のとおりです。

• gpt-oss 20B：ネイティブ4-bit、Apache-2.0で、ツール呼び出しとコード補完が20B級で最も安定しています。16GBでも32Kコンテキストを開いてファイル全体を置けます。弱点は中国語の文章作成が硬いことです。
• Gemma 4 12B：12B Denseで4-bitは約7 GB、32Kコンテキストでも約11 GBです。140言語の翻訳とリライト品質はこのサイズで最良で、ライセンスはApache-2.0です。
• DeepSeek R1 Distill Qwen 14B：数学と論理問題では思考連鎖が効きますが、出力が長く遅いため日常対話の既定には勧めません。
• 16GBでMistral Small 3.2 24Bは勧めません。Gemma 4 12Bより能力が大きく上がるわけではないのに、VRAMを使い切ります。

推定速度（4-bit、8Kコンテキスト）：

買う価値のある16GB GPUは？

RTX 5070 Tiは16GBの中で帯域幅とエコシステムのバランスが最良です。中古RTX 4080は4割安く4分の1遅く、RX 9070 XTはLinuxユーザー向けです。 現在の中古価格とVRAM単価：

• RTX 5070 Ti：GDDR7、896 GB/s。5080は帯域幅が7%高いだけで価格差が大きく、モデル実行には見合いません。
• RTX 4080：中古の中央値は5070 Tiより明確に低く、717 GB/s、AdaアーキテクチャでFP8対応です。中古で最も無難な1枚です。
• RX 9070 XT：VRAM単価は最安ですが、640 GB/sの帯域幅とROCm効率により実速度は5070 Tiの半分強です。AMD GPUの現状を参照してください。
• Tesla V100 16GB：900 GB/sのHBM2は魅力的に見えますが、BF16なし、INT8 Tensor Coreなし、PCIe 3.0、パッシブ冷却のため、2026年には選びません。

収まらないときは？

順番は、まずコンテキストを減らし、次に3-bitへ下げ、MoEはオフロードし、最後に24GBカードへ替えます。

1. コンテキストを減らす：32Kから16Kへ下げるとすぐ3 GB節約でき、多くの作業に32Kは不要です。
2. 量子化を下げる：Q3_K_XLはQ4_K_Mより14%節約でき、24Bモデルを限界状態から実用へ移せます。2-bitまで下げるとDenseモデルの品質が明らかに落ちるため避けます。
3. CPU offload：llama.cppの-nglで一部レイヤーをCPUに置きます。レイヤーを10%逃がすごとに速度はおよそ半減し、ときどき大型モデルを動かす用途に限られます。
4. 24GBへ替える：中古RTX 3090は約8千人民元で5070 Tiより安く、32B 4-bitを動かせます。16GBユーザーの標準的なアップグレードで、3090対5070 Tiを参照してください。