量子化モデルとは何か？ローカルLLMのほぼ全てが量子化版を使う理由（2026）

量子化は何を変えるのか？

量子化が変えるのは各重みが占めるビット数だけで、パラメータ数、層数、構造は一切変わりません。 大規模モデルは数十億から数兆個の数値の集まりで、学習時は各数値を16ビット浮動小数点（BF16またはFP16）の2バイトで保持します。量子化はこの数値をブロック単位で低ビット整数に変換し、ブロックごとにスケール係数とオフセットを1つずつ残して、推論時に掛け戻します。本サイトのデータ手法ページの基準では、各段階のパラメータあたりバイト数は次の通りです。

• FP16 / BF16：2バイト。各社が公開する「オリジナル」です。
• 8-bit（Q8_0）：約1.06バイト。32個の重みで1つのスケール係数を共有し、余分な0.06バイトがその係数です。
• 4-bit（Q4_K_M）：約0.57バイト。ちょうど0.5でないのは、K-quantが2段階のブロックスケーリングを使い、アテンション層と出力層を高精度で残すためです。
• 2-bit（Q2_K_XL）：約0.38バイト。Unslothの動的量子化の段階で、最も敏感な層は4〜8ビットのままです。
• 1-bit（IQ1_M）：約0.24バイト。コードブック参照方式で各重みを約1.75ビットまで圧縮します。

つまり名前のビット数は主なビット幅に過ぎません。Q4_K_MのQ4は4ビット、Kはllama.cppのブロック量子化方式、Mは中段階でSとLも同じビット幅にあります。UnslothのXLは層ごとに量子化タイプを選ぶ動的版です。これらの形式はGGUF仕様とllama.cppの量子化解説に定義があり、Ollamaライブラリの接尾辞なしの既定タグもQ4_K_Mです。

なぜローカル実行のほぼ全てが量子化版を使うのか？

第一の理由はVRAMです。量子化なしでは、コンシューマー向けカードは12Bモデルすら載せられません。 下の表は本サイトの式で3つのモデルの8Kコンテキスト時のVRAM必要量をリアルタイムに計算したもので、重み、KVキャッシュ、1 GBのランタイム余裕を含みます。MoEモデルが一括で収まらない場合は、2行目にエキスパートをオフロードした際の「VRAM＋メモリ」の必要量を示します。

読み方は簡単です。Gemma 4 12BはFP16のオリジナルで28 GB必要で、24GBのRTX 3090にも収まりません。4-bitなら11 GBで済み、16GBカードでもコンテキストを長くする余裕があります。Qwen3.8 27Bはオリジナルで58 GBで、一括で動かせるのは96GBのワークステーションカードだけ。8-bitは32 GBでRTX 5090にぎりぎり収まり、4-bitなら19 GBでRTX 3090やRTX 4090にちょうど収まります。DeepSeek V4 Flashは284Bパラメータ、1トークンあたり13Bだけを活性化するMoEです。オリジナルの558 GBはデータセンターの領域で、4-bitでも160 GB必要なため、一括でVRAMに載せられるのはMac Studio M3 Ultra 512GBのようなマシンだけです。しかしエキスパートの重みをシステムメモリに移せば、VRAMは7 GB、メモリ155 GBで済み、8GBのカードでも約11 tokens/sで動きます。2-bitならメモリ必要量は104 GBまで下がり、128GBメモリのデスクトップに収まります。ここで量子化が決めるのは「どれだけ速いか」ではなく「動くかどうか」です。

第二の理由は速度です。トークンを1つ生成するたびに、GPUは活性化する重みを全てVRAMから読み出すため、重みが小さいほど読み出しが速くなります。 本サイトの速度推定は、1トークンあたりに読むバイト数をメモリ帯域と効率係数で割ったもので、式はデータ手法ページにあります。同じカード、同じモデルで量子化段階だけを変えた推定速度は次の通りです。まず8-bit：

次に4-bit：

2つの表を並べると量子化の利点は一目瞭然です。8-bitではQwen3.8 27BはRTX 5090にしか収まらず、Gemma 4 12Bは16GBのRTX 5070 Tiに収まりません。4-bitにすると27Bは24GBカードに収まり、12Bは全てのカードで動き、同じカード・同じモデルで速度が6〜8割速くなります。V4 Flashはどちらの表もエキスパートオフロード時の速度で、4-bitは8-bitのほぼ2倍速です。1トークンあたりメモリから運ぶエキスパートの重みが半分になるからです。この差は演算性能ではなく、1トークンあたりに運ぶバイト数の差から生まれます。

第三の理由は、同じVRAMなら精度よりパラメータ数のほうが価値があることです。 24GBのVRAMにはGemma 4 12Bの8-bit（17 GB）も、Qwen3.8 27Bの4-bit（18.5 GB）も入りますが、ベンチマークでは後者が明らかに強い。4-bitの1ポイント未満の損失は、12Bと27Bの能力差よりはるかに小さいのです。各社のモデルカードの「最低VRAM」も、本サイトのモデルページの「動かせる最安カード」も4-bit基準で計算しているのはこのためです。

量子化でどれだけ品質が落ちるのか？

4-bitの損失はベンチマークで通常1ポイント未満、3-bitから目立ち始め、2-bit以下は大型モデル向けです。 検証可能なデータを3組挙げます。

• llama.cpp公式パープレキシティ表（7Bモデル）：Q8_0は0.0004、Q5_K_Mは0.014、Q4_K_Mは0.054、Q3_K_Mは0.24、Q2_Kは0.87の上昇。出典はllama.cppディスカッションの公式比較表。
• 2026年1月のLlama 3.1 8B統一評価：3-bitから8-bitまで13種類の量子化を、GSM8K、HellaSwag、IFEval、MMLU、TruthfulQAの5項目平均で比較。FP16基準69.47%、Q5_0 69.92%、Q4_K_S 69.17%、Q3_K_M 68.07%、Q3_K_S 65.49%。著者の結論は4〜5ビットがバランスの取れた既定で、数学推論が量子化に最も敏感、Q3_K_SではGSM8Kが77.6%から68.3%に低下。arXiv:2601.14277を参照。
• Unsloth動的量子化：Gemma 3 27BのMMLU 5-shotで、Q4_K_XL 71.47%（15.6 GB）、Q3_K_XL 70.87%（12.8 GB）、Q2_K_XL 68.70%（10.0 GB）。Qwen3.8 27Bの1-bit段階IQ1_Mは最上位回答の一致率が約72%にとどまり、1-bitはツール呼び出しの劣化が目立つと注意しています。Unsloth動的量子化ドキュメントを参照。

もう1つの流れは、ベンダーが学習段階から量子化に備えることです。GoogleはGemma 3の公開時に量子化認識学習（QAT）版を同時提供し、27BのVRAMをBF16の54 GBからint4の14.1 GBに圧縮、通常のQ4_0量子化に比べパープレキシティの低下を54%削減したとしています。Google Developers Blogを参照。公式QAT版があるモデルなら、それを優先してください。

タスク別では、数学、コード、長い推論の連鎖で差が最も出るため、これらは4-bit以上に留めるのがよく、会話、翻訳、要約、文章作成は3-bitでも差を感じにくいです。

量子化形式はGPUと関係があるのか？

重みの量子化はGPUを選ばず、どのカードでもGGUFは動きます。専用のテンソルコアを必要とするFP8やFP4のような形式だけがアーキテクチャを選びます。 ローカル推論でよく使う形式は3種類です。

• GGUF（llama.cpp、Ollama、LM Studio）：低ビットの重みを計算時に16ビットに展開してから掛けるため、RTX 3090、AMDカード、Macのどれでも動き、ファイル数も最多です。上で述べたQ4_K_M、Q8_0、Q2_K_XLは全てGGUFです。
• AWQ、GPTQ（vLLM、SGLang）：4-bitの重みに専用の行列積カーネルを組み合わせ、同時リクエストが多いときのスループットが高く、サービス運用向け。CUDAカードが必要です。
• FP8、NVFP4（TensorRT-LLM、vLLM、画像・動画モデル）：本当に8ビットや4ビットの浮動小数点で乗算するため、AdaかBlackwellのテンソルコアが必要です。RTX 3090にはFP8ユニットがなく、FP8の重みを16ビットとして扱うしかありません。Wan 2.2やFLUXでよく見るfp8版はこの種類で、ローカル動画のためのGPU買い替えを参照。

もう1つ混同されやすい点として、ローカル推論でいう量子化はほぼ全て重みだけの量子化で、KVキャッシュは16ビットのままです。量子化で縮むのは重みの項だけなので、コンテキストが長いほどKVキャッシュの割合が増え、節約できる比率は小さくなります。KVキャッシュを圧縮するには別途8ビットキャッシュのオプションが必要で、それは別の記事の話です。VRAMが足りないときメモリ増設は効くかを参照。

どの量子化段階を選ぶべきか？

既定は4-bit。収まらなければまずコンテキストを減らし、次に3-bitへ。2-bitは巨大MoEだけ。8-bitはVRAMが明らかに2倍余っているときだけ。 Qwen3.8 27BとDeepSeek V4 Flashを例に、VRAM別に整理します。

つまり、密なモデルはVRAMで段階を選び、巨大MoEはメモリで段階を選びます。V4 Flashは2-bitで104 GBのメモリが必要で、128GBメモリのデスクトップで動きます。4-bitは155 GB必要なので192GBが要ります。下は32GB以下でeBayの価格があるコンシューマー向けカードで、最終列はQwen3.8 27Bの4-bitでの推定速度、収まらない場合は「—」です。

2026年9月9日時点のeBay中央値（円換算）では、中古RTX 3090の約23.7万円が27B 4-bitを動かす最安の入口で、約38 tokens/sです。RTX 5070 Tiは約20.0万円と安いもののVRAMが16GBしかなく、27Bの4-bitは動かせず、2-bitか14Bクラスのモデルに下げるしかありません。RTX 4090の約47.8万円は動かせるモデルが3090と全く同じで、速度は1割弱速いだけです。予算11万円以内なら、RTX 5060 Ti 16GBの約10.8万円でGemma 4 12Bの4-bitが約37 tokens/sで動き、十分快適です。カード選びの詳細はRTX 3090とRTX 5070 Tiの比較と予算GPUガイドを参照してください。

最後に実践的な助言を3つ。

1. ダウンロードはUnslothかbartowskiのGGUFリポジトリを優先する。 前者のXL段階は層ごとに量子化タイプを選んでおり、後者は段階が揃っています。本サイトのモデルページに載せているファイルサイズもこの2社のものです。
2. 同じ段階ならimatrix付きの版を選ぶ。 キャリブレーションデータでどの重みが重要かを決めるため、同じサイズでより正確です。HFのリポジトリ名にimatrixやUDが付いているものが該当します。
3. ファイルサイズをVRAM必要量と混同しない。 ファイルは重みだけで、VRAMにはKVキャッシュと約1 GBのランタイム余裕も要ります。Qwen3.8 27Bの4-bitファイルは16.5 GBですが、8Kコンテキストでは実際に18.5 GB必要です。本サイトの各モデルページはこの基準で計算済みです。