短い答え：VRAMはモデルサイズ、量子化、コンテキストに依存する
すべてのローカルLLMに当てはまる単一のVRAM容量はありません。実際の要件は、モデル重み、KV cache、ランタイムオーバーヘッド、安全マージンの合計です。小さなQ4モデルは控えめなハードウェアでも動きますが、長いコンテキストを使う大きなQ8モデルでは、はるかに多くのメモリが必要になることがあります。そのため、同じGPUを持つ2人のユーザーでも、一方が短いチャットを求め、もう一方が長コンテキストのコーディングやRAGを求める場合、結果は異なります。
実用的な目安として、6GBはエントリーレベル、8GBは小さなモデルには使用可能、12GBはより快適なデスクトップ基準、16GBは余裕を増やし、24GBは強力なコンシューマー層、48GB以上はより大きなモデルや高い量子化への道を開きます。Apple Siliconの統合メモリはCPUとGPUが同じメモリプールを共有するため別カテゴリですが、それでもmacOS、アプリ、ランタイムオーバーヘッドのための余裕が必要です。
モデル重みが通常メモリ予算の大部分を占める
メモリ予算の最大部分は通常モデル重みです。FP16重みは大きい一方、量子化されたGGUFファイルは、より少ないビットで重みを保存することでサイズを削減します。7BモデルのQ4は、同じモデルのFP16やQ8よりはるかに少ないメモリに収まります。これが、量子化がローカルLLM推薦の中心である理由です。量子化は、一般向けGPUで現実的に実行できるものを変えるからです。
ただし、ファイルサイズだけでは不十分です。モデルによってアーキテクチャ、MoEのactive parameter挙動、トークナイザー設定、コンテキスト既定値が異なります。紙の上では収まるように見えるモデルファイルでも、ランタイムがメモリを予約すると厳しい場合があります。推薦では、ファイルサイズを要件のすべてとして扱うのではなく、保守的なマージンを含めるべきです。
KV cacheはコンテキスト長とともに増える
KV cacheは、すでに処理されたトークンのattention情報を保存するために使われるメモリです。これはコンテキスト長、batch設定、レイヤー数、hidden size、実装の詳細に応じて増えます。そのため、4Kコンテキストで動くモデルが、16K、32K、またはそれ以上のコンテキストでは不安定になったり遅くなったりすることがあります。モデルカードで長いコンテキストがうたわれているからといって、長コンテキストが無料で使えるわけではありません。
ユーザーにとって、これは適切なVRAM目標が作業負荷に依存することを意味します。単純なチャットではコンテキストを中程度に保てます。多数のファイルにまたがるコーディング、長文文書の要約、RAGではメモリ要件が上がります。長いコンテキストが優先事項なら、重みだけでVRAMをほぼ使い切る大きなモデルより、小さめまたはより強く量子化されたモデルの方が適している場合があります。
ローカルLLM向けの現実的なGPU階層
6GBでは、小さなモデルと控えめなコンテキストを想定してください。8GBでは、3Bから7BのQ4モデルが現実的になりますが、余裕は限られます。12GBでは、多くの7Bモデルと一部の14B量子化モデルがより実用的になります。16GBでは、同じモデルでより良い量子化やより多いコンテキストを使えます。24GBでは、強力な14Bモデルや一部のより大きな量子化モデルが日常利用で現実的になります。48GB以上では、より大きなローカル実験がかなり容易になります。
これらの階層は約束ではありません。速度はメモリ帯域幅、GPUバックエンド、CPU、RAM、ドライバー、推論ツールに依存します。NVIDIA CUDA対応は、ローカル推論ツールでは通常もっとも広範です。AMDは対応スタックではうまく動くことがありますが、バックエンド互換性により注意が必要な場合があります。Apple Siliconは統合メモリを効果的に使えますが、システムがそのメモリを共有するため、実際に使えるモデル予算は公称RAM容量より少なくなります。
部分オフロードが役立つ場合と、足を引っ張る場合
モデルがVRAMに完全に収まらない場合、一部のツールではモデルの一部をCPUメモリにオフロードできます。これによりモデルを読み込めることがありますが、GPUとシステムメモリの間でデータを移動する必要があるため、多くの場合速度は低下します。discrete GPUでは、PCIeとCPUメモリ帯域幅がボトルネックになることがあります。統合メモリのMacではペナルティの性質は異なりますが、メモリ帯域幅とシステム負荷は依然として重要です。
部分オフロードは正直に提示するべきです。実験、たまに長い回答を生成する場合、またはより大きなモデルを試す場合には役立ちますが、インタラクティブな速度を期待する通常ユーザー向けの既定推薦にすべきではありません。Local LLMは可能な場合はfull-GPU推薦を優先し、モデルが技術的には実行可能でも快適性が低い場合は、部分オフロードとして別にラベル付けすべきです。
FAQ
8GB VRAMでローカルLLMには十分ですか？ はい、小さく慎重に量子化されたモデルなら十分です。すべてのモデルに十分なわけではなく、長いコンテキストでは使える範囲が狭まります。
12GB VRAMで十分ですか？ 多くの7Bモデルと一部の14B量子化モデルにとって、特にバランスの取れた設定では妥当な出発点です。
VRAMが多いほど常に良い回答になりますか？ 常にそうではありません。VRAMが多いと候補は増えますが、最適な推薦を決めるのはモデル品質、チューニング、量子化、用途です。
自分の構成をどう見積もればよいですか？ VRAM、RAM、オペレーティングシステム、用途をLocal LLMに入力してください。ツールは現在のモデルデータに対して、モデルサイズ、量子化、KV cache、マージン規則を適用します。