短い答え: ローカル LLM の選択はハードウェアの選択です
ローカルな LLM に関する質問のほとんどは、最終的にはハードウェアに戻ります。モデルは使用可能なメモリに収まり、使用可能な速度で実行され、タスクに適合する必要があります。ベンチマークでは優れていても、コンピューター上で快適に動作しないモデルはお勧めできません。完全にフィットする小型のモデルが日常的な解決策となる可能性があります。
この FAQ は、モデルをダウンロードしようとしており、まずわかりやすい回答が必要なユーザー向けに設計されています。 VRAM、RAM、量子化、ツール、プライバシー、速度、オフライン使用、技術的に負荷がかかるモデルと快適に使用できるモデルの違いについて説明します。
VRAM はいくら必要ですか?
すべてのローカル LLM に対して単一の VRAM 番号はありません。 6GB から 8GB までは、小さな量子化モデルを実行できます。 12GB から 16GB は、多くの 7B および一部の 14B ワークフローにとってより快適です。 24GB は、より強力なローカルコーディングおよび推論モデルを開きます。 48GB 以降では、大規模なモデル、より高度な量子化、およびより長いコンテキストのためのより多くの余地が提供されます。
VRAM はモデルの重みだけを扱うものではありません。 KV cache、実行時のオーバーヘッド、ディスプレイの使用、その他の GPU メモリの使用も重要です。コンテキストが長いとメモリ負荷が増大します。これが、モデルが短いコンテキスト設定では適合しても、コンテキスト ウィンドウが開くと失敗したり速度が低下したりする理由です。
GPU なしでローカル LLM を実行できますか?
はい、しかし期待は現実的でなければなりません。 CPU のみのローカル LLM は、小規模モデル、テスト、時折のプロンプト、プライベート オフライン タスクに使用できます。通常、特に大規模なモデルや長い応答の場合、GPU に基づいた推論よりも遅く感じられます。システム RAM とメモリ帯域幅が重要な制限になります。
CPU しかない場合は、小規模なモデル、控えめな量子化、および控えめなコンテキストを選択してください。コーディングや長時間の会話にローカル LLM を毎日使用する予定がある場合は、通常、GPU または Apple Silicon システムの方がはるかに快適です。
Q4、Q5、Q6、および Q8 は何を意味しますか?
これらのラベルは、量子化されたモデルのバリアントを記述します。通常、量子化を低くすると、使用するメモリが少なくなり、より多くのデバイスに適合します。通常、量子化を高くすると品質が維持されますが、より多くのメモリが必要になります。 Q4 は多くの場合エントリ ポイントであり、Q5 と Q6 は日常的なトレードオフであり、Q8 は十分なメモリがあり、品質の低下を抑えたい場合に役立ちます。
最適な量子化はタスクによって異なります。執筆やチャットは、コーディングや難しい推論よりも低い量子化を許容できる場合があります。長いコンテキストの作業では、KV cache に十分なメモリが残されるように、より小さいバリアントが好まれる場合があります。推奨事項には、モデル ファミリだけでなく、実際のバリアントも表示する必要があります。
ローカル LLM はプライベートでオフラインですか?
Local LLM は、モデルのダウンロード後もプロンプトとファイルがマシン上に残るため、よりプライベートなものになります。ランタイム ファイルとモデル ファイルがすでにインストールされている場合は、オフラインでも動作します。これは、プライベートなメモ、未公開のコード、旅行、クラウド アクセスが不安定なワークフローに役立ちます。
プライバシーは自動的に得られるものではありません。モデル ソースを信頼し、ライセンスを確認し、ローカル サーバーを公共のインターネットに公開しないようにし、接続されているツールがログやプロンプトを同期するかどうかを理解する必要があります。ローカル制御によりクラウド プロバイダーへの依存が軽減されますが、運用上の責任がなくなるわけではありません。
よくある質問
最初にどのツールを使用すればよいですか? LM Studio はグラフィカルな開始点として適しており、Ollama はコマンドラインおよびローカルの API の開始点として適しており、llama.cpp は下位レベルの制御が必要な場合に強力です。
モデルの実行が遅いのはなぜですか?サイズが大きすぎるか、CPU オフロードを使用しているか、多すぎるコンテキストで実行しているか、生のコンピューティングではなくメモリ帯域幅によって制限されている可能性があります。
ダウンロードと「いいね！」だけでモデルを選ぶのに十分ですか?いいえ。モデルがハードウェアやタスクに適合するかどうかではなく、コミュニティの関心を示しています。
次に何をすればいいでしょうか？ Local LLM を使用してハードウェアとタスクを入力し、ダウンロードする前に推奨される Hugging Face ページを開きます。