GPU名ではなくApple unified memoryから考える
macOSでは、最も重要なハードウェア数値はたいていunified memoryです。Apple SiliconはCPU、GPU、システム、アプリ、ローカル推論ランタイムの間でメモリを共有するため、16GB、32GB、64GB、128GBのMacでも、そのすべてがモデルの重みに使えるわけではありません。macOS、ブラウザ、開発ツール、推論バックエンドにも余裕が必要です。これは、VRAMが独立したプールであるdiscrete GPU搭載のWindowsやLinuxデスクトップとは異なります。
Local LLMの推奨において、これはMacユーザーが自分のメモリ容量をPCのVRAMと直接比較すべきではないことを意味します。32GBのMacは非常に有能ですが、それでもKV cacheや使用中のアプリのためのメモリ余裕が必要です。64GBや128GBのMacなら、より大きなモデル、高めのquantization、長いcontextへの道が開けますが、最適な結果は依然として用途に依存します。コーディング、文章作成、RAG、ロールプレイ、visionワークロードでは、好まれるモデルが異なる場合があります。
ワークフローに合うmacOSツールを選ぶ
ローカルのコマンドラインワークフローや、他のアプリから呼び出せるローカルAPIが欲しい場合、Ollamaはシンプルな出発点です。LM Studioは、グラフィカルなモデルブラウザ、チャットインターフェース、ローカルサーバーモード、Apple Siliconサポートを1つのデスクトップアプリで使いたいユーザーに向いています。llama.cppはより技術的ですが、GGUFベースの多くのローカル推論ワークフローを支える中核エンジンの1つであり、Metalや関連フレームワークを通じたApple Silicon最適化経路も含んでいます。
すべてのMacユーザーにとって単一のベストツールがあるわけではありません。目的が気軽なチャットなら、LM Studioが最短ルートかもしれません。目的がローカルモデルを別のアプリに接続することなら、OllamaまたはLM Studioのサーバーモードが合うかもしれません。正確なGGUFファイル、context設定、低レベルのランタイムフラグをテストすることが目的なら、llama.cppのほうが細かな制御を提供します。モデル推奨では、まず実行可能なモデルをユーザーに示し、その後で好みのインターフェースを選べるようにするべきです。
MLX、Metal、GGUFはスタック内の別々の要素
MacユーザーはMLX、Metal、GGUF、llama.cppが一緒に語られるのをよく見ますが、それらは同じものではありません。MetalはAppleのGPUフレームワークです。MLXはApple Siliconモデル向けに一部のツールが使うApple志向の機械学習フレームワークです。GGUFはllama.cppスタイルの推論でよく使われるモデルファイル形式です。Hugging Face上で魅力的なモデルであっても、ユーザーが選ぶ形式とランタイムによって、実行しやすい場合も難しい場合もあります。
そのためLocal LLMは「このモデルは良い」と言うだけでは不十分です。そのモデルvariantがローカル利用に実用的か、どれくらいのメモリを必要とするか、選択したquantizationで十分な余裕が残るかを示すべきです。16GBのunified memoryを持つMacユーザーは、小さめのQ4またはQ5モデルを好むかもしれません。64GBのMacならより大きなモデルを検討できますが、長いcontextやバックグラウンドアプリは依然として安定性に影響します。
macOS local LLMのメモリ階層
8GBのunified memoryでは、local LLMの利用はかなり保守的に抑えるべきです。小さなモデルなら実験には使えますが、システムの余裕はほとんどありません。16GBでは、小型モデルや一部の7Bクラスのquantizedモデルがより現実的になります。24GBまたは32GBでは、日常的なローカルチャット、コーディング支援、要約がより快適になります。64GBまたは128GBでは、より大きなモデル、より良いquantization、長いcontextが実用的になりますが、自動的にそうなるわけではありません。
重要なのは、最大のモデルを最高のモデルとして扱わないことです。余裕を持って収まる14Bのコーディングモデルは、常にメモリに負荷をかける大きなモデルより快適に感じられることがあります。文章の下書きには小さなライティングモデルで十分な場合があります。visionモデルには追加の画像処理コンポーネントが必要です。Local LLMはまずハードウェアで絞り込み、次に用途、最後に品質の好みで絞り込むべきです。
安全なmacOSセットアップの流れ
安全なセットアップの流れはシンプルです。unified memoryを確認し、ローカルツールを選び、明確に収まるモデルから始め、短いプロンプトでテストし、ベースラインが安定してからcontextや品質を上げます。リーダーボード上の最大モデルから始めてはいけません。128GBのMacで示されているモデルが16GBのMacBook Airで快適に動くと想定してはいけません。システムの残りの部分のために十分なメモリを空けておきましょう。
開発者の場合、ローカルモデルサーバーは、ネットワークに公開する明確な理由がない限り、通常localhostにバインドしたままにすべきです。一般ユーザーにとって最も有用な流れは、Local LLMでモデルを選び、Hugging Faceページを開いてファイルとライセンス条件を確認し、その形式をサポートするツールでモデルを読み込むことです。これにより無駄なダウンロードが減り、トラブルシューティングも簡単になります。
FAQ
MacBookでlocal LLMを実行できますか？ はい、特にApple Silicon Macでは可能ですが、モデルサイズとquantizationをunified memoryに合わせる必要があります。8GBは制限があり、16GBは入門レベル、32GB以上ならより快適です。
Apple unified memoryはVRAMと同じですか？ いいえ。CPU、GPU、macOS、アプリ、推論ランタイムで共有されます。強力ではありますが、すべてがモデルの重みに使えるわけではありません。
MacではOllamaとLM Studioのどちらを使うべきですか？ OllamaはコマンドラインとAPIワークフローに便利です。LM Studioはグラフィカルなモデルブラウザとチャットインターフェースに便利です。llama.cppは高度な制御に最適です。
モデルはどのように選べばよいですか？ Local LLMにMacのメモリ、用途、品質の好みを入力してください。このツールは、大きなファイルをダウンロードする前に現在のモデルvariantを絞り込めます。