ブログ

Local LLM ブログ

VRAM、Mac、量子化、コーディングモデル、ローカルのビジョンモデルに関する実用ガイド。

ビデオメモリガイド

異なるグラフィックスメモリで実行できるローカルの大規模モデルはどれですか?

6GB、8GB、12GB、24GBから48GBまで、モデルパラメータのボリューム、量子化バージョン、KVキャッシュ、システムオーバーヘッドがどのように組み合わされてロード可能かどうかを判断する方法について説明します。

アップルチップ

Mac の合計メモリをビデオメモリとして使用できない理由と、16GB、32GB、64GB、128GB マシンに適したモデルの選び方を説明します。

定量化する

より一般的な GGUF によるメモリ使用量、品質の損失、速度のトレードオフの定量化は、ユーザーが品質の優先順位、バランス、長いコンテキストの 3 つの優先順位を理解するのに役立ちます。

プログラミングモデル

コードの生成、解釈、再構築、長いコンテキストの 4 つのシナリオから、プログラミングの目的がモデルのサイズとダウンロードボリュームだけを見ることができない理由を説明します。

マルチモーダル

この記事では、テキストモデルと比較してビジュアルモデルで考慮する必要がある、グラフィックスメモリ、画像エンコーダ、コンテキスト、および推論バックエンドサポートに関する追加の問題について紹介します。

ツールの選択

一般ユーザーに、インストールエクスペリエンス、モデル管理、パフォーマンスチューニング、および 3 つの一般的なローカル実行方法の適用可能なグループについて説明します。