الإجابة المختصرة: اختيارات LLM المحلية هي اختيارات الأجهزة
تعود معظم أسئلة LLM المحلية في النهاية إلى الأجهزة. يجب أن يتناسب النموذج مع الذاكرة المتوفرة، وأن يعمل بسرعة قابلة للاستخدام، وأن يتطابق مع المهمة. إن النموذج الممتاز من حيث المعيار ولكنه غير مريح على جهاز الكمبيوتر الخاص بك لا يعد توصية جيدة بالنسبة لك. قد يكون النموذج الأصغر الذي يناسبك تمامًا هو الحل اليومي الأفضل.
تم تصميم هذه الأسئلة الشائعة للمستخدمين الذين هم على وشك تنزيل نموذج ويريدون إجابات واضحة أولاً. وهو يغطي VRAM، RAM، والتكميم، والأدوات، والخصوصية، والسرعة، والاستخدام دون اتصال بالإنترنت، والفرق بين النماذج التي يتم تحميلها تقنيًا والنماذج الممتعة للاستخدام.
ما هو مبلغ VRAM الذي أحتاجه؟
لا يوجد رقم VRAM واحد لكل LLM محلي. يمكن لـ 6GB إلى 8 جيجابايت تشغيل نماذج كمية صغيرة. يعد 12GB إلى 16GB أكثر راحة للعديد من عمليات سير عمل 7B وبعض مسارات عمل 14B. يفتح 24GB نماذج ترميز واستدلال محلية أقوى. 48GB وما فوق يوفر مساحة أكبر بكثير للنماذج الكبيرة، والتكميم الأعلى، والسياق الأطول.
VRAM لا يقتصر على أوزان النماذج فقط. KV cache، والحمل الزائد لوقت التشغيل، واستخدام العرض، واستخدامات الذاكرة GPU الأخرى مهمة أيضًا. السياق الطويل يزيد من ضغط الذاكرة. هذا هو السبب في أن النموذج قد يتناسب مع إعداد سياق قصير ولكنه يفشل أو يتباطأ عند رفع نافذة السياق.
هل يمكنني تشغيل LLM محلي بدون GPU؟
نعم، ولكن التوقعات يجب أن تكون واقعية. CPU - يمكن لحاملي LLM المحليين فقط العمل مع النماذج الصغيرة والاختبارات والمطالبات العرضية والمهام الخاصة غير المتصلة بالإنترنت. وعادة ما يشعرون بأنهم أبطأ من الاستدلال المدعوم بـ GPU، خاصة بالنسبة للنماذج الأكبر حجمًا أو الاستجابات الطويلة. يصبح النظام RAM وعرض النطاق الترددي للذاكرة الحدود الرئيسية.
إذا كان لديك CPU فقط، فاختر نموذجًا صغيرًا وتكميمًا متحفظًا وسياقًا متواضعًا. إذا كنت تخطط لاستخدام LLM محلي كل يوم للبرمجة أو المحادثات الطويلة، فعادةً ما يكون نظام GPU أو Apple Silicon أفضل بكثير.
ماذا تعني Q4، Q5، Q6، وQ8؟
تصف هذه التسميات متغيرات النماذج الكمية. عادةً ما يستخدم التكميم الأقل ذاكرة أقل ويناسب عددًا أكبر من الأجهزة. عادة ما يحافظ التكميم الأعلى على جودة أكبر ولكنه يحتاج إلى ذاكرة أكبر. غالبًا ما يكون Q4 هو نقطة الدخول، وQ5 وQ6 عبارة عن مقايضة يومية شائعة، ويكون Q8 مفيدًا عندما يكون لديك ذاكرة كافية وتريد خسارة أقل للجودة.
أفضل تقدير يعتمد على المهمة. قد تتحمل الكتابة والدردشة تقديرًا كميًا أقل بشكل أفضل من البرمجة أو التفكير الصعب. قد يفضل العمل ذو السياق الطويل متغيرًا أصغر بحيث تكون هناك ذاكرة كافية لـ KV cache. يجب أن تعرض التوصية المتغير الفعلي، وليس عائلة النموذج فقط.
هل LLMs المحلية خاصة وغير متصلة بالإنترنت؟
يمكن أن يكون Local LLMs أكثر خصوصية لأن المطالبات والملفات يمكن أن تبقى على جهازك بعد تنزيل النموذج. يمكنهم أيضًا العمل دون اتصال بالإنترنت إذا كان وقت التشغيل وملفات النموذج مثبتة بالفعل. يعد هذا مفيدًا للملاحظات الخاصة والتعليمات البرمجية غير المنشورة والسفر وسير العمل حيث لا يمكن الاعتماد على الوصول إلى السحابة.
الخصوصية ليست تلقائية. لا تزال بحاجة إلى الثقة بمصدر النموذج، والتحقق من الترخيص، وتجنب تعريض الخوادم المحلية للإنترنت العام، وفهم ما إذا كانت أي أداة متصلة تقوم بمزامنة السجلات أو المطالبات. يقلل التحكم المحلي من الاعتماد على موفر السحابة، لكنه لا يزيل المسؤولية التشغيلية.
التعليمات
ما هي الأداة التي يجب أن أستخدمها أولاً؟ LM Studio هو نقطة بداية رسومية جيدة، Ollama هو سطر أوامر جيد ونقطة بداية API محلية، وllama.cpp قوي عندما تريد التحكم في المستوى الأدنى.
لماذا يعمل النموذج الخاص بي ببطء؟ قد يكون كبيرًا جدًا، باستخدام إلغاء التحميل CPU، أو يعمل مع الكثير من السياق، أو مقيد بنطاق ترددي للذاكرة بدلاً من الحوسبة الأولية.
هل التنزيلات والإعجابات كافية لاختيار نموذج؟ لا، فهي تُظهر اهتمام المجتمع، وليس ما إذا كان النموذج يناسب أجهزتك أو مهمتك.
ماذا يجب أن أفعل بعد ذلك؟ استخدم Local LLM لإدخال جهازك ومهمتك، ثم افتح صفحة Hugging Face الموصى بها قبل التنزيل.