ابدأ بعائلة النموذج، ثم افحص الملف القابل للتشغيل
إن LLM المحلي ليس مجرد اسم علامة مثل Qwen أو Llama أو Mistral أو Gemma أو DeepSeek أو Phi أو Yi. يشير الاسم عادةً إلى عائلة نموذج، بينما قد يكون الملف الذي تشغّله فعليًا نسخة instruct tune، أو نسخة مخصصة للبرمجة، أو متغيرًا للرؤية، أو تحويل GGUF، أو بناءً مكمّمًا أنشأه ناشر من المجتمع. يمكن أن يتصرف ملفان من عائلة النموذج نفسها بشكل مختلف لأنهما قد يستخدمان قوالب مطالبة مختلفة، وأطوال سياق مختلفة، وطرق تكميم مختلفة، وافتراضات تشغيل مختلفة.
بالنسبة إلى أداة توصية، ليس السؤال المفيد فقط: «هل هذا النموذج شائع؟» السؤال الأفضل هو: «أي متغير قابل للتشغيل يناسب ذاكرة هذا المستخدم، وتوقعه للسرعة، ومهمته؟» قد يعرض Hugging Face ملفات كثيرة للنموذج نفسه، وقد تكشف الأدوات المحلية عن بعضها فقط. لذلك ينبغي أن يتعامل Local LLM مع هوية النموذج، وصيغة الملف، والتكميم، وملاءمة العتاد كإشارات منفصلة بدل دمج كل شيء في اسم نموذج واحد.
عدد المعاملات مؤشر تقريبي للجودة، وليس إجابة كاملة
يعطي عدد المعاملات انطباعًا سريعًا عن الحجم. نموذج 1B أو 3B أسهل في التشغيل ويمكن أن يكون مفيدًا للدردشة الخفيفة، وإعادة الصياغة، والتلخيص، وشرح الشيفرة البسيط. غالبًا ما يكون نموذج 7B أو 8B نقطة دخول عملية للحصول على إجابات يومية أقوى. عادةً ما يحتاج نموذج 14B إلى ذاكرة أكبر لكنه قد يبدو أكثر قدرة. أما نماذج 30B و70B والأكبر فقد تكون أفضل بكثير للاستدلال الصعب أو البرمجة، لكنها تنتقل إلى نطاق VRAM مرتفع، أو ذاكرة موحدة كبيرة، أو بيئات متعددة GPU.
لكن القيد هو أن عدد المعاملات لا يروي القصة كاملة. يمكن لنموذج 7B أحدث أن يتفوق على نموذج 13B أقدم في كثير من المهام. وقد يكون نموذج 7B مضبوطًا للبرمجة أكثر فائدة للتطوير من نموذج دردشة عام أكبر. تضيف نماذج MoE تعقيدًا آخر لأن إجمالي المعاملات والمعاملات النشطة مختلفان. لهذا ينبغي أن تجمع التوصيات بين جودة المعايير، وحالة الاستخدام، والمعاملات النشطة، ومتطلبات السياق، وملاءمة الذاكرة بدل ترتيب أكبر نموذج أولًا ببساطة.
GGUF وsafetensors ودعم الأدوات يحددون ما يمكنك تشغيله فعلًا
يبحث كثير من مستخدمي سطح المكتب المحليين عن ملفات GGUF لأنها تعمل جيدًا مع الأدوات المبنية على llama.cpp ومتاحة على نطاق واسع في Hugging Face. تجمع GGUF أوزان النموذج والبيانات الوصفية في صيغة مصممة للاستدلال المحلي، ويدعم Hugging Face تصفح ملفات GGUF واستضافتها. تنشر مستودعات أخرى أوزان safetensors، وقد تكون مخصصة لـ Transformers أو vLLM أو للتحويل قبل الاستخدام المحلي على سطح المكتب. كلاهما يمكن أن يكون مشروعًا، لكنهما يخدمان مسارات عمل مختلفة.
هذا مهم للمستخدمين لأن صفحة النموذج قد تبدو جذابة مع أنها غير مريحة للتشغيل محليًا. لا تعرض Ollama وLM Studio وllama.cpp وMLX وTransformers وvLLM مسار تحميل النموذج نفسه بالضبط. يجب أن تربط نتيجة التوصية الجيدة بصفحة المصدر، وتوضح ما إذا كان للنموذج ملف ملائم للاستخدام المحلي، وتتجنب الإيحاء بأن كل مستودع في Hugging Face سهل التشغيل على الحاسوب المحمول بالقدر نفسه.
التكميم يغيّر استخدام الذاكرة والجودة
يقلل التكميم دقة أوزان النموذج بحيث يصبح الملف أصغر وأسهل في التحميل. Q8 قريب من الجودة العالية لكنه يستخدم ذاكرة أكبر. غالبًا ما يكون Q6 وQ5 حلًا وسطًا مفيدًا. Q4 هو نقطة الدخول الشائعة لملاءمة النماذج الأكبر مع عتاد المستهلك. يمكن أن يكون Q3 وما دونه مفيدًا في حالات الذاكرة الضيقة، لكن مفاضلة الجودة تصبح أوضح، خصوصًا في البرمجة، والرياضيات، واستخدام الأدوات، والإجابات الطويلة.
يعتمد التكميم المناسب على النموذج والمهمة معًا. إذا طلب المستخدم دردشة سريعة غير رسمية، فقد يكون Q4 مقبولًا. وإذا طلب برمجة أو استدلالًا دقيقًا، فقد يستحق Q5 أو Q6 أو Q8 الذاكرة الإضافية. وإذا طلب سياقًا طويلًا، فإن أصغر ملف نموذج لا يكفي؛ فما زال النظام يحتاج إلى ذاكرة من أجل KV cache ونفقات التشغيل. يجب أن يعرض Local LLM التكميم المختار وتفصيل الذاكرة كي يفهم المستخدمون سبب ملاءمة التوصية.
طول السياق والرؤية والضبط الخاص تغيّر التوصية
طول السياق خاص بالنموذج، لكن السياق القابل للاستخدام خاص بالعتاد. قد يعلن نموذج عن نافذة سياق كبيرة، لكن KV cache تنمو كلما طال الحوار أو المستند. يمكن لهذه الذاكرة الإضافية أن تدفع النموذج من تنفيذ كامل على GPU إلى تفريغ جزئي إلى CPU. بالنسبة إلى RAG، أو تحليل قواعد الشيفرة، أو قراءة المستندات الطويلة، قد يكون نموذج أصغر مع هامش ذاكرة أكبر أفضل من نموذج أكبر بالكاد يتم تحميله.
القدرات المتخصصة مهمة أيضًا. تحتاج نماذج الرؤية إلى مرمّزات صور ودعم متعدد الوسائط، لذلك لا ينبغي التوصية بنموذج نصي فقط لمهام الصور حتى لو كان لديه تقييم عام مرتفع. ينبغي تقييم نماذج البرمجة بطريقة مختلفة عن نماذج لعب الأدوار. وقد تحتاج نماذج الرياضيات والاستدلال إلى عتبات جودة أكثر دقة. لذلك فإن أفضل نموذج محلي هو تطابق بين قدرة النموذج، ومتغير الملف، والتكميم، وهدف السياق، وعتاد المستخدم.
الأسئلة الشائعة
هل نماذج GGUF أفضل دائمًا لـ LLM المحلية؟ ليس دائمًا. GGUF مريحة جدًا للاستدلال المحلي بأسلوب llama.cpp، لكن safetensors أو صيغًا أخرى قد تكون أفضل لمسارات عمل الخوادم، أو التدريب، أو بيئات التشغيل المتخصصة.
هل يجب أن أختار أكبر نموذج يناسب العتاد؟ ليس تلقائيًا. إذا كان بالكاد يناسبه، فقد تكون السرعة وثبات السياق ضعيفين. قد يبدو نموذج أصغر قليلًا مع Q5 أو Q6 وهامش ذاكرة كافٍ أفضل في الاستخدام اليومي.
لماذا توصي الأدوات المختلفة بنماذج مختلفة؟ قد تدعم صيغًا مختلفة، ومستويات تكميم مختلفة، وواجهات GPU خلفية مختلفة، وإعدادات سياق افتراضية مختلفة، وفهارس نماذج مختلفة. دعم الأداة جزء من التوصية.
كيف أستخدم Local LLM بعد قراءة هذا؟ أدخل VRAM وRAM ونظام التشغيل وحالة الاستخدام والتفضيل. يمكن للأداة بعد ذلك ترتيب متغيرات النماذج الحالية بدل إجبارك على حفظ أسماء النماذج.