ابدأ بالعتاد، لا بضجيج النماذج
أسرع طريقة لاختيار Local LLM هي البدء بالجهاز الذي تملكه بالفعل. شعبية النموذج مهمة، لكن النموذج الذي لا يمكن تحميله أو يعمل بسرعة غير قابلة للاستخدام ليس مفيدًا. المدخلات الأولى هي VRAM، وRAM النظام، ونظام التشغيل، وما إذا كانت الذاكرة موحّدة، وما إذا كنت مستعدًا لاستخدام CPU offload. بعد ذلك فقط ينبغي أن تقارن عائلات النماذج.
يفصل مسار توصية Local LLM الجيد بين ثلاثة أسئلة: هل يمكن تحميله، هل سيكون قابلًا للاستخدام، وهل هو جيد للمهمة. يعتمد التحميل على الأوزان، والتكميم، وKV cache، والتكاليف الإضافية لبيئة التشغيل. تعتمد قابلية الاستخدام على السرعة والاستقرار. ويعتمد ملاءمة المهمة على ما إذا كان النموذج مضبوطًا للبرمجة، أو المحادثة العامة، أو الرياضيات، أو الرؤية، أو العمل بسياق طويل.
اختر حالة الاستخدام قبل اختيار أكبر نموذج
تكافئ المهام المختلفة نماذج مختلفة. تحتاج مهمة البرمجة إلى تدريب على الكود، وفهم المستودعات، واتباع التعليمات، وتنسيق مستقر. وتحتاج مهمة الكتابة إلى التحكم في النبرة والاتساق في النصوص الطويلة. وتحتاج مهمة الرؤية إلى بنية متعددة الوسائط ومشفّر صور. وقد تحتاج مهمة الرياضيات أو الاستدلال إلى عائلة نماذج مضبوطة لحل المشكلات خطوة بخطوة.
لهذا السبب يمكن لنفس العتاد أن ينتج توصيات مختلفة عندما ينتقل المستخدم من عام إلى برمجة أو رؤية. لا ينبغي للموقع أن يرتّب عشوائيًا حسب التنزيلات أو عدد المعاملات. ينبغي أن يرشّح أولًا النماذج التي تلائم العتاد، ثم يرتّب الخيارات المتبقية حسب حالة الاستخدام والتفضيل.
افهم دور التكميم
يشغّل معظم المستخدمين المحليين نماذج مكمّمة بدلًا من أوزان الدقة الكاملة. يقلل التكميم استخدام الذاكرة ويجعل النماذج عملية على عتاد المستهلكين. غالبًا ما يكون Q4 خيار الملاءمة أولًا، ويمكن أن يحسّن Q5 وQ6 الجودة مع تكلفة ذاكرة أعلى، أما Q8 فهو أقرب إلى الجودة الكاملة لكنه أثقل بكثير. يعتمد الاختيار الصحيح على مقدار الهامش المتبقي بعد الأوزان وKV cache.
لذلك لا تملك عبارة "ما الذي يمكنني تشغيله" إجابة واحدة لكل نموذج. قد يكون النموذج قابلًا للتشغيل في Q4 لكن ليس Q8، أو قابلًا للاستخدام عند سياق 4K وليس 32K، أو جيدًا على GPU بالكامل لكنه بطيء مع offload. ينبغي لصفحة توصيات مفيدة أن تعرض التكميم المختار وتفصيل الذاكرة، لا اسم النموذج فقط.
تختلف إعدادات Mac وWindows وLinux وCPU فقط
عادةً ما يفكر مستخدمو Windows وLinux الذين لديهم GPU منفصلة في VRAM أولًا. ويفكر مستخدمو Apple Silicon في الذاكرة الموحدة، لأن GPU وCPU يتشاركان مجموعة الذاكرة نفسها. يحتاج مستخدمو CPU فقط إلى قدر أكبر من التحفظ لأن ذاكرة النظام قد تكون كبيرة لكن سرعة التوكنات قد تكون منخفضة. الرقم نفسه 32GB يعني أشياء مختلفة عبر هذه الإعدادات.
ينبغي للأداة أن تعكس هذا الاختلاف. على Mac، ينبغي أن تحجز ذاكرة من أجل macOS والتطبيقات. وعلى GPU المنفصلة، ينبغي أن تحجز VRAM للشاشة، والتكاليف الإضافية لإطار العمل، وKV cache. وعلى أجهزة CPU فقط، ينبغي أن توصي بنماذج صغيرة وأن تضبط التوقعات حول السرعة بدلًا من التظاهر بأن RAM النظام وحدها تحل كل شيء.
مسار قرار عملي
أولًا، أدخل VRAM أو الذاكرة الموحدة لديك. ثانيًا، اختر نظام التشغيل. ثالثًا، اختر حالة الاستخدام. رابعًا، اختر التفضيل: الجودة، أو الملاءمة المتوازنة، أو هامش السياق. ثم راجع فقط النماذج المتوافقة. إذا كانت النتائج صغيرة جدًا، فزد الذاكرة أو اقبل offload. وإذا كانت النتائج بطيئة جدًا، ففضّل النماذج الأصغر التي تعمل بالكامل على GPU.
يحمي هذا النهج المستخدمين من نسخ توصيات نماذج عشوائية من وسائل التواصل الاجتماعي. قد تكون التوصية التي تعمل على GPU بسعة 24GB خاطئة لحاسوب محمول بسعة 8GB. وقد يكون النموذج الممتاز للبرمجة غير ضروري للكتابة البسيطة. ينبغي لـ Local LLM أن يحوّل هذه المفاضلات إلى قائمة مرتبة واضحة مع روابط Hugging Face لصفحات النماذج الفعلية.
الأسئلة الشائعة
هل يمكنني تشغيل Local LLM بدون GPU؟ نعم، لكن عادةً مع نماذج أصغر وسرعة أقل. يعد CPU فقط أفضل للاختبار، أو الملاحظات الحساسة للخصوصية، أو المهام الخفيفة دون اتصال.
هل ينبغي أن أختار دائمًا أكبر نموذج يتسع؟ لا. يمكن أن يكون النموذج الأصغر الذي يلائم GPU بالكامل أسرع وأكثر راحة من نموذج أكبر بالكاد يتسع.
لماذا تتغير التوصيات بمرور الوقت؟ تتغير ملفات نماذج Hugging Face، والتنزيلات، والتكميمات، وإصدارات المجتمع كثيرًا، لذلك ينبغي تحديث بيانات النماذج المخزنة مؤقتًا بانتظام.