الإجابة المختصرة: تعتمد VRAM على حجم النموذج والتكميم والسياق
لا يوجد رقم VRAM واحد يناسب كل LLM محلي. المتطلب العملي هو مجموع أوزان النموذج، وKV cache، ونفقات التشغيل، وهامش الأمان. يمكن لنموذج Q4 صغير أن يعمل على عتاد متواضع، بينما قد يحتاج نموذج Q8 أكبر مع سياق طويل إلى ذاكرة أكبر بكثير. لهذا قد يحصل مستخدمان لديهما GPU نفسه على نتائج مختلفة إذا كان أحدهما يريد دردشة قصيرة والآخر يريد برمجة بسياق طويل أو RAG.
كقاعدة عملية، تُعد 6GB مستوى دخول، و8GB قابلة للاستخدام للنماذج الصغيرة، و12GB أساسًا مكتبيًا أكثر راحة، و16GB تمنح هامشًا أفضل، و24GB فئة استهلاكية قوية، و48GB أو أكثر تفتح الباب لنماذج أكبر وتكميم أعلى. ذاكرة Apple Silicon الموحدة فئة منفصلة لأن CPU وGPU يتشاركان تجمع الذاكرة نفسه، لكنها ما زالت تحتاج إلى مساحة من أجل macOS والتطبيقات ونفقات التشغيل.
عادةً ما تهيمن أوزان النموذج على ميزانية الذاكرة
عادةً ما تكون أوزان النموذج أكبر جزء من ميزانية الذاكرة. أوزان FP16 كبيرة، بينما تقلل ملفات GGUF المكمّمة الحجم عبر تخزين الأوزان ببتات أقل. يمكن لنموذج 7B في Q4 أن يناسب ذاكرة أقل بكثير من النموذج نفسه في FP16 أو Q8. لهذا السبب يُعد التكميم محوريًا في توصيات LLM المحلية: فهو يغيّر ما يمكن تشغيله واقعيًا على GPU استهلاكية.
مع ذلك، لا يكفي حجم الملف وحده. بعض النماذج لها معماريات مختلفة، وسلوك معاملات نشطة في MoE، وإعدادات tokenizer، وافتراضات سياق مختلفة. قد يبدو ملف نموذج مناسبًا على الورق لكنه يظل ضيقًا بعد أن يحجز وقت التشغيل الذاكرة. ينبغي أن تتضمن التوصية هامشًا محافظًا بدل التعامل مع حجم الملف باعتباره المتطلب الكامل.
تنمو KV cache مع طول السياق
KV cache هي الذاكرة المستخدمة لتخزين معلومات الانتباه للرموز التي عولجت بالفعل. وهي تنمو مع طول السياق، وإعدادات الدُفعات، وعدد الطبقات، وحجم التمثيل المخفي، وتفاصيل التنفيذ. لهذا يمكن أن يصبح نموذج يعمل عند سياق 4K غير مستقر أو بطيئًا عند سياق 16K أو 32K أو أعلى. السياق الطويل ليس مجانيًا لمجرد أن بطاقة النموذج تعلن عنه.
بالنسبة إلى المستخدمين، يعني هذا أن هدف VRAM المناسب يعتمد على عبء العمل. يمكن للدردشة البسيطة أن تبقي السياق متوسطًا. أما البرمجة عبر ملفات كثيرة، وتلخيص المستندات الطويلة، وRAG فقد ترفع متطلبات الذاكرة. إذا كان السياق الطويل هو الأولوية، فقد يكون نموذج أصغر أو أكثر تكميمًا ملاءمة أفضل من نموذج أكبر يستهلك تقريبًا كل VRAM بالأوزان وحدها.
فئات GPU الواقعية لـ LLM المحلية
عند 6GB، توقّع نماذج صغيرة وسياقًا محافظًا. عند 8GB، تصبح نماذج 3B إلى 7B Q4 واقعية، لكن الهامش محدود. عند 12GB، تصبح كثير من نماذج 7B وبعض نماذج 14B المكمّمة أكثر عملية. عند 16GB، يمكن للنماذج نفسها استخدام تكميم أفضل أو سياق أكبر. عند 24GB، تصبح نماذج 14B القوية وبعض النماذج المكمّمة الأكبر واقعية للاستخدام اليومي. عند 48GB وما فوق، تصبح التجارب المحلية الأكبر أسهل بكثير.
هذه الفئات ليست وعودًا. تعتمد السرعة على عرض نطاق الذاكرة، وواجهة GPU الخلفية، وCPU، وRAM، وبرامج التشغيل، وأداة الاستدلال. عادةً ما يكون دعم NVIDIA CUDA الأوسع في أدوات الاستدلال المحلية. يمكن لـ AMD أن تعمل جيدًا في الحِزم المدعومة لكنها قد تحتاج إلى اهتمام أكبر بتوافق الواجهة الخلفية. يمكن لـ Apple Silicon استخدام الذاكرة الموحدة بفعالية، لكن ميزانية النموذج القابلة للاستخدام تظل أقل من رقم RAM المعلن لأن النظام يشارك تلك الذاكرة.
متى يساعد التفريغ الجزئي ومتى يضر
إذا لم يناسب نموذج VRAM بالكامل، يمكن لبعض الأدوات تفريغ جزء من النموذج إلى ذاكرة CPU. قد يجعل هذا النموذج قابلًا للتحميل، لكنه غالبًا يقلل السرعة لأن البيانات يجب أن تنتقل بين GPU وذاكرة النظام. على GPU المنفصلة، يمكن أن يصبح PCIe وعرض نطاق ذاكرة CPU عنقي زجاجة. على أجهزة Mac ذات الذاكرة الموحدة، تختلف العقوبة، لكن عرض نطاق الذاكرة وضغط النظام يظلان مهمين.
ينبغي عرض التفريغ الجزئي بصدق. يمكن أن يكون مفيدًا للتجربة، أو الإجابات الطويلة العرضية، أو اختبار نموذج أكبر، لكنه لا ينبغي أن يكون التوصية الافتراضية لمستخدم عادي يتوقع سرعة تفاعلية. يجب أن يفضّل Local LLM توصيات التشغيل الكامل على GPU عندما يكون ذلك ممكنًا، وأن يوسم التفريغ الجزئي بشكل منفصل عندما يكون النموذج قابلًا للتشغيل تقنيًا لكنه أقل راحة.
الأسئلة الشائعة
هل 8GB VRAM كافية لـ LLM محلي؟ نعم، للنماذج الصغيرة والمكمّمة بعناية. لكنها ليست كافية لكل نموذج، وسيقلل السياق الطويل النطاق القابل للاستخدام.
هل 12GB VRAM كافية؟ إنها نقطة بداية معقولة لكثير من نماذج 7B وبعض نماذج 14B المكمّمة، خصوصًا مع إعدادات متوازنة.
هل تعني VRAM أكثر إجابات أفضل دائمًا؟ ليس دائمًا. توسّع VRAM الأكبر مجموعة المرشحين، لكن جودة النموذج، والضبط، والتكميم، وحالة الاستخدام ما زالت تحدد أفضل توصية.
كيف يمكنني تقدير إعداد جهازي؟ أدخل VRAM وRAM ونظام التشغيل وحالة الاستخدام في Local LLM. تطبق الأداة قواعد حجم النموذج، والتكميم، وKV cache، والهامش على بيانات النماذج الحالية.