संक्षिप्त उत्तर: स्थानीय एलएलएम विकल्प हार्डवेयर विकल्प हैं
अधिकांश स्थानीय एलएलएम प्रश्न अंततः हार्डवेयर पर लौट आते हैं। मॉडल को उपलब्ध मेमोरी में फिट होना चाहिए, प्रयोग करने योग्य गति से चलना चाहिए और कार्य से मेल खाना चाहिए। एक मॉडल जो बेंचमार्क में उत्कृष्ट है लेकिन आपके कंप्यूटर पर असुविधाजनक है, वह आपके लिए अच्छी अनुशंसा नहीं है। एक छोटा मॉडल जो पूरी तरह से फिट बैठता है वह बेहतर दैनिक उत्तर हो सकता है।
यह FAQ उन उपयोगकर्ताओं के लिए डिज़ाइन किया गया है जो एक मॉडल डाउनलोड करने वाले हैं और पहले स्पष्ट उत्तर चाहते हैं। इसमें VRAM, RAM, परिमाणीकरण, उपकरण, गोपनीयता, गति, ऑफ़लाइन उपयोग और तकनीकी रूप से लोड होने वाले मॉडल और उपयोग में सुखद मॉडल के बीच अंतर शामिल है।
मुझे कितना VRAM चाहिए?
प्रत्येक स्थानीय एलएलएम के लिए कोई एकल VRAM नंबर नहीं है। 6GB से 8GB छोटे परिमाणित मॉडल चला सकते हैं। 12GB से 16GB कई 7B और कुछ 14B वर्कफ़्लो के लिए अधिक आरामदायक है। 24GB मजबूत स्थानीय कोडिंग और तर्क मॉडल खोलता है। 48GB और इसके बाद के संस्करण बड़े मॉडल, उच्च परिमाणीकरण और लंबे संदर्भ के लिए अधिक जगह प्रदान करते हैं।
VRAM केवल मॉडल वज़न के लिए नहीं है। KV cache, रनटाइम ओवरहेड, डिस्प्ले उपयोग और अन्य GPU मेमोरी उपयोग भी मायने रखते हैं। लंबे सन्दर्भ से याददाश्त का दबाव बढ़ता है। यही कारण है कि एक मॉडल संक्षिप्त संदर्भ सेटिंग में फिट हो सकता है लेकिन संदर्भ विंडो ऊपर उठने पर विफल या धीमा हो जाता है।
क्या मैं GPU के बिना स्थानीय एलएलएम चला सकता हूँ?
हाँ, लेकिन अपेक्षाएँ यथार्थवादी होनी चाहिए। CPU-केवल स्थानीय एलएलएम छोटे मॉडल, परीक्षण, सामयिक संकेत और निजी ऑफ़लाइन कार्यों के लिए काम कर सकते हैं। वे आम तौर पर GPU-समर्थित अनुमान से धीमे महसूस करते हैं, खासकर बड़े मॉडल या लंबी प्रतिक्रियाओं के लिए। सिस्टम RAM और मेमोरी बैंडविड्थ प्रमुख सीमाएँ बन जाते हैं।
यदि आपके पास केवल CPU है, तो एक छोटा मॉडल, रूढ़िवादी परिमाणीकरण और मामूली संदर्भ चुनें। यदि आप कोडिंग या लंबी बातचीत के लिए हर दिन एक स्थानीय एलएलएम का उपयोग करने की योजना बनाते हैं, तो GPU या Apple Silicon प्रणाली आमतौर पर बहुत बेहतर महसूस करेगी।
Q4, Q5, Q6, और Q8 का क्या मतलब है?
ये लेबल परिमाणित मॉडल वेरिएंट का वर्णन करते हैं। कम परिमाणीकरण आमतौर पर कम मेमोरी का उपयोग करता है और अधिक उपकरणों में फिट बैठता है। उच्च परिमाणीकरण आमतौर पर अधिक गुणवत्ता बरकरार रखता है लेकिन अधिक मेमोरी की आवश्यकता होती है। Q4 अक्सर प्रवेश बिंदु होता है, Q5 और Q6 सामान्य दैनिक ट्रेडऑफ़ होते हैं, और Q8 तब उपयोगी होता है जब आपके पास पर्याप्त मेमोरी होती है और आप कम गुणवत्ता हानि चाहते हैं।
सर्वोत्तम परिमाणीकरण कार्य पर निर्भर करता है। लेखन और चैट कोडिंग या कठिन तर्क की तुलना में कम परिमाणीकरण को बेहतर ढंग से सहन कर सकते हैं। लंबे-संदर्भ वाले कार्य छोटे संस्करण को प्राथमिकता दे सकते हैं, इसलिए KV cache के लिए पर्याप्त मेमोरी बची हुई है। अनुशंसा में केवल मॉडल परिवार ही नहीं, बल्कि वास्तविक संस्करण भी दिखना चाहिए।
क्या स्थानीय एलएलएम निजी और ऑफ़लाइन हैं?
Local LLMs अधिक निजी हो सकते हैं क्योंकि मॉडल डाउनलोड होने के बाद संकेत और फ़ाइलें आपकी मशीन पर रह सकती हैं। यदि रनटाइम और मॉडल फ़ाइलें पहले से इंस्टॉल हैं तो वे ऑफ़लाइन भी काम कर सकते हैं। यह निजी नोट्स, अप्रकाशित कोड, यात्रा और वर्कफ़्लो के लिए उपयोगी है जहां क्लाउड एक्सेस अविश्वसनीय है।
गोपनीयता स्वचालित नहीं है. आपको अभी भी मॉडल स्रोत पर भरोसा करना होगा, लाइसेंस की जांच करनी होगी, स्थानीय सर्वर को सार्वजनिक इंटरनेट पर उजागर करने से बचना होगा और यह समझना होगा कि कोई कनेक्टेड टूल लॉग या प्रॉम्प्ट को सिंक करता है या नहीं। स्थानीय नियंत्रण क्लाउड प्रदाता पर निर्भरता को कम करता है, लेकिन यह परिचालन जिम्मेदारी को खत्म नहीं करता है।
अक्सर पूछे जाने वाले प्रश्न
मुझे सबसे पहले किस टूल का उपयोग करना चाहिए? LM Studio एक अच्छा ग्राफ़िकल प्रारंभिक बिंदु है, Ollama एक अच्छा कमांड-लाइन और स्थानीय API प्रारंभिक बिंदु है, और llama.cpp तब शक्तिशाली है जब आप निम्न-स्तरीय नियंत्रण चाहते हैं।
मेरा मॉडल धीरे-धीरे क्यों चलता है? यह बहुत बड़ा हो सकता है, CPU ऑफलोड का उपयोग करते हुए, बहुत अधिक संदर्भ के साथ चल रहा है, या कच्चे कंप्यूट के बजाय मेमोरी बैंडविड्थ द्वारा सीमित हो सकता है।
क्या किसी मॉडल को चुनने के लिए डाउनलोड और लाइक पर्याप्त हैं? नहीं, वे सामुदायिक रुचि दिखाते हैं, न कि यह कि मॉडल आपके हार्डवेयर या कार्य के लिए उपयुक्त है या नहीं।
अब मुझे क्या करना चाहिए? अपना हार्डवेयर और कार्य दर्ज करने के लिए Local LLM का उपयोग करें, फिर डाउनलोड करने से पहले अनुशंसित Hugging Face पृष्ठ खोलें।