स्थानीय एलएलएम एक मॉडल है जिसे आप स्वयं चलाते हैं
स्थानीय एलएलएम एक बड़ा भाषा मॉडल है जो पूरी तरह से क्लाउड सेवा द्वारा होस्ट किए जाने के बजाय आपके अपने कंप्यूटर पर चलता है। आप एक मॉडल डाउनलोड करते हैं या इसे स्थानीय टूल के माध्यम से इंस्टॉल करते हैं, फिर अपनी मशीन पर रनटाइम के लिए संकेत भेजते हैं। इसका लाभ अधिक नियंत्रण, संभव ऑफ़लाइन उपयोग और आपके डिवाइस को छोड़ने वाले कम संकेत हैं।
ट्रेडऑफ़ यह है कि आप हार्डवेयर सीमाओं के लिए जिम्मेदार बन जाते हैं। क्लाउड चैट ऐप्स मॉडल आकार, GPU मेमोरी, संदर्भ विंडो और रनटाइम विवरण छिपाते हैं। Local LLMs उन विवरणों को उजागर करते हैं। शुरुआती लोगों को पहले ही दिन हर चीज़ में महारत हासिल करने की ज़रूरत नहीं है, लेकिन उन्हें ऐसे मॉडल को डाउनलोड करने से बचने के लिए एक सरल तरीके की ज़रूरत है जो अच्छी तरह से नहीं चल सकता है।
चार संख्याओं को शुरुआती लोगों को समझना चाहिए
पहला नंबर VRAM है, एक असतत GPU पर मेमोरी। यह आमतौर पर NVIDIA या AMD डेस्कटॉप कार्ड के लिए सबसे अधिक मायने रखता है। दूसरा सिस्टम RAM है, जो CPU के उपयोग और आंशिक ऑफलोड के लिए मायने रखता है। तीसरी Apple Silicon पर एकीकृत मेमोरी है, जहां CPU और GPU समान मेमोरी पूल साझा करते हैं। चौथा संदर्भ लंबाई है, जो नियंत्रित करता है कि बातचीत के दौरान मॉडल कितना टेक्स्ट मेमोरी में रख सकता है।
अधिक मेमोरी आपको बड़े मॉडल, उच्च परिमाणीकरण, या लंबे संदर्भ को आज़माने देती है। लेकिन आपको प्रत्येक उपलब्ध गीगाबाइट का उपयोग मॉडल भार के लिए नहीं करना चाहिए। KV cache, रनटाइम ओवरहेड, ऑपरेटिंग सिस्टम, ब्राउज़र, संपादक और अन्य ऐप्स को भी स्थान की आवश्यकता होती है। एक शुरुआती-अनुकूल अनुशंसा को हेडरूम छोड़ना चाहिए।
मॉडल नाम पर्याप्त नहीं हैं
एक नौसिखिया लामा, क्वेन, मिस्ट्रल, जेम्मा, डीपसीक, फी, या मिक्सट्रल जैसे नाम देख सकता है और मान सकता है कि यह नाम ही पूर्ण उत्तर है। यह नहीं है। प्रत्येक परिवार में अलग-अलग आकार, निर्देश-ट्यून किए गए संस्करण, कोडिंग संस्करण, विज़न संस्करण और कई मात्राबद्ध फ़ाइलें हो सकती हैं। एक 7B Q4 फ़ाइल और एक 32B Q8 फ़ाइल बहुत अलग स्थानीय डाउनलोड हैं।
यही कारण है कि Local LLM ठोस वेरिएंट पर ध्यान केंद्रित करता है। अनुशंसा में मॉडल, चुनी गई फ़ाइल या परिमाणीकरण, मेमोरी अनुमान, फिट प्रकार और Hugging Face पृष्ठ का लिंक शामिल होना चाहिए। यह शुरुआती लोगों को सैकड़ों फ़ाइलों के माध्यम से अनुमान लगाए बिना खोज परिणाम से वास्तविक डाउनलोड तक का मार्ग प्रदान करता है।
हर चीज़ को अनुकूलित करने से पहले पहला टूल चुनें
शुरुआती लोगों को ऐसे उपकरण से शुरुआत करनी चाहिए जो सेटअप घर्षण को कम करता है। LM Studio तब उपयोगी होता है जब आप ग्राफ़िकल मॉडल ब्राउज़र और चैट इंटरफ़ेस चाहते हैं। Ollama त्वरित मॉडल रन, स्थानीय API वर्कफ़्लो और कमांड-लाइन उपयोग के लिए लोकप्रिय है। llama.cpp शक्तिशाली और लचीला है, लेकिन यह उपयोगकर्ता को अधिक रनटाइम विवरण समझने के लिए कहता है। Apple Silicon पर, MLX-आधारित वर्कफ़्लो भी उपयोगी हो सकते हैं।
पहला लक्ष्य मशीन से प्रति सेकंड प्रत्येक टोकन को निचोड़ना नहीं है। पहला लक्ष्य एक संगत मॉडल चलाना, वास्तविक प्रश्न पूछना और यह सीखना है कि क्या तेज़ या धीमा लगता है। एक बार यह काम कर जाए, तो उपयोगकर्ता परिमाणीकरण, संदर्भ लंबाई और मजबूत मॉडल की तुलना कर सकते हैं।
सामान्य शुरुआती गलतियाँ
पहली गलती सबसे बड़े मॉडल को डाउनलोड करना है क्योंकि यह सबसे स्मार्ट दिखता है। दूसरा है परिमाणीकरण और फ़ाइल आकार की अनदेखी करना। तीसरा है संदर्भ को बहुत ऊंचा सेट करना और मेमोरी ख़त्म होना। चौथा यह मान रहा है कि CPU-केवल प्रदर्शन क्लाउड चैट जैसा लगेगा। पांचवां, एक्सेस नियंत्रण को समझे बिना नेटवर्क पर एक स्थानीय सर्वर को उजागर करना है।
एक सुरक्षित शुरुआती मार्ग रूढ़िवादी है: अपना हार्डवेयर प्रोफ़ाइल चुनें, कार्य चुनें, एक ऐसे मॉडल से शुरू करें जो पूरी तरह से फिट बैठता है, मध्यम संदर्भ का उपयोग करें, और केवल तभी आगे बढ़ें जब अनुभव स्थिर हो। यदि दो मॉडलों के स्कोर समान हैं, तो जो मॉडल पूरी तरह से आपके GPU पर चलता है या एकीकृत मेमोरी के भीतर आराम से चलता है वह अक्सर बेहतर पहली पसंद होता है।
अक्सर पूछे जाने वाले प्रश्न
क्या मुझे स्थानीय एलएलएम के लिए GPU की आवश्यकता है? हमेशा नहीं। छोटे मॉडल CPU पर चल सकते हैं, लेकिन GPU या Apple Silicon आमतौर पर बहुत बेहतर अनुभव देते हैं।
शुरुआती लोगों को कितनी VRAM की आवश्यकता है? 8GB छोटे मॉडल चला सकता है, 12GB से 16GB अधिक आरामदायक है, और 24GB मजबूत विकल्प खोलता है।
मेरा पहला मॉडल क्या होना चाहिए? सबसे बड़े मॉडल का पीछा करने के बजाय एक छोटा निर्देश मॉडल या कोडिंग मॉडल चुनें जो आपके हार्डवेयर में पूरी तरह फिट बैठता हो।
मैं ग़लत डाउनलोड से कैसे बचूँ? VRAM, RAM, ऑपरेटिंग सिस्टम, उपयोग के मामले और प्राथमिकता के आधार पर फ़िल्टर करने के लिए Local LLM का उपयोग करें, फिर इंस्टॉल करने से पहले लिंक किए गए मॉडल पृष्ठ को खोलें।