เริ่มต้นด้วยรายการตรวจสอบ ไม่ใช่การดาวน์โหลดแบบสุ่ม
การตั้งค่า LLM ภายในจะทำงานได้ดีที่สุดเมื่อคุณตัดสินใจบางอย่างก่อนที่จะดาวน์โหลดโมเดล โหมดความล้มเหลวทั่วไปนั้นเรียบง่าย: ผู้ใช้เห็นโมเดลยอดนิยม ดาวน์โหลดไฟล์ขนาดใหญ่ จากนั้นพบว่ามันแทบจะไม่พอดี ทำงานช้า หรือเครื่องมือที่ติดตั้งไม่รองรับ รายการตรวจสอบจะช่วยป้องกันการสูญเสียนั้น
ลำดับที่ถูกต้องคือ ฮาร์ดแวร์มาก่อน ภารกิจที่สอง รันไทม์ที่สาม ตัวแปรรุ่นที่สี่ และความปลอดภัยเป็นอันดับสุดท้าย ฮาร์ดแวร์จะกำหนดขนาดของรุ่น งานจะตัดสินใจว่าคุณต้องการแชท การเขียนโค้ด การมองเห็น การฝัง หรือบริบทที่ยาว รันไทม์จะตัดสินใจว่ารูปแบบไฟล์ใดและ APIs ที่สะดวก ความปลอดภัยจะตัดสินว่าเซิร์ฟเวอร์ภายในควรอยู่บน localhost หรือเปิดเผยต่ออุปกรณ์อื่น
ขั้นตอนที่ 1: บันทึกขีดจำกัดของฮาร์ดแวร์ของคุณ
จดบันทึก VRAM, ระบบ RAM, ระบบปฏิบัติการ และดูว่าคุณกำลังใช้หน่วยความจำแบบรวม GPU หรือ Apple Silicon แบบแยกส่วนหรือไม่ สำหรับการ์ด NVIDIA และ AMD นั้น VRAM มักจะเป็นขีดจำกัดแรกสุด สำหรับ Apple Silicon หน่วยความจำทั้งหมดจะถูกแบ่งใช้โดย CPU, GPU, macOS, แอป, โมเดล และ KV cache สำหรับการตั้งค่า CPU เท่านั้น RAM และแบนด์วิธหน่วยความจำมีความสำคัญมากกว่าขนาด GPU
อย่าวางแผนที่จะใช้ทุกกิกะไบต์สำหรับน้ำหนักโมเดล เหลือพื้นที่ไว้สำหรับระบบปฏิบัติการ เบราว์เซอร์ ตัวแก้ไข โอเวอร์เฮดรันไทม์ KV cache และแอปพลิเคชันอื่นๆ หากแบบจำลองพอดีเฉพาะเมื่อปิดอย่างอื่นทั้งหมดแล้ว ก็อาจไม่ใช่แบบจำลองรายวันที่ดี คำแนะนำ Local LLM ควรเลือกรุ่นที่เหมาะกับพื้นที่ว่างด้านบนที่ใช้งานได้
ขั้นตอนที่ 2: เลือกรันไทม์แรก
ผู้เริ่มต้นควรเลือกเครื่องมือเดียวก่อนแทนที่จะติดตั้งทุกอย่าง LM Studio สะดวกสบายหากคุณต้องการเบราว์เซอร์โมเดลกราฟิก อินเทอร์เฟซการแชท และเซิร์ฟเวอร์ภายในที่คุณสามารถเริ่มต้นจากแอปได้ Ollama เป็นตัวเลือกที่ดีหากคุณชอบคำสั่งง่ายๆ แท็กโมเดล และ API ในเครื่อง llama.cpp มีความยืดหยุ่นและทรงพลัง แต่ขอความเข้าใจเพิ่มเติมเกี่ยวกับตัวเลือกบรรทัดคำสั่งและไฟล์โมเดล
เวิร์กโฟลว์ของนักพัฒนามักจะได้ประโยชน์จาก OpenAI-compatible endpoints Ollama แสดงการสนับสนุน OpenAI-compatible API และ LM Studio สามารถรัน OpenAI-compatible server ภายในเครื่องได้ สิ่งนี้สำคัญเนื่องจากเครื่องมือการเขียนโค้ด สคริปต์ และไคลเอนต์จำนวนมากสามารถเปลี่ยนจากจุดสิ้นสุดระบบคลาวด์ไปเป็น local base URL ในเครื่องโดยมีการเปลี่ยนแปลงโค้ดน้อยลง
ขั้นตอนที่ 3: เลือกโมเดลหนึ่งรุ่นและทดสอบ
เลือกหนึ่งรุ่นที่เหมาะกับฮาร์ดแวร์ของคุณอย่างสมบูรณ์ก่อนที่จะเปรียบเทียบทางเลือกอื่นๆ มากมาย สำหรับ 6GB ถึง 8GB VRAM ให้เริ่มต้นด้วยโมเดลขนาดเล็กและการหาปริมาณ Q4 หรือ Q5 สำหรับ 12GB ถึง 16GB ให้เปรียบเทียบโมเดล 7B และ 14B ที่มีบริบทปานกลาง สำหรับ 24GB และสูงกว่า โมเดลการเข้ารหัสและการใช้เหตุผลที่แข็งแกร่งยิ่งขึ้นจะกลายเป็นจริง บนระบบ Apple Silicon ขนาดใหญ่ สามารถใช้โมเดลที่ใหญ่กว่าได้ แต่หน่วยความจำยังคงถูกแบ่งใช้
ทดสอบพร้อมข้อความแจ้งที่ตรงกับกรณีการใช้งานจริงของคุณ โมเดลการเขียนควรเขียนใหม่และสรุปบันทึกย่อที่แท้จริงของคุณ โมเดลการเขียนโค้ดควรอธิบายข้อผิดพลาด แก้ไขฟังก์ชันเล็กๆ และปฏิบัติตามคำแนะนำของโปรเจ็กต์ โมเดลการมองเห็นควรตรวจสอบภาพหน้าจอหรือรูปภาพที่คุณสนใจจริงๆ อย่าตัดสินการตั้งค่าโดยใช้พรอมต์แชททั่วไปเพียงรายการเดียว
ขั้นตอนที่ 4: ตรวจสอบความเร็ว บริบท และความเสถียร
โมเดลที่โหลดไม่มีประโยชน์โดยอัตโนมัติ ตรวจสอบว่ารู้สึกว่าความเร็วเอาท์พุตใช้งานได้หรือไม่ บริบทมีความยาวเพียงพอหรือไม่ ความกดดันของหน่วยความจำคงที่หรือไม่ และรันไทม์ขัดข้องหลังจากพร้อมท์หลายครั้งหรือไม่ หากโมเดลใช้การถ่ายข้อมูล CPU จำนวนมาก ความเร็วโทเค็นอาจลดลงอย่างรวดเร็วแม้ว่าโมเดลนั้นจะทำงานในทางเทคนิคก็ตาม
เก็บบันทึกการทดสอบเล็กๆ น้อยๆ: ชื่อรุ่น ปริมาณ การตั้งค่าบริบท รันไทม์ การประมาณหน่วยความจำ และดูว่าสะดวกหรือไม่ วิธีนี้จะช่วยป้องกันการดาวน์โหลดที่ล้มเหลวซ้ำกัน นอกจากนี้ยังทำให้การอัพเกรดชัดเจนยิ่งขึ้น: หากโมเดล Q4 ทำงานได้แต่คุณภาพต่ำ ให้ลองใช้ Q5 หรือโมเดลคุณภาพสูงกว่าที่มีขนาดเล็กกว่า แทนที่จะข้ามไปยังไฟล์ที่ใหญ่ที่สุดที่มีอยู่โดยตรง
ขั้นตอนที่ 5: รักษาเซิร์ฟเวอร์ภายในให้ปลอดภัย
สำหรับเดสก์ท็อปส่วนตัว ให้ผูกเซิร์ฟเวอร์โมเดลในเครื่องไว้ที่ localhost เว้นแต่ว่าคุณต้องการการเข้าถึงเครือข่ายโดยเจตนาและเข้าใจการตรวจสอบสิทธิ์ เซิร์ฟเวอร์ API ภายในเครื่องสามารถเปิดเผยพร้อมต์ ไฟล์ หรือการเข้าถึงโมเดลได้ หากสามารถเข้าถึงได้จากเครือข่ายที่ไม่ถูกต้อง สิ่งนี้สำคัญอย่างยิ่งเมื่อทดสอบ OpenAI-compatible endpoints สำหรับเครื่องมือการเขียนโค้ด
ก่อนที่จะเรียกการตั้งค่าให้เสร็จสมบูรณ์ ให้ยืนยันหน้าโมเดล ใบอนุญาต แหล่งที่มาของไฟล์ การผูกเซิร์ฟเวอร์ และการกำหนดค่าเครื่องมือ จากนั้นบันทึกการตั้งค่าการทำงาน Local LLM สามารถช่วยจำกัดรายการโมเดลให้แคบลงได้ แต่รายการตรวจสอบการตั้งค่าที่ดีจะเปลี่ยนคำแนะนำดังกล่าวให้เป็นขั้นตอนการทำงานรายวันที่มีความเสถียร
คำถามที่พบบ่อย
การตั้งค่า LLM ในพื้นที่ที่ง่ายที่สุดคืออะไร? สำหรับผู้เริ่มต้นจำนวนมาก LM Studio หรือ Ollama บวกกับโมเดลขนาดเล็กที่เข้ากันได้คือเส้นทางที่เร็วที่สุด
ฉันควรเริ่มต้นด้วยรุ่นที่ใหญ่ที่สุดที่ลงตัวหรือไม่? ไม่ เริ่มต้นด้วยรุ่นที่พอดีและวิ่งด้วยความเร็วที่ใช้งาน จากนั้นจึงปรับปรุงคุณภาพทีละขั้นตอน
ฉันจำเป็นต้องมี OpenAI-compatible local server หรือไม่ ไม่เสมอไป แต่จะมีประโยชน์เมื่อเชื่อมต่อโมเดลในเครื่องกับเครื่องมือเขียนโค้ด สคริปต์ และแอปที่คาดหวัง OpenAI-style APIs อยู่แล้ว
ฉันจะรู้ได้อย่างไรว่าการตั้งค่าของฉันดี ควรโหลดได้อย่างน่าเชื่อถือ ตอบสนองงานจริงของคุณ รักษาหน่วยความจำให้คงที่ และเร็วเพียงพอสำหรับการใช้งานในแต่ละวัน