LLM ในพื้นที่คือโมเดลที่คุณดำเนินการเอง
LLM ท้องถิ่นคือโมเดลภาษาขนาดใหญ่ที่ทำงานบนคอมพิวเตอร์ของคุณเอง แทนที่จะโฮสต์โดยบริการคลาวด์ทั้งหมด คุณดาวน์โหลดโมเดลหรือติดตั้งผ่านเครื่องมือในเครื่อง จากนั้นส่งข้อความแจ้งไปยังรันไทม์บนเครื่องของคุณ ข้อดีคือควบคุมได้มากขึ้น สามารถใช้งานออฟไลน์ได้ และแจ้งให้ออกจากอุปกรณ์ของคุณน้อยลง
ข้อดีข้อเสียคือคุณต้องรับผิดชอบต่อขีดจำกัดของฮาร์ดแวร์ แอปแชทบนคลาวด์ซ่อนขนาดโมเดล หน่วยความจำ GPU หน้าต่างบริบท และรายละเอียดรันไทม์ Local LLMs เปิดเผยรายละเอียดเหล่านั้น ผู้เริ่มต้นไม่จำเป็นต้องเชี่ยวชาญทุกอย่างในวันแรก แต่พวกเขาต้องการวิธีง่ายๆ เพื่อหลีกเลี่ยงการดาวน์โหลดโมเดลที่ทำงานได้ไม่ดี
ตัวเลขสี่ตัวที่มือใหม่ควรเข้าใจ
หมายเลขแรกคือ VRAM ซึ่งเป็นหน่วยความจำบน GPU แบบแยก โดยปกติแล้วสิ่งที่สำคัญที่สุดสำหรับการ์ดเดสก์ท็อป NVIDIA หรือ AMD อย่างที่สองคือระบบ RAM ซึ่งสำคัญสำหรับการใช้ CPU และออฟโหลดบางส่วน ส่วนที่สามคือหน่วยความจำแบบรวมบน Apple Silicon โดยที่ CPU และ GPU แบ่งใช้พูลหน่วยความจำเดียวกัน ประการที่สี่คือความยาวบริบท ซึ่งควบคุมจำนวนข้อความที่โมเดลสามารถเก็บไว้ในหน่วยความจำระหว่างการสนทนา
หน่วยความจำที่มากขึ้นช่วยให้คุณลองใช้โมเดลที่ใหญ่ขึ้น ปริมาณที่สูงขึ้น หรือบริบทที่ยาวขึ้น แต่คุณไม่ควรใช้ทุกกิกะไบต์ที่มีอยู่สำหรับน้ำหนักโมเดล KV cache, โอเวอร์เฮดรันไทม์, ระบบปฏิบัติการ, เบราว์เซอร์, โปรแกรมแก้ไข และแอปอื่นๆ ก็ต้องการพื้นที่เช่นกัน คำแนะนำที่เป็นมิตรต่อผู้เริ่มต้นควรเหลือช่องว่างไว้
ชื่อรุ่นไม่เพียงพอ
ผู้เริ่มต้นอาจเห็นชื่อต่างๆ เช่น Llama, Qwen, Mistral, Gemma, DeepSeek, Phi หรือ Mixtral และถือว่าชื่อนั้นเป็นคำตอบที่สมบูรณ์ มันไม่ใช่. แต่ละตระกูลอาจมีขนาดแตกต่างกัน เวอร์ชันที่ปรับแต่งคำสั่ง เวอร์ชันการเข้ารหัส เวอร์ชันวิชัน และไฟล์เชิงปริมาณจำนวนมาก ไฟล์ 7B Q4 และไฟล์ 32B Q8 เป็นการดาวน์โหลดในเครื่องที่แตกต่างกันมาก
นี่คือสาเหตุที่ Local LLM มุ่งเน้นไปที่รูปแบบที่เป็นรูปธรรม คำแนะนำควรประกอบด้วยโมเดล ไฟล์ที่เลือกหรือการกำหนดปริมาณ หน่วยความจำโดยประมาณ ประเภทความพอดี และลิงก์ไปยังหน้า Hugging Face นั่นทำให้ผู้เริ่มต้นมีเส้นทางจากผลการค้นหาไปจนถึงการดาวน์โหลดจริงโดยไม่ต้องเดาไฟล์หลายร้อยไฟล์
เลือกเครื่องมือแรกก่อนที่จะเพิ่มประสิทธิภาพทุกอย่าง
ผู้เริ่มต้นควรเริ่มต้นด้วยเครื่องมือที่ช่วยลดแรงเสียดทานในการตั้งค่า LM Studio มีประโยชน์เมื่อคุณต้องการเบราว์เซอร์โมเดลกราฟิกและอินเทอร์เฟซการแชท Ollama เป็นที่นิยมสำหรับการรันโมเดลอย่างรวดเร็ว เวิร์กโฟลว์ API ในเครื่อง และการใช้บรรทัดคำสั่ง llama.cpp มีประสิทธิภาพและยืดหยุ่น แต่ขอให้ผู้ใช้เข้าใจรายละเอียดรันไทม์เพิ่มเติม บน Apple Silicon เวิร์กโฟลว์ที่ใช้ MLX ก็มีประโยชน์เช่นกัน
เป้าหมายแรกไม่ใช่การบีบทุกโทเค็นต่อวินาทีออกจากเครื่อง เป้าหมายแรกคือการรันโมเดลที่เข้ากันได้ ถามคำถามจริง และเรียนรู้ว่าอะไรให้ความรู้สึกเร็วหรือช้า เมื่อได้ผลแล้ว ผู้ใช้สามารถเปรียบเทียบการหาปริมาณ ความยาวบริบท และโมเดลที่แข็งแกร่งกว่าได้
ข้อผิดพลาดทั่วไปของผู้เริ่มต้น
ข้อผิดพลาดแรกคือการดาวน์โหลดโมเดลที่ใหญ่ที่สุดเพราะมันดูฉลาดที่สุด ประการที่สองคือการไม่สนใจปริมาณและขนาดไฟล์ ประการที่สามคือการตั้งค่าบริบทสูงเกินไปและหน่วยความจำไม่เพียงพอ ข้อที่สี่สมมติว่า CPU-ประสิทธิภาพเพียงอย่างเดียวจะรู้สึกเหมือนแชทบนคลาวด์ ประการที่ห้าคือการเปิดเผยเซิร์ฟเวอร์ภายในเครื่องบนเครือข่ายโดยไม่เข้าใจการควบคุมการเข้าถึง
เส้นทางเริ่มต้นที่ปลอดภัยกว่านั้นเป็นแบบอนุรักษ์นิยม: เลือกโปรไฟล์ฮาร์ดแวร์ของคุณ เลือกงาน เริ่มต้นด้วยโมเดลที่เหมาะสมที่สุด ใช้บริบทปานกลาง และเลื่อนระดับขึ้นเมื่อประสบการณ์มีเสถียรภาพเท่านั้น หากสองรุ่นมีคะแนนใกล้เคียงกัน รุ่นที่ทำงานอย่างสมบูรณ์บน GPU ของคุณหรืออย่างสะดวกสบายภายในหน่วยความจำแบบรวมมักจะเป็นตัวเลือกแรกที่ดีกว่า
คำถามที่พบบ่อย
ฉันจำเป็นต้องมี GPU สำหรับ LLM ท้องถิ่นหรือไม่ ไม่เสมอไป โมเดลขนาดเล็กสามารถรันบน CPU ได้ แต่ GPU หรือ Apple Silicon มักจะให้ประสบการณ์ที่ดีกว่ามาก
ผู้เริ่มต้นต้องการ VRAM เท่าใด 8GB สามารถเรียกใช้รุ่นขนาดเล็กได้ 12GB ถึง 16GB สะดวกสบายกว่า และ 24GB เปิดตัวเลือกที่แข็งแกร่งกว่า
แบบจำลองแรกของฉันควรเป็นอย่างไร? เลือกโมเดลคำสั่งขนาดเล็กหรือโมเดลการเขียนโค้ดที่เหมาะกับฮาร์ดแวร์ของคุณอย่างเต็มที่ แทนที่จะไล่ตามโมเดลที่ใหญ่ที่สุด
ฉันจะหลีกเลี่ยงการดาวน์โหลดผิดได้อย่างไร? ใช้ Local LLM เพื่อกรองตาม VRAM, RAM ระบบปฏิบัติการ กรณีการใช้งาน และการกำหนดค่าตามความชอบ จากนั้นเปิดหน้าโมเดลที่เชื่อมโยงก่อนการติดตั้ง