เริ่มจากคอมพิวเตอร์ของคุณ ไม่ใช่ตารางอันดับ
LLM ที่ดีที่สุดสำหรับรันในเครื่องไม่ใช่เพียงโมเดลที่ได้อันดับสูงสุดบน benchmark สาธารณะเท่านั้น การ inference ในเครื่องมีข้อจำกัดที่ชัดเจน: โมเดลต้องโหลดได้และตอบสนองด้วยความเร็วที่ใช้งานได้บนเครื่องของคุณ แล็ปท็อปที่มี VRAM 8GB, เดสก์ท็อปที่มี VRAM 24GB และ Mac ที่มี unified memory 64GB ไม่ควรได้รับคำตอบเดียวกัน ฮาร์ดแวร์เปลี่ยนชุดตัวเลือกที่เป็นไปได้ก่อนที่การจัดอันดับด้านคุณภาพจะเริ่มขึ้น
นี่คือความแตกต่างหลักระหว่างการเลือกโมเดลบน cloud กับการเลือกโมเดลในเครื่อง โมเดลบน cloud ซ่อนโครงสร้างพื้นฐานไว้หลัง API ส่วนโมเดลในเครื่องทำให้เห็นการแลกเปลี่ยนโดยตรง: weights, quantization, KV cache, context length, GPU backend, memory bandwidth และ runtime overhead คำแนะนำที่ดีที่สุดเริ่มจากการถามว่าคุณรันอะไรได้ แล้วจึงถามว่าคุณต้องการทำอะไร
สำหรับ VRAM 6GB ถึง 8GB ให้ใช้โมเดลขนาดเล็กและเสถียร
GPU ขนาด 6GB หรือ 8GB ยังมีประโยชน์สำหรับ local LLMs ได้ แต่ควรตั้งความคาดหวังให้สมจริง โซนที่ใช้งานได้จริงคือโมเดลขนาดเล็กและเวอร์ชัน 3B, 4B, 7B หรือ 8B ที่ quantized อย่างรอบคอบ Q4 อาจจำเป็นเพื่อให้ใส่โมเดลขนาดเล็กที่ใหญ่ขึ้นได้ ในขณะที่ Q5 หรือ Q6 อาจเป็นไปได้สำหรับโมเดลที่เล็กกว่า context ยาวและโมเดล vision สามารถเกินขอบเขตที่ใช้งานสบายได้อย่างรวดเร็ว
สำหรับเครื่องกลุ่มนี้ local LLM ที่ดีที่สุดมักเป็นโมเดลที่รันบน GPU ได้ทั้งหมดพร้อม headroom เพียงพอ มันอาจไม่ใช่โมเดลที่ใหญ่ที่สุดในรายการ แต่ควรตอบสนองเร็ว เสถียร และเหมาะกับงาน สำหรับการเขียนโค้ด โมเดลขนาดเล็กที่ปรับแต่งมาสำหรับโค้ดอาจช่วยเรื่อง snippet และคำอธิบายได้ สำหรับการเขียน โมเดล instruction ขนาดเล็กอาจเพียงพอสำหรับร่างและปรับสำนวน
สำหรับ VRAM 12GB ถึง 24GB ให้สมดุลคุณภาพกับ headroom
GPU 12GB เป็น baseline ที่สบายกว่าสำหรับโมเดล 7B จำนวนมากและบางเวอร์ชัน 14B ที่ quantized แล้ว GPU 16GB ให้พื้นที่ที่ดีกว่าสำหรับ context และ quantization ที่สูงขึ้น GPU 24GB เป็นระดับผู้บริโภคที่แข็งแกร่ง ซึ่งทำให้โมเดลสำหรับ coding, writing และ reasoning ที่ดีกว่าใช้งานได้จริงมากขึ้น ช่วงนี้คือจุดที่คุณภาพของคำแนะนำเริ่มสำคัญมากขึ้น เพราะมีตัวเลือกจำนวนมากที่ใส่ได้
LLM ที่ดีที่สุดสำหรับรันในเครื่องในระดับนี้ขึ้นอยู่กับกรณีการใช้งานอย่างมาก Coding อาจเหมาะกับโมเดลที่ปรับแต่งมาสำหรับโค้ดและมี context เพียงพอสำหรับไฟล์ งานเขียนทั่วไปอาจให้ความสำคัญกับความลื่นไหลและความเร็ว Reasoning อาจต้องการสัญญาณคุณภาพที่แข็งแกร่งกว่า งาน vision ต้องการการรองรับ multimodal เครื่องมือไม่ควรแสดงคำตอบสากลเพียงคำตอบเดียว เมื่อ GPU เดียวกันสามารถรองรับตัวเลือกที่ดีที่สุดได้หลายแบบ
สำหรับ Apple Silicon และเครื่องที่มีหน่วยความจำมาก ให้ใช้ความจุอย่างชาญฉลาด
Mac ที่ใช้ Apple Silicon ใช้ unified memory ดังนั้น CPU, GPU, ระบบปฏิบัติการ และแอปพลิเคชันจะแชร์หน่วยความจำกองเดียวกัน Mac ขนาด 32GB, 64GB หรือ 128GB สามารถแข็งแกร่งสำหรับงาน local LLM ได้ แต่ไม่ใช่หน่วยความจำทั้งหมดที่จะพร้อมใช้สำหรับ model weights unified memory ที่มากขึ้นช่วยให้ใช้โมเดลใหญ่ขึ้น, quantization สูงขึ้น หรือ context ยาวขึ้นได้ แต่คำแนะนำที่ดีที่สุดยังต้องมี margin
เดสก์ท็อปและเวิร์กสเตชันที่มีหน่วยความจำมากก็มีปัญหาเดียวกันในอีกรูปแบบหนึ่ง ความจุที่มากขึ้นขยายรายการตัวเลือก แต่ไม่ได้หมายความว่าโมเดลที่ใหญ่ที่สุดจะดีที่สุดเสมอไป ความเร็ว, active parameters, เป้าหมาย context, การปรับแต่งโมเดล และการรองรับของเครื่องมือยังคงสำคัญ คำตอบที่ถูกต้องคือโมเดลที่ให้คุณภาพที่มีประโยชน์ดีที่สุดภายใต้การตั้งค่า runtime ที่เสถียร
อย่ามองข้ามความเป็นส่วนตัว การใช้งานออฟไลน์ และการดูแลรักษา
การรัน LLM ในเครื่องสามารถเก็บ prompt ไว้บนเครื่องของคุณและทำงานออฟไลน์ได้หลังจากดาวน์โหลดไฟล์โมเดลแล้ว สิ่งนี้มีคุณค่าสำหรับบันทึกส่วนตัว ร่างเอกสารที่ละเอียดอ่อน การเดินทาง การทดลองพัฒนา และผู้ใช้ที่ไม่ต้องการส่งทุก prompt ไปยัง cloud API แต่ local ไม่ได้หมายความว่าปลอดความเสี่ยงโดยอัตโนมัติ ผู้ใช้ยังต้องตรวจสอบ license, provenance ของโมเดล, การตั้งค่าเครื่องมือ และการเปิดเผย local server
การดูแลรักษาก็เป็นส่วนหนึ่งของการเลือกเช่นกัน โมเดลบน cloud สามารถอัปเดตอย่างเงียบ ๆ และสเกลได้โดยไม่ต้องใช้ฮาร์ดแวร์ในเครื่อง ในขณะที่โมเดลในเครื่องต้องมีการดาวน์โหลด พื้นที่จัดเก็บ ความเข้ากันได้ของ driver และการแก้ปัญหาเป็นครั้งคราว ดังนั้น local LLM ที่ดีที่สุดจึงไม่ใช่แค่ตัวเลือกด้านคุณภาพ แต่ยังเป็นตัวเลือกด้านความเป็นเจ้าของด้วย คุณแลกความสะดวกของ cloud กับการควบคุมในเครื่อง
FAQ
LLM ที่ดีที่สุดสำหรับรันในเครื่องบน VRAM 8GB คืออะไร? โดยปกติคือโมเดล 3B ถึง 8B ขนาดเล็กหรือที่ quantized แล้ว พร้อม context แบบระมัดระวัง คำตอบที่แน่นอนขึ้นอยู่กับงานของคุณ
GPU 24GB เพียงพอสำหรับ local LLMs ที่ดีหรือไม่? เพียงพอ นี่เป็นหนึ่งในระดับผู้บริโภคที่มีประโยชน์ที่สุดสำหรับโมเดล quantized ที่แข็งแกร่ง แม้ว่าโมเดลขนาดใหญ่มากยังต้องการหน่วยความจำมากกว่านี้
ควรรัน local LLMs บน CPU อย่างเดียวหรือไม่? ทำได้ แต่ควรเลือกโมเดลขนาดเล็กและคาดหวัง output ที่ช้ากว่า การตั้งค่าแบบ CPU-only เหมาะกับการทดสอบมากกว่างานประจำวันความเร็วสูง
ฉันจะหาคำตอบที่ดีที่สุดสำหรับคอมพิวเตอร์ของฉันได้อย่างไร? ใช้ Local LLM พร้อมข้อมูล VRAM, RAM, ระบบปฏิบัติการ, กรณีการใช้งาน และความต้องการของคุณ เครื่องมือนี้จะกรองเวอร์ชันโมเดลปัจจุบันก่อนจัดอันดับ