คำตอบสั้นๆ: ตัวเลือก LLM ในพื้นที่คือตัวเลือกฮาร์ดแวร์
ในที่สุดคำถาม LLM ในพื้นที่ส่วนใหญ่จะกลับไปที่ฮาร์ดแวร์ในที่สุด โมเดลจะต้องพอดีกับหน่วยความจำที่มีอยู่ ทำงานด้วยความเร็วที่ใช้ได้ และตรงกับงาน รุ่นที่ยอดเยี่ยมในเกณฑ์มาตรฐานแต่ใช้งานไม่ได้กับคอมพิวเตอร์ของคุณไม่ใช่คำแนะนำที่ดีสำหรับคุณ รุ่นเล็กที่ใส่ได้พอดีอาจเป็นคำตอบรายวันที่ดีกว่า
คำถามที่พบบ่อยนี้ออกแบบมาสำหรับผู้ใช้ที่กำลังดาวน์โหลดโมเดลและต้องการคำตอบธรรมดาก่อน โดยครอบคลุมถึง VRAM, RAM, การหาปริมาณ, เครื่องมือ, ความเป็นส่วนตัว, ความเร็ว, การใช้งานออฟไลน์ และความแตกต่างระหว่างรุ่นที่โหลดในทางเทคนิคกับรุ่นที่ใช้งานได้สะดวก
ฉันต้องการ VRAM เท่าใด
ไม่มีหมายเลข VRAM เดียวสำหรับ LLM ท้องถิ่นทุกแห่ง 6GB ถึง 8GB สามารถเรียกใช้โมเดลเชิงปริมาณขนาดเล็กได้ 12GB ถึง 16GB สะดวกกว่าสำหรับเวิร์กโฟลว์ 7B จำนวนมากและ 14B บางเวิร์กโฟลว์ 24GB เปิดโมเดลการเข้ารหัสและการใช้เหตุผลในท้องถิ่นที่แข็งแกร่งยิ่งขึ้น 48GB และสูงกว่าจะให้พื้นที่มากขึ้นสำหรับโมเดลขนาดใหญ่ ปริมาณที่สูงขึ้น และบริบทที่ยาวขึ้น
VRAM ไม่ได้มีไว้สำหรับน้ำหนักโมเดลเท่านั้น KV cache, โอเวอร์เฮดรันไทม์, การใช้จอแสดงผล และการใช้หน่วยความจำ GPU อื่นๆ ก็มีความสำคัญเช่นกัน บริบทที่ยาวจะเพิ่มแรงกดดันต่อหน่วยความจำ นี่คือสาเหตุที่แบบจำลองอาจพอดีกับการตั้งค่าบริบทสั้นๆ แต่ล้มเหลวหรือช้าลงเมื่อหน้าต่างบริบทถูกยกขึ้น
ฉันสามารถเรียกใช้ LLM ภายในเครื่องโดยไม่มี GPU ได้หรือไม่
ใช่ แต่ความคาดหวังควรเป็นจริง CPU-เฉพาะ LLM ในพื้นที่เท่านั้นที่สามารถทำงานกับโมเดลขนาดเล็ก การทดสอบ ข้อความแจ้งเป็นครั้งคราว และงานออฟไลน์ส่วนตัว โดยทั่วไปแล้วจะรู้สึกช้ากว่าการอนุมานที่ได้รับการสนับสนุนจาก GPU โดยเฉพาะสำหรับโมเดลขนาดใหญ่หรือการตอบสนองที่ยาว ระบบ RAM และแบนด์วิธหน่วยความจำกลายเป็นขีดจำกัดสำคัญ
หากคุณมี CPU เท่านั้น ให้เลือกโมเดลขนาดเล็ก ปริมาณเชิงอนุรักษ์ และบริบทที่พอประมาณ หากคุณวางแผนที่จะใช้ LLM ในพื้นที่ทุกวันสำหรับการเขียนโค้ดหรือการสนทนาที่ยาวนาน ระบบ GPU หรือ Apple Silicon มักจะรู้สึกดีขึ้นมาก
Q4, Q5, Q6 และ Q8 หมายถึงอะไร
ป้ายกำกับเหล่านี้อธิบายตัวแปรแบบจำลองเชิงปริมาณ การหาปริมาณที่ต่ำกว่ามักจะใช้หน่วยความจำน้อยกว่าและเหมาะกับอุปกรณ์มากกว่า การหาปริมาณที่สูงขึ้นมักจะรักษาคุณภาพได้มากขึ้น แต่ต้องการหน่วยความจำมากขึ้น Q4 มักจะเป็นจุดเริ่มต้น Q5 และ Q6 เป็นการแลกเปลี่ยนรายวันทั่วไป และ Q8 มีประโยชน์เมื่อคุณมีหน่วยความจำเพียงพอและต้องการการสูญเสียคุณภาพน้อยลง
การหาปริมาณที่ดีที่สุดขึ้นอยู่กับงาน การเขียนและการพูดคุยอาจทนต่อปริมาณที่น้อยกว่าได้ดีกว่าการเขียนโค้ดหรือการให้เหตุผลที่ยากลำบาก งานที่มีบริบทยาวอาจต้องการตัวแปรที่เล็กกว่า ดังนั้นจึงมีหน่วยความจำเหลือเพียงพอสำหรับ KV cache คำแนะนำควรแสดงตัวแปรที่แท้จริง ไม่ใช่เฉพาะตระกูลรุ่นเท่านั้น
LLM ในพื้นที่เป็นแบบส่วนตัวและออฟไลน์หรือไม่
Local LLMs อาจมีความเป็นส่วนตัวมากขึ้น เนื่องจากพรอมต์และไฟล์สามารถคงอยู่ในเครื่องของคุณได้หลังจากดาวน์โหลดโมเดลแล้ว นอกจากนี้ยังสามารถทำงานแบบออฟไลน์ได้หากติดตั้งไฟล์รันไทม์และโมเดลไว้แล้ว สิ่งนี้มีประโยชน์สำหรับบันทึกส่วนตัว รหัสที่ไม่ได้เผยแพร่ การเดินทาง และเวิร์กโฟลว์ที่การเข้าถึงระบบคลาวด์ไม่น่าเชื่อถือ
ความเป็นส่วนตัวไม่ได้เป็นไปโดยอัตโนมัติ คุณยังต้องเชื่อถือแหล่งที่มาของโมเดล ตรวจสอบใบอนุญาต หลีกเลี่ยงการเปิดเผยเซิร์ฟเวอร์ภายในเครื่องกับอินเทอร์เน็ตสาธารณะ และทำความเข้าใจว่าเครื่องมือที่เชื่อมต่อใด ๆ ซิงค์บันทึกหรือพร้อมท์หรือไม่ การควบคุมภายในช่วยลดการพึ่งพาผู้ให้บริการระบบคลาวด์ แต่ไม่ได้ลบความรับผิดชอบในการปฏิบัติงาน
คำถามที่พบบ่อย
ฉันควรใช้เครื่องมือใดก่อน LM Studio เป็นจุดเริ่มต้นแบบกราฟิกที่ดี Ollama เป็นบรรทัดคำสั่งที่ดีและเป็นจุดเริ่มต้น API ภายใน และ llama.cpp มีประสิทธิภาพเมื่อคุณต้องการการควบคุมระดับล่าง
เหตุใดโมเดลของฉันจึงทำงานช้า อาจมีขนาดใหญ่เกินไป โดยใช้ CPU ออฟโหลด ทำงานโดยมีบริบทมากเกินไป หรือถูกจำกัดด้วยแบนด์วิดท์หน่วยความจำ แทนที่จะใช้การประมวลผลดิบ
การดาวน์โหลดและการถูกใจเพียงพอที่จะเลือกรุ่นหรือไม่ ไม่ พวกเขาแสดงความสนใจของชุมชน ไม่ใช่ว่าโมเดลนั้นเหมาะกับฮาร์ดแวร์หรืองานของคุณหรือไม่
ฉันควรทำอย่างไรต่อไป? ใช้ Local LLM เพื่อป้อนฮาร์ดแวร์และงานของคุณ จากนั้นเปิดหน้า Hugging Face ที่แนะนำก่อนที่จะดาวน์โหลด