โมเดล AI ในพื้นที่จะมีประโยชน์เฉพาะในกรณีที่เหมาะสมกับเวิร์กโฟลว์ของคุณ
โมเดล AI ภายในคือโมเดล AI ใดๆ ที่ทำงานบนคอมพิวเตอร์ของคุณเองหรือเซิร์ฟเวอร์ส่วนตัว แทนที่จะขึ้นอยู่กับผู้ให้บริการคลาวด์สำหรับทุกการแจ้งเตือน สำหรับไซต์นี้ ตัวอย่างที่สำคัญที่สุดคือ LLM ท้องถิ่น โมเดลการเขียนโค้ด โมเดลภาษาวิสัยทัศน์ โมเดลการฝัง และโมเดลเฉพาะงานขนาดเล็กที่สามารถเรียกใช้ผ่านเครื่องมือ เช่น Ollama, LM Studio, llama.cpp, MLX หรือรันไทม์ที่คล้ายกัน
โมเดล AI ในพื้นที่ที่ดีที่สุดไม่ได้เป็นเพียงโมเดลที่ใหญ่ที่สุดบนกระดานผู้นำเท่านั้น เป็นรุ่นที่เหมาะกับฮาร์ดแวร์ของคุณ ตอบโจทย์งานที่คุณมีจริง ทำงานด้วยความเร็วที่ใช้ได้ และใช้สิทธิ์การใช้งานที่คุณยอมรับได้ โมเดลขนาดเล็กที่ใส่ VRAM ได้พอดีอาจมีประโยชน์มากกว่ารุ่นใหญ่ชื่อดังที่ต้องโหลด CPU จำนวนมาก และตอบสนองช้าเกินไปสำหรับงานในแต่ละวัน
เริ่มต้นด้วยการแยกประเภทโมเดล
Text LLM ใช้สำหรับการสนทนา การเขียน การสรุป ความช่วยเหลือในการเขียนโค้ด และการให้เหตุผล โมเดลการมองเห็นเพิ่มการทำความเข้าใจรูปภาพ ภาพหน้าจอ แผนภูมิ หรือรูปภาพในเอกสาร โมเดลการฝังจะเปลี่ยนข้อความให้เป็นเวกเตอร์สำหรับการค้นหาและ RAG การตั้งค่า AI ในพื้นที่บางอย่างรวมทั้งสามอย่างเข้าด้วยกัน: โมเดลการฝังสำหรับการดึงข้อมูล โมเดลข้อความสำหรับคำตอบ และโมเดลการมองเห็นสำหรับการป้อนรูปภาพ
เรื่องนี้สำคัญเนื่องจากข้อกำหนดด้านฮาร์ดแวร์แตกต่างกัน โมเดล 7B GGUF แบบข้อความเท่านั้นอาจทำงานได้อย่างสะดวกสบายบน GPU แบบเรียบง่าย โมเดลการมองเห็นอาจต้องใช้หน่วยความจำเพิ่มเติมสำหรับตัวเข้ารหัสรูปภาพ โมเดลการฝังอาจมีขนาดเล็กและเร็วเพียงพอสำหรับการใช้งาน CPU เครื่องมือแนะนำที่ดีควรถามเกี่ยวกับกรณีการใช้งานก่อนจัดอันดับโมเดล
ความพอดีของฮาร์ดแวร์มาก่อนความนิยม
การดาวน์โหลดและการถูกใจเป็นสัญญาณที่มีประโยชน์ แต่ไม่ได้พิสูจน์ว่าโมเดลจะทำงานได้ดีบนเครื่องของคุณ VRAM, ระบบ RAM, หน่วยความจำแบบรวม, ความเร็ว CPU, แบนด์วิธหน่วยความจำ, การหาปริมาณ, ความยาวบริบท และโอเวอร์เฮดรันไทม์ ล้วนแต่เปลี่ยนคำตอบ 12GB GPU, 24GB GPU และ 64GB Apple Silicon Mac ไม่ควรได้รับคำแนะนำเริ่มต้นเดียวกัน
สำหรับผู้ใช้ส่วนใหญ่ ตัวกรองแรกควรเป็นว่าโมเดลสามารถทำงานได้โดยไม่ต้องกดดันหน่วยความจำหรือไม่ ตัวกรองที่สองควรเหมาะสมกับงาน เมื่อนั้นความนิยม ความเข้มแข็งของเกณฑ์มาตรฐาน และความสนใจของชุมชนจึงควรมีอิทธิพลต่อคำสั่งซื้อ วิธีนี้จะช่วยหลีกเลี่ยงการแนะนำโมเดลที่ดูดีในทางทฤษฎี แต่น่าหงุดหงิดในการใช้งานในท้องถิ่น
การกำหนดปริมาณและรูปแบบไฟล์จะตัดสินใจดาวน์โหลดในทางปฏิบัติ
ผู้ใช้ภายในเครื่องจำนวนมากดาวน์โหลดไฟล์ GGUF เนื่องจากได้รับการสนับสนุนอย่างกว้างขวางโดยรันไทม์สไตล์ llama.cpp และปรากฏบ่อยครั้งบน Hugging Face Q4 เวอร์ชันเหมาะกับอุปกรณ์มากกว่า Q5 และ Q6 มักจะดีกว่าการแลกเปลี่ยนรายวันที่ดีกว่าเมื่อหน่วยความจำอนุญาต Q8 ใช้หน่วยความจำมากขึ้น แต่ยังคงความแม่นยำไว้มากขึ้น คำตอบที่ถูกต้องมักจะเป็นตัวแปรของไฟล์ที่เฉพาะเจาะจง ไม่ใช่เพียงชื่อตระกูลของโมเดล
Ollama และ LM Studio ทำให้เวิร์กโฟลว์ง่ายขึ้น แต่ไม่ได้ขจัดความจำเป็นในการทำความเข้าใจขนาดและความพอดี ก่อนดาวน์โหลด ผู้ใช้ควรตรวจสอบการ์ดรุ่น ใบอนุญาต ขนาดพารามิเตอร์ ปริมาณ ขนาดไฟล์ และความเข้ากันได้ของเครื่องมือ Local LLM ควรเชื่อมโยงโดยตรงไปยังหน้า Hugging Face เพื่อให้ผู้ใช้สามารถตรวจสอบแหล่งที่มาก่อนที่จะติดตั้งสิ่งใด ๆ
ตารางการตัดสินใจง่ายๆ
สำหรับการเขียนส่วนตัวและการแชททั่วไป ให้เลือกรูปแบบคำสั่งที่มีความเสถียรซึ่งเหมาะกับหน่วยความจำของคุณอย่างเต็มที่และตอบสนองอย่างรวดเร็ว สำหรับการเขียนโค้ด ควรใช้โมเดลที่ปรับแต่งการเขียนโค้ดซึ่งมีบริบทเพียงพอสำหรับไฟล์และบันทึกข้อผิดพลาด สำหรับงานด้านรูปภาพ ให้เลือกโมเดลต่อเนื่องหลายรูปแบบที่แท้จริง แทนที่จะเป็นโมเดลแบบข้อความเท่านั้นที่ให้คะแนนสูง สำหรับการค้นหาและ RAG ให้เพิ่มโมเดลการฝังขนาดเล็ก และแยกโมเดลการสร้างออกจากกัน
หากอุปกรณ์ของคุณมี 6GB ถึง 8GB VRAM ให้เริ่มต้นจากขนาดเล็กและระมัดระวัง หากคุณมี 12GB ถึง 24GB VRAM ให้เปรียบเทียบโมเดล 7B กับ 14B และการหาปริมาณที่มากขึ้น หากคุณมี 64GB หรือมากกว่าหน่วยความจำแบบรวม โมเดลโลคัลที่ใหญ่กว่าจะกลายเป็นจริง แต่คุณยังคงต้องการพื้นที่สำหรับระบบปฏิบัติการ KV cache เครื่องมือ และแท็บเบราว์เซอร์
คำถามที่พบบ่อย
โมเดล AI ในพื้นที่ที่ดีที่สุดคืออะไร ไม่มีผู้ชนะเพียงคนเดียว โมเดลที่ดีที่สุดขึ้นอยู่กับฮาร์ดแวร์ งาน ความต้องการความเป็นส่วนตัว รันไทม์ และการเลือกปริมาณ
โมเดล AI ในพื้นที่เป็นแบบส่วนตัวหรือไม่ สิ่งเหล่านี้อาจเป็นส่วนตัวมากขึ้นเนื่องจากข้อความแจ้งสามารถอยู่บนเครื่องของคุณได้ แต่คุณยังต้องเชื่อถือแหล่งที่มาของโมเดล ใบอนุญาต และการตั้งค่าเซิร์ฟเวอร์ในเครื่อง
ผู้เริ่มต้นควรใช้ Ollama หรือ LM Studio ทั้งสองสามารถเป็นจุดเริ่มต้นที่ดีได้ LM Studio สะดวกสบายสำหรับการเรียกดูและดาวน์โหลดโมเดล ในขณะที่ Ollama เป็นที่นิยมสำหรับบรรทัดคำสั่งธรรมดาและเวิร์กโฟลว์ API
ตอนนี้ฉันควรเลือกอย่างไร? ป้อน VRAM, RAM ระบบปฏิบัติการ งาน และการกำหนดค่าตามความชอบใน Local LLM จากนั้นเปรียบเทียบตัวแปรรุ่นที่เข้ากันได้ก่อนที่จะดาวน์โหลด