Local LLM

ศูนย์บล็อก

บล็อก Local LLM

คู่มือเชิงปฏิบัติเกี่ยวกับ VRAM, Mac, quantization, โมเดลเขียนโค้ด และโมเดล vision แบบโลคัล

คู่มือหน่วยความจำวิดีโอ

รุ่นใหญ่ในพื้นที่ใดบ้างที่สามารถเรียกใช้งานด้วยหน่วยความจำกราฟิกที่แตกต่างกันได้

ตั้งแต่ 6GB, 8GB, 12GB, 24GB ถึง 48GB อธิบายว่าปริมาตรพารามิเตอร์ของโมเดล เวอร์ชันเชิงปริมาณ แคช KV และโอเวอร์เฮดของระบบรวมกันเพื่อพิจารณาว่าสามารถโหลดได้หรือไม่

อ่านบทความ

ชิปแอปเปิ้ล

Apple Unified Memory ส่งผลต่อ LLM ในเครื่องอย่างไร

อธิบายว่าทำไมหน่วยความจำทั้งหมดบน Mac จึงไม่สามารถใช้เป็นหน่วยความจำวิดีโอได้ และวิธีเลือกรุ่นที่เหมาะสมสำหรับเครื่องขนาด 16GB, 32GB, 64GB และ 128GB

อ่านบทความ

ปริมาณ

Q4, Q5, Q6, Q8 ฉันควรเลือกปริมาณอย่างไร

การกำหนดปริมาณ GGUF ทั่วไปของการใช้หน่วยความจำ การสูญเสียคุณภาพ และการแลกเปลี่ยนความเร็ว ช่วยให้ผู้ใช้เข้าใจการตั้งค่าสามประการ ได้แก่ ลำดับความสำคัญด้านคุณภาพ ความสมดุล และบริบทที่ยาวนาน

อ่านบทความ

รูปแบบการเขียนโปรแกรม

จะเลือก LLM ท้องถิ่นที่เหมาะสมสำหรับการเขียนโปรแกรมได้อย่างไร

จากสี่สถานการณ์ของการสร้างโค้ด การตีความ การสร้างใหม่ และบริบทที่ยาว ให้อธิบายว่าเหตุใดวัตถุประสงค์ในการเขียนโปรแกรมจึงไม่สามารถดูแค่ขนาดโมเดลและปริมาณการดาวน์โหลดเท่านั้น

อ่านบทความ

ต่อเนื่องหลายรูปแบบ

จะรันโมเดลวิชั่นท้องถิ่นและโมเดลหลายกิริยาได้อย่างไร

บทความนี้จะแนะนำปัญหาเพิ่มเติมของหน่วยความจำกราฟิก ตัวเข้ารหัสรูปภาพ บริบท และการสนับสนุนแบ็คเอนด์การให้เหตุผลซึ่งจำเป็นต้องพิจารณาในแบบจำลองภาพเมื่อเปรียบเทียบกับแบบจำลองข้อความ

อ่านบทความ

การเลือกเครื่องมือ

Ollama, LM Studio และ llama.cpp แตกต่างกันอย่างไร

อธิบายให้ผู้ใช้ทั่วไปทราบถึงประสบการณ์การติดตั้ง การจัดการโมเดล การปรับแต่งประสิทธิภาพ และกลุ่มที่เกี่ยวข้องของวิธีการทำงานทั่วไปสามวิธี

อ่านบทความ