ศูนย์บล็อก
คู่มือเชิงปฏิบัติเกี่ยวกับ VRAM, Mac, quantization, โมเดลเขียนโค้ด และโมเดล vision แบบโลคัล
คู่มือหน่วยความจำวิดีโอ
ตั้งแต่ 6GB, 8GB, 12GB, 24GB ถึง 48GB อธิบายว่าปริมาตรพารามิเตอร์ของโมเดล เวอร์ชันเชิงปริมาณ แคช KV และโอเวอร์เฮดของระบบรวมกันเพื่อพิจารณาว่าสามารถโหลดได้หรือไม่
อ่านบทความชิปแอปเปิ้ล
อธิบายว่าทำไมหน่วยความจำทั้งหมดบน Mac จึงไม่สามารถใช้เป็นหน่วยความจำวิดีโอได้ และวิธีเลือกรุ่นที่เหมาะสมสำหรับเครื่องขนาด 16GB, 32GB, 64GB และ 128GB
อ่านบทความปริมาณ
การกำหนดปริมาณ GGUF ทั่วไปของการใช้หน่วยความจำ การสูญเสียคุณภาพ และการแลกเปลี่ยนความเร็ว ช่วยให้ผู้ใช้เข้าใจการตั้งค่าสามประการ ได้แก่ ลำดับความสำคัญด้านคุณภาพ ความสมดุล และบริบทที่ยาวนาน
อ่านบทความรูปแบบการเขียนโปรแกรม
จากสี่สถานการณ์ของการสร้างโค้ด การตีความ การสร้างใหม่ และบริบทที่ยาว ให้อธิบายว่าเหตุใดวัตถุประสงค์ในการเขียนโปรแกรมจึงไม่สามารถดูแค่ขนาดโมเดลและปริมาณการดาวน์โหลดเท่านั้น
อ่านบทความต่อเนื่องหลายรูปแบบ
บทความนี้จะแนะนำปัญหาเพิ่มเติมของหน่วยความจำกราฟิก ตัวเข้ารหัสรูปภาพ บริบท และการสนับสนุนแบ็คเอนด์การให้เหตุผลซึ่งจำเป็นต้องพิจารณาในแบบจำลองภาพเมื่อเปรียบเทียบกับแบบจำลองข้อความ
อ่านบทความการเลือกเครื่องมือ
อธิบายให้ผู้ใช้ทั่วไปทราบถึงประสบการณ์การติดตั้ง การจัดการโมเดล การปรับแต่งประสิทธิภาพ และกลุ่มที่เกี่ยวข้องของวิธีการทำงานทั่วไปสามวิธี
อ่านบทความคู่มือ VRAM
การ์ด 6GB รันอะไรได้จริง ระดับ quantization ใดเหมาะ และเมื่อใดควรอัปเกรด
อ่านบทความคู่มือฮาร์ดแวร์
เลือก GPU สำหรับ LLM ในเครื่องจาก VRAM แบนด์วิดท์ ซอฟต์แวร์ และขนาดโมเดลที่ต้องการ
อ่านบทความการเลือกโมเดล
จับคู่ RAM, VRAM, ระบบ, งานใช้งาน และคุณภาพกับโมเดลที่รันได้จริง
อ่านบทความคู่มือโมเดล
คู่มือเชิงปฏิบัติสำหรับตระกูลโมเดล local LLM จำนวนพารามิเตอร์ ไฟล์ GGUF ระดับ quantization ความยาวบริบท และวิธีเลือกโมเดลที่เหมาะกับฮาร์ดแวร์ของคุณ
อ่านบทความคู่มือฮาร์ดแวร์
คู่มือที่เริ่มจากฮาร์ดแวร์สำหรับความต้องการ VRAM ของ local LLMs ครอบคลุม weights ของโมเดล quantization, KV cache, ความยาวบริบท, overhead ของ runtime และระดับ GPU ที่ใช้งานได้จริง
อ่านบทความคู่มือ Windows
คู่มือ Windows เชิงปฏิบัติสำหรับการรัน local LLMs ด้วย Ollama, LM Studio, llama.cpp, driver GPU, การเลือกโมเดล, การวางแผน VRAM และขั้นตอนแก้ปัญหาที่พบบ่อย
อ่านบทความคู่มือ macOS
คู่มือ macOS เชิงปฏิบัติสำหรับการรัน local LLM บน Apple Silicon ครอบคลุม unified memory, MLX, Metal, Ollama, LM Studio, llama.cpp, การเลือกโมเดล และข้อจำกัดที่สมจริง
อ่านบทความคู่มือ Linux
คู่มือ Linux เชิงปฏิบัติสำหรับการรัน local LLM ด้วย NVIDIA CUDA, AMD ROCm, Ollama, LM Studio, llama.cpp, รูปแบบโมเดล, การวางแผน VRAM และความปลอดภัยของเซิร์ฟเวอร์
อ่านบทความคู่มือโมเดล
คู่มือเชิงปฏิบัติสำหรับการเลือกโมเดล local AI ที่ดีที่สุดสำหรับแชต การเขียนโค้ด การเขียน คณิตศาสตร์ วิชัน และการใช้งานออฟไลน์ โดยอิงจากความเหมาะสมกับฮาร์ดแวร์ quantization เบนช์มาร์ก และรูปแบบโมเดล
อ่านบทความคู่มือโมเดล
คู่มือเชิงปฏิบัติสำหรับการเลือกโมเดล Local LLM ที่ดีที่สุดให้เหมาะกับฮาร์ดแวร์ของคุณ ครอบคลุมขนาดโมเดล quantization, ไฟล์ GGUF, งานเขียนโค้ด, งานเขียน, reasoning, vision และความพอดีกับหน่วยความจำ
อ่านบทความคู่มือโมเดล
คู่มือเชิงปฏิบัติสำหรับการหา LLM ที่ดีที่สุดสำหรับรันในเครื่องบนคอมพิวเตอร์ของคุณ โดยอิงจาก VRAM, RAM, ระบบปฏิบัติการ, ขนาดโมเดล, quantization, ความเร็ว, ความเป็นส่วนตัว และกรณีการใช้งาน
อ่านบทความคู่มือเปรียบเทียบ
การเปรียบเทียบเชิงปฏิบัติระหว่าง Local LLM และ cloud LLM ในด้านความเป็นส่วนตัว ต้นทุน ความเร็ว คุณภาพ ฮาร์ดแวร์ การใช้งานออฟไลน์ การบำรุงรักษา และเวิร์กโฟลว์จริง
อ่านบทความคู่มือรุ่น
คู่มือที่ใช้งานได้จริงสำหรับโมเดล AI ในพื้นที่ ครอบคลุม LLM, โมเดลการมองเห็น, การฝัง, ความพอดีของฮาร์ดแวร์, การกำหนดปริมาณ, ความเป็นส่วนตัว, เครื่องมือ และตัวเลือกการดาวน์โหลด
อ่านบทความOffline AI
คู่มือเชิงปฏิบัติเกี่ยวกับสิ่งที่ AI ออฟไลน์สามารถทำได้ในพื้นที่ รวมถึงการแชท การเขียนโค้ด การเขียน การสรุป การฝัง การมองเห็น ขีดจำกัดของฮาร์ดแวร์ และการแลกเปลี่ยนความเป็นส่วนตัว
อ่านบทความคู่มือเริ่มต้น
คู่มือสำหรับผู้เริ่มต้นใช้งาน LLM ในพื้นที่ อธิบายฮาร์ดแวร์ VRAM, RAM การหาปริมาณ ไฟล์โมเดล เครื่องมือ ความเป็นส่วนตัว และวิธีการเลือกรุ่นแรก
อ่านบทความคู่มือการตั้งค่า
รายการตรวจสอบการตั้งค่าที่ใช้งานได้จริงสำหรับการเรียกใช้ LLM ภายใน ครอบคลุมฮาร์ดแวร์ VRAM, RAM ตัวเลือกรุ่น การหาปริมาณ เครื่องมือ เซิร์ฟเวอร์ภายใน การทดสอบ และความปลอดภัย
อ่านบทความคำถามที่พบบ่อย
คำตอบที่ชัดเจนของคำถามทั่วไปเกี่ยวกับ LLM ในพื้นที่เกี่ยวกับตัวเลือก VRAM, RAM, GPU การกำหนดปริมาณ ความเป็นส่วนตัว ความเร็ว การใช้งานออฟไลน์ เครื่องมือ และการดาวน์โหลดโมเดล
อ่านบทความคู่มือเครื่องมือ
คำแนะนำที่เป็นประโยชน์สำหรับการใช้ Cursor กับ LLM ภายในเครื่อง ครอบคลุม Ollama, LM Studio, OpenAI-compatible endpoints, โมเดลการเขียนโค้ด, ขีดจำกัดของฮาร์ดแวร์, ความเร็ว, ความเป็นส่วนตัว และการตรวจสอบการตั้งค่า
อ่านบทความคู่มือเครื่องมือ
คู่มือโมเดลท้องถิ่นของ Cursor.ai ที่ใช้งานได้จริงครอบคลุมตำแหน่งข้อมูล OpenAI-compatible, Ollama, LM Studio, โมเดลการเขียนโค้ด, ขีดจำกัดของฮาร์ดแวร์, ความเป็นส่วนตัว, ความเร็ว และการแก้ไขปัญหา
อ่านบทความการเลือกรุ่น
คู่มือฮาร์ดแวร์เบื้องต้นในการเลือก LLM ในพื้นที่ที่ดีที่สุดสำหรับ Cursor ครอบคลุมคุณภาพการเขียนโค้ด บริบท ความเร็ว การหาปริมาณ VRAM ความเป็นส่วนตัว และการทดสอบภาคปฏิบัติ
อ่านบทความคู่มือเครื่องมือ
คู่มือ LLM ท้องถิ่นของ LM Studio ครอบคลุมการดาวน์โหลดโมเดล ตัวเลือก GGUF และ MLX การตั้งค่าเซิร์ฟเวอร์ OpenAI-compatible ความพอดีของฮาร์ดแวร์ ความเป็นส่วนตัว และการทดสอบ
อ่านบทความ