Trung tâm blog
Hướng dẫn thực tế về VRAM, Mac, lượng tử hóa, mô hình lập trình và mô hình thị giác cục bộ.
Hướng dẫn bộ nhớ video
Từ 6GB, 8GB, 12GB, 24GB đến 48GB, hãy giải thích cách kết hợp khối lượng tham số mô hình, phiên bản lượng tử hóa, bộ đệm KV và chi phí hệ thống để xác định xem có thể tải được hay không.
Đọc bàichip táo
Giải thích tại sao tổng bộ nhớ trên Mac không thể dùng làm bộ nhớ video và cách chọn model phù hợp cho máy 16GB, 32GB, 64GB và 128GB.
Đọc bàiĐịnh lượng
Việc định lượng GGUF phổ biến hơn về việc sử dụng bộ nhớ, giảm chất lượng và cân bằng tốc độ giúp người dùng hiểu được ba ưu tiên về ưu tiên chất lượng, cân bằng và bối cảnh dài.
Đọc bàimô hình lập trình
Từ bốn kịch bản tạo, giải thích, xây dựng lại và bối cảnh dài, hãy giải thích lý do tại sao mục đích lập trình không thể chỉ nhìn vào kích thước mô hình và khối lượng tải xuống.
Đọc bàiđa phương thức
Bài viết này giới thiệu thêm các vấn đề về bộ nhớ đồ họa, bộ mã hóa hình ảnh, bối cảnh và hỗ trợ back-end lý luận cần được xem xét trong các mô hình trực quan so với mô hình văn bản.
Đọc bàiLựa chọn công cụ
Giải thích cho người dùng thông thường trải nghiệm cài đặt, quản lý mô hình, điều chỉnh hiệu suất và các nhóm áp dụng của ba phương pháp chạy cục bộ phổ biến.
Đọc bàiHướng dẫn VRAM
GPU 6 GB chạy được gì, mức lượng tử hóa nào hợp lý và khi nào nên nâng cấp.
Đọc bàiHướng dẫn phần cứng
Chọn GPU cho suy luận cục bộ theo VRAM, băng thông, hỗ trợ phần mềm và kích thước mô hình.
Đọc bàiChọn mô hình
Ghép RAM, VRAM, hệ điều hành, mục đích và ưu tiên chất lượng với mô hình thật sự chạy được.
Đọc bàiHướng dẫn về model
Hướng dẫn thực tế về các họ model Local LLM, số lượng tham số, tệp GGUF, mức lượng tử hóa, độ dài ngữ cảnh và cách chọn model phù hợp với phần cứng của bạn.
Đọc bàiHướng dẫn phần cứng
Hướng dẫn ưu tiên phần cứng về yêu cầu VRAM cho local LLM, bao gồm trọng số model, lượng tử hóa, KV cache, độ dài ngữ cảnh, runtime overhead và các phân khúc GPU thực tế.
Đọc bàiHướng dẫn Windows
Hướng dẫn Windows thực tế để chạy local LLM với Ollama, LM Studio, llama.cpp, GPU driver, chọn model, lập kế hoạch VRAM và các bước khắc phục sự cố thường gặp.
Đọc bàihướng dẫn macOS
Một hướng dẫn macOS thực tế để chạy local LLM trên Apple Silicon, bao gồm bộ nhớ hợp nhất, MLX, Metal, Ollama, LM Studio, llama.cpp, lựa chọn mô hình và các giới hạn thực tế.
Đọc bàiHướng dẫn Linux
Hướng dẫn Linux thực tế để chạy local LLM với NVIDIA CUDA, AMD ROCm, Ollama, LM Studio, llama.cpp, định dạng mô hình, lập kế hoạch VRAM và an toàn máy chủ.
Đọc bàiHướng dẫn mô hình
Hướng dẫn thực tế để chọn các mô hình local AI tốt nhất cho chat, lập trình, viết nội dung, toán học, thị giác và sử dụng offline dựa trên mức độ phù hợp với phần cứng, lượng tử hóa, benchmark và định dạng mô hình.
Đọc bàiHướng dẫn model
Hướng dẫn thực tế để chọn các model Local LLM tốt nhất cho phần cứng của bạn, bao gồm kích thước model, quantization, tệp GGUF, lập trình, viết nội dung, suy luận, thị giác và mức độ vừa bộ nhớ.
Đọc bàiHướng dẫn mô hình
Hướng dẫn thực tế để tìm LLM tốt nhất để chạy cục bộ trên máy tính của bạn, dựa trên VRAM, RAM, hệ điều hành, kích thước mô hình, lượng tử hóa, tốc độ, quyền riêng tư và trường hợp sử dụng.
Đọc bàiHướng dẫn so sánh
Một so sánh thực tế giữa local LLM và cloud LLM về quyền riêng tư, chi phí, tốc độ, chất lượng, phần cứng, sử dụng ngoại tuyến, bảo trì và các quy trình làm việc trong thực tế.
Đọc bàiHướng dẫn làm mẫu
Hướng dẫn thực tế về các mô hình AI cục bộ, bao gồm LLM, mô hình tầm nhìn, nội dung nhúng, phần cứng phù hợp, lượng tử hóa, quyền riêng tư, công cụ và các lựa chọn tải xuống.
Đọc bàiOffline AI
Hướng dẫn thực tế về những gì AI ngoại tuyến có thể thực hiện cục bộ, bao gồm trò chuyện, mã hóa, viết, tóm tắt, nhúng, tầm nhìn, giới hạn phần cứng và cân bằng quyền riêng tư.
Đọc bàiHướng dẫn cho người mới bắt đầu
Hướng dẫn thân thiện với người mới bắt đầu về LLM cục bộ, giải thích phần cứng, VRAM, RAM, lượng tử hóa, tệp mô hình, công cụ, quyền riêng tư và cách chọn mô hình đầu tiên.
Đọc bàiHướng dẫn thiết lập
Danh sách kiểm tra thiết lập thực tế để chạy LLM cục bộ, bao gồm phần cứng, VRAM, RAM, lựa chọn mô hình, lượng tử hóa, công cụ, máy chủ cục bộ, kiểm tra và an toàn.
Đọc bàiCâu hỏi thường gặp
Câu trả lời rõ ràng cho các câu hỏi LLM địa phương phổ biến về VRAM, RAM, GPU lựa chọn, lượng tử hóa, quyền riêng tư, tốc độ, sử dụng ngoại tuyến, công cụ và tải xuống mô hình.
Đọc bàiHướng dẫn công cụ
Hướng dẫn thực tế về cách sử dụng Cursor với LLM cục bộ, bao gồm Ollama, LM Studio, OpenAI-compatible endpoints, mô hình mã hóa, giới hạn phần cứng, tốc độ, quyền riêng tư và kiểm tra thiết lập.
Đọc bàiHướng dẫn công cụ
Hướng dẫn mô hình cục bộ Cursor.ai thực tế bao gồm các điểm cuối OpenAI-compatible, Ollama, LM Studio, mô hình mã hóa, giới hạn phần cứng, quyền riêng tư, tốc độ và xử lý sự cố.
Đọc bàiLựa chọn mô hình
Hướng dẫn về phần cứng đầu tiên để chọn LLM cục bộ tốt nhất cho Cursor, bao gồm chất lượng mã hóa, ngữ cảnh, tốc độ, lượng tử hóa, VRAM, quyền riêng tư và thử nghiệm thực tế.
Đọc bàiHướng dẫn công cụ
Hướng dẫn LLM cục bộ LM Studio thực tế bao gồm tải xuống mô hình, các lựa chọn GGUF và MLX, thiết lập máy chủ OpenAI-compatible, phần cứng phù hợp, quyền riêng tư và thử nghiệm.
Đọc bài