Bắt đầu từ máy tính của bạn, không phải bảng xếp hạng
LLM tốt nhất để chạy cục bộ không đơn giản là mô hình có thứ hạng cao nhất trên một benchmark công khai. Suy luận cục bộ có một ràng buộc cứng: mô hình phải tải được và phản hồi ở tốc độ có thể sử dụng trên máy của bạn. Một laptop có 8GB VRAM, một desktop có 24GB VRAM và một Mac có 64GB bộ nhớ hợp nhất không nên nhận cùng một câu trả lời. Phần cứng thay đổi tập ứng viên trước khi việc xếp hạng chất lượng bắt đầu.
Đây là khác biệt chính giữa việc chọn một mô hình cloud và chọn một mô hình cục bộ. Các mô hình cloud che giấu hạ tầng phía sau một API. Các mô hình cục bộ phơi bày trực tiếp sự đánh đổi: trọng số, lượng tử hóa, KV cache, độ dài ngữ cảnh, backend GPU, băng thông bộ nhớ và chi phí runtime. Khuyến nghị tốt nhất bắt đầu bằng việc hỏi bạn có thể chạy gì, rồi mới hỏi bạn muốn làm gì.
Với 6GB đến 8GB VRAM, hãy chọn nhỏ và ổn định
GPU 6GB hoặc 8GB vẫn có thể hữu ích cho local LLM, nhưng kỳ vọng cần thực tế. Các mô hình nhỏ và các biến thể 3B, 4B, 7B hoặc 8B được lượng tử hóa cẩn thận là vùng thực tế. Q4 có thể cần thiết để vừa các mô hình nhỏ nhưng lớn hơn, trong khi Q5 hoặc Q6 có thể khả thi với các mô hình nhỏ hơn. Ngữ cảnh dài và mô hình thị giác có thể nhanh chóng vượt quá vùng thoải mái.
Với các máy này, local LLM tốt nhất thường là mô hình chạy hoàn toàn trên GPU với đủ khoảng dự phòng. Nó có thể không phải là mô hình lớn nhất trong danh sách. Nó nên phản hồi nhanh, ổn định và phù hợp với tác vụ. Với lập trình, một mô hình nhỏ được tinh chỉnh cho code có thể hỗ trợ các đoạn mã và giải thích. Với viết lách, một mô hình instruction nhỏ có thể đủ cho bản nháp và viết lại.
Với 12GB đến 24GB VRAM, cân bằng chất lượng và khoảng dự phòng
GPU 12GB là một mức nền thoải mái hơn cho nhiều mô hình 7B và một số biến thể 14B được lượng tử hóa. GPU 16GB cho nhiều khoảng trống hơn cho ngữ cảnh và mức lượng tử hóa cao hơn. GPU 24GB là một phân khúc tiêu dùng mạnh, nơi các mô hình lập trình, viết lách và suy luận tốt hơn trở nên thực tế hơn. Đây là dải mà chất lượng khuyến nghị bắt đầu quan trọng hơn vì nhiều ứng viên có thể chạy vừa.
LLM tốt nhất để chạy cục bộ trong phân khúc này phụ thuộc rất nhiều vào trường hợp sử dụng. Lập trình có thể ưu tiên mô hình được tinh chỉnh cho code và đủ ngữ cảnh cho các tệp. Viết tổng quát có thể ưu tiên độ trôi chảy và tốc độ. Suy luận có thể cần các tín hiệu chất lượng mạnh hơn. Tác vụ thị giác yêu cầu hỗ trợ đa phương thức. Một công cụ không nên hiển thị một câu trả lời phổ quát duy nhất khi cùng một GPU có thể hỗ trợ vài lựa chọn tốt nhất khác nhau.
Với Apple Silicon và các máy có bộ nhớ lớn, hãy dùng dung lượng một cách thông minh
Mac Apple Silicon dùng bộ nhớ hợp nhất, nên CPU, GPU, hệ điều hành và ứng dụng chia sẻ cùng một vùng bộ nhớ. Mac 32GB, 64GB hoặc 128GB có thể mạnh cho công việc local LLM, nhưng không phải toàn bộ bộ nhớ đều khả dụng cho trọng số mô hình. Bộ nhớ hợp nhất lớn hơn cho phép mô hình lớn hơn, lượng tử hóa cao hơn hoặc ngữ cảnh dài hơn, nhưng khuyến nghị tốt nhất vẫn cần khoảng an toàn.
Desktop và workstation có bộ nhớ lớn cũng gặp vấn đề tương tự dưới hình thức khác. Dung lượng lớn hơn mở rộng danh sách ứng viên, nhưng điều đó không có nghĩa mô hình lớn nhất luôn là tốt nhất. Tốc độ, tham số hoạt động, mục tiêu ngữ cảnh, mức tinh chỉnh mô hình và hỗ trợ công cụ vẫn quan trọng. Câu trả lời đúng là mô hình mang lại chất lượng hữu ích tốt nhất trong một cấu hình runtime ổn định.
Đừng bỏ qua quyền riêng tư, sử dụng offline và bảo trì
Chạy LLM cục bộ có thể giữ prompt trên máy của bạn và có thể hoạt động offline sau khi các tệp mô hình được tải xuống. Điều đó có giá trị cho ghi chú riêng tư, bản nháp nhạy cảm, du lịch, thử nghiệm phát triển và người dùng không muốn mọi prompt được gửi tới một cloud API. Nhưng cục bộ không tự động đồng nghĩa với không có rủi ro. Người dùng vẫn cần kiểm tra giấy phép, nguồn gốc mô hình, cài đặt công cụ và việc phơi bày máy chủ cục bộ.
Bảo trì cũng là một phần của lựa chọn. Các mô hình cloud có thể cập nhật âm thầm và mở rộng quy mô mà không cần phần cứng cục bộ, trong khi mô hình cục bộ yêu cầu tải xuống, lưu trữ, tương thích driver và thỉnh thoảng khắc phục sự cố. Vì vậy, local LLM tốt nhất không chỉ là lựa chọn về chất lượng; nó cũng là lựa chọn về quyền sở hữu. Bạn đánh đổi sự tiện lợi của cloud để lấy quyền kiểm soát cục bộ.
FAQ
LLM tốt nhất để chạy cục bộ trên 8GB VRAM là gì? Thường là một mô hình 3B đến 8B nhỏ hoặc được lượng tử hóa với ngữ cảnh thận trọng. Câu trả lời chính xác phụ thuộc vào tác vụ của bạn.
GPU 24GB có đủ cho local LLM tốt không? Có. Đây là một trong những phân khúc tiêu dùng hữu ích nhất cho các mô hình lượng tử hóa mạnh, dù các mô hình rất lớn vẫn cần nhiều bộ nhớ hơn.
Tôi có nên chạy local LLM chỉ trên CPU không? Bạn có thể, nhưng hãy chọn mô hình nhỏ và kỳ vọng đầu ra chậm hơn. Thiết lập chỉ dùng CPU phù hợp để thử nghiệm hơn là làm việc hằng ngày tốc độ cao.
Làm thế nào để tôi tìm câu trả lời tốt nhất cho máy tính của mình? Hãy dùng Local LLM với VRAM, RAM, hệ điều hành, trường hợp sử dụng và sở thích của bạn. Nó lọc các biến thể mô hình hiện tại trước khi xếp hạng chúng.