Câu trả lời ngắn gọn: lựa chọn LLM cục bộ là lựa chọn phần cứng
Hầu hết các câu hỏi LLM cục bộ cuối cùng đều quay trở lại phần cứng. Mô hình phải vừa với bộ nhớ khả dụng, chạy ở tốc độ có thể sử dụng và phù hợp với nhiệm vụ. Một model có benchmark xuất sắc nhưng lại gây khó chịu trên máy tính không phải là một gợi ý tốt cho bạn. Một mô hình nhỏ hơn hoàn toàn phù hợp có thể là câu trả lời hàng ngày tốt hơn.
Câu hỏi thường gặp này được thiết kế dành cho những người dùng sắp tải xuống một mô hình và muốn có câu trả lời rõ ràng trước tiên. Nó bao gồm VRAM, RAM, lượng tử hóa, công cụ, quyền riêng tư, tốc độ, sử dụng ngoại tuyến và sự khác biệt giữa các mô hình tải về mặt kỹ thuật và các mô hình dễ sử dụng.
Tôi cần bao nhiêu VRAM?
Không có số VRAM duy nhất cho mỗi LLM địa phương. 6GB đến 8GB có thể chạy các mô hình lượng tử hóa nhỏ. 12GB đến 16GB thoải mái hơn đối với nhiều quy trình công việc 7B và một số 14B. 24GB mở ra các mô hình lập luận và mã hóa cục bộ mạnh mẽ hơn. 48GB trở lên cung cấp nhiều không gian hơn cho các mô hình lớn, lượng tử hóa cao hơn và bối cảnh dài hơn.
VRAM không chỉ dành cho trọng lượng mẫu. KV cache, chi phí thời gian chạy, việc sử dụng hiển thị và việc sử dụng bộ nhớ GPU khác cũng quan trọng. Bối cảnh dài làm tăng áp lực bộ nhớ. Đây là lý do tại sao một mô hình có thể vừa với cài đặt ngữ cảnh ngắn nhưng bị lỗi hoặc chạy chậm khi cửa sổ ngữ cảnh được nâng lên.
Tôi có thể chạy LLM cục bộ mà không có GPU không?
Có, nhưng kỳ vọng phải thực tế. CPU-chỉ LLM cục bộ mới có thể hoạt động cho các mô hình nhỏ, thử nghiệm, lời nhắc không thường xuyên và các tác vụ ngoại tuyến riêng tư. Chúng thường có cảm giác chậm hơn so với suy luận dựa trên GPU, đặc biệt đối với các mô hình lớn hơn hoặc phản hồi dài. Hệ thống RAM và băng thông bộ nhớ trở thành những giới hạn chính.
Nếu bạn chỉ có CPU, hãy chọn một mô hình nhỏ, lượng tử hóa vừa phải và bối cảnh vừa phải. Nếu bạn dự định sử dụng LLM cục bộ mỗi ngày để viết mã hoặc trò chuyện dài, hệ thống GPU hoặc Apple Silicon thường sẽ mang lại cảm giác tốt hơn nhiều.
Q4, Q5, Q6 và Q8 nghĩa là gì?
Các nhãn này mô tả các biến thể mô hình lượng tử hóa. Lượng tử hóa thấp hơn thường sử dụng ít bộ nhớ hơn và phù hợp với nhiều thiết bị hơn. Lượng tử hóa cao hơn thường bảo toàn chất lượng hơn nhưng cần nhiều bộ nhớ hơn. Q4 thường là điểm vào, Q5 và Q6 là những sự cân bằng phổ biến hàng ngày và Q8 rất hữu ích khi bạn có đủ bộ nhớ và muốn giảm chất lượng ít hơn.
Lượng tử hóa tốt nhất phụ thuộc vào nhiệm vụ. Viết và trò chuyện có thể chấp nhận lượng tử hóa thấp hơn tốt hơn so với viết mã hoặc lý luận khó. Công việc có ngữ cảnh dài có thể thích biến thể nhỏ hơn để có đủ bộ nhớ cho KV cache. Đề xuất phải hiển thị biến thể thực tế, không chỉ dòng mẫu.
LLM địa phương có riêng tư và ngoại tuyến không?
Local LLMs có thể riêng tư hơn vì các lời nhắc và tệp có thể vẫn còn trên máy của bạn sau khi mô hình được tải xuống. Chúng cũng có thể hoạt động ngoại tuyến nếu các tệp thời gian chạy và mô hình đã được cài đặt. Điều này hữu ích cho các ghi chú riêng tư, mã chưa được xuất bản, du lịch và quy trình làm việc mà quyền truy cập vào đám mây không đáng tin cậy.
Quyền riêng tư không tự động. Bạn vẫn cần phải tin tưởng vào nguồn mô hình, kiểm tra giấy phép, tránh để máy chủ cục bộ tiếp cận với Internet công cộng và tìm hiểu xem có bất kỳ công cụ được kết nối nào có đồng bộ hóa nhật ký hoặc lời nhắc hay không. Kiểm soát cục bộ làm giảm sự phụ thuộc vào nhà cung cấp đám mây nhưng không loại bỏ trách nhiệm vận hành.
Câu hỏi thường gặp
Tôi nên sử dụng công cụ nào đầu tiên? LM Studio là điểm bắt đầu đồ họa tốt, Ollama là điểm bắt đầu API cục bộ và dòng lệnh tốt, và llama.cpp rất mạnh mẽ khi bạn muốn kiểm soát mức độ thấp hơn.
Tại sao mô hình của tôi chạy chậm? Nó có thể quá lớn, sử dụng giảm tải CPU, chạy với quá nhiều ngữ cảnh hoặc bị giới hạn bởi băng thông bộ nhớ thay vì tính toán thô.
Số lượt tải xuống và lượt thích có đủ để chọn một mô hình không? Không. Chúng thể hiện sự quan tâm của cộng đồng chứ không phải liệu mô hình có phù hợp với phần cứng hoặc nhiệm vụ của bạn hay không.
Tôi nên làm gì tiếp theo? Sử dụng Local LLM để nhập phần cứng và tác vụ của bạn, sau đó mở trang Hugging Face được đề xuất trước khi tải xuống.