Bắt đầu từ phần cứng, không phải sự thổi phồng về mô hình
Cách nhanh nhất để chọn một Local LLM là bắt đầu với chiếc máy bạn đang có. Độ phổ biến của mô hình có ý nghĩa, nhưng một mô hình không thể tải hoặc chạy ở tốc độ không thể sử dụng được thì không hữu ích. Các đầu vào đầu tiên là VRAM, RAM hệ thống, hệ điều hành, bộ nhớ có phải là unified hay không, và bạn có sẵn sàng dùng CPU offload hay không. Chỉ sau đó bạn mới nên so sánh các họ mô hình.
Một luồng khuyến nghị Local LLM tốt tách ba câu hỏi: nó có tải được không, nó có dùng được không, và nó có phù hợp với tác vụ không. Khả năng tải phụ thuộc vào weights, quantization, KV cache và overhead của runtime. Khả năng sử dụng phụ thuộc vào tốc độ và độ ổn định. Mức độ phù hợp với tác vụ phụ thuộc vào việc mô hình có được tinh chỉnh cho coding, chat tổng quát, toán học, vision hoặc công việc long-context hay không.
Chọn trường hợp sử dụng trước khi chọn mô hình lớn nhất
Các tác vụ khác nhau sẽ hưởng lợi từ các mô hình khác nhau. Một tác vụ coding cần huấn luyện về code, hiểu repository, tuân thủ instruction và định dạng ổn định. Một tác vụ viết cần kiểm soát giọng điệu và sự mạch lạc trong văn bản dài. Một tác vụ vision cần kiến trúc multimodal và image encoder. Một tác vụ toán học hoặc reasoning có thể cần một họ mô hình được tinh chỉnh cho giải quyết vấn đề từng bước.
Đây là lý do cùng một phần cứng có thể tạo ra các khuyến nghị khác nhau khi người dùng chuyển từ General sang Coding hoặc Vision. Trang web không nên xếp hạng một cách mù quáng theo lượt tải xuống hoặc số lượng tham số. Trước tiên, nó nên lọc các mô hình phù hợp với phần cứng, sau đó xếp hạng các lựa chọn còn lại theo trường hợp sử dụng và ưu tiên.
Hiểu vai trò của quantization
Hầu hết người dùng local chạy các mô hình quantized thay vì weights full precision. Quantization giảm mức sử dụng bộ nhớ và giúp mô hình trở nên thực tế trên phần cứng phổ thông. Q4 thường là lựa chọn ưu tiên để vừa vặn trước, Q5 và Q6 có thể cải thiện chất lượng với chi phí bộ nhớ cao hơn, còn Q8 gần với chất lượng đầy đủ hơn nhưng nặng hơn nhiều. Lựa chọn đúng phụ thuộc vào lượng headroom còn lại sau weights và KV cache.
Vì vậy, cụm từ "tôi có thể chạy gì" không có một câu trả lời duy nhất cho mỗi mô hình. Một mô hình có thể chạy được ở Q4 nhưng không chạy được ở Q8, dùng ổn ở context 4K nhưng không ổn ở 32K, hoặc tốt trên full GPU nhưng chậm khi dùng offload. Một trang khuyến nghị hữu ích nên hiển thị quantization đã chọn và phân tích bộ nhớ, chứ không chỉ tên mô hình.
Các thiết lập Mac, Windows, Linux và CPU-only khác nhau
Người dùng Windows và Linux với GPU rời thường nghĩ đến VRAM trước. Người dùng Apple Silicon nghĩ đến unified memory, vì GPU và CPU dùng chung một pool bộ nhớ. Người dùng CPU-only cần thận trọng hơn nữa vì bộ nhớ hệ thống có thể lớn nhưng tốc độ token có thể thấp. Cùng một con số 32GB mang ý nghĩa khác nhau giữa các thiết lập này.
Một công cụ nên phản ánh sự khác biệt đó. Trên Mac, nó nên dành riêng bộ nhớ cho macOS và ứng dụng. Trên GPU rời, nó nên dành riêng VRAM cho màn hình, overhead của framework và KV cache. Trên máy CPU-only, nó nên khuyến nghị các mô hình nhỏ và đặt kỳ vọng về tốc độ thay vì giả vờ rằng chỉ RAM hệ thống là giải quyết được mọi thứ.
Một luồng quyết định thực tế
Đầu tiên, nhập VRAM hoặc unified memory của bạn. Thứ hai, chọn hệ điều hành. Thứ ba, chọn trường hợp sử dụng. Thứ tư, chọn ưu tiên: chất lượng, vừa vặn cân bằng, hoặc headroom cho context. Sau đó chỉ xem các mô hình tương thích. Nếu kết quả quá nhỏ, hãy tăng bộ nhớ hoặc chấp nhận offload. Nếu kết quả quá chậm, hãy ưu tiên các mô hình nhỏ hơn chạy full-GPU.
Cách tiếp cận này giúp người dùng tránh sao chép các khuyến nghị mô hình ngẫu nhiên từ mạng xã hội. Một khuyến nghị hoạt động trên GPU 24GB có thể sai với laptop 8GB. Một mô hình xuất sắc cho coding có thể không cần thiết cho viết lách thông thường. Local LLM nên biến các đánh đổi này thành một danh sách xếp hạng rõ ràng với liên kết Hugging Face đến các trang mô hình thực tế.
FAQ
Tôi có thể chạy Local LLM mà không có GPU không? Có, nhưng thường với các mô hình nhỏ hơn và tốc độ thấp hơn. CPU-only phù hợp nhất để thử nghiệm, ghi chú nhạy cảm về quyền riêng tư, hoặc các tác vụ offline nhẹ.
Tôi có nên luôn chọn mô hình lớn nhất vừa với phần cứng không? Không. Một mô hình nhỏ hơn chạy vừa full-GPU có thể nhanh hơn và dễ chịu hơn một mô hình lớn hơn chỉ vừa đủ.
Tại sao khuyến nghị thay đổi theo thời gian? Các tệp mô hình Hugging Face, lượt tải xuống, quantizations và bản phát hành từ cộng đồng thay đổi thường xuyên, vì vậy dữ liệu mô hình được cache nên được làm mới định kỳ.