Mô hình AI cục bộ chỉ hữu ích nếu nó phù hợp với quy trình làm việc của bạn
Mô hình AI cục bộ là bất kỳ mô hình AI nào chạy trên máy tính của riêng bạn hoặc máy chủ riêng thay vì phụ thuộc vào nhà cung cấp đám mây cho mỗi lời nhắc. Đối với trang web này, các ví dụ quan trọng nhất là LLM cục bộ, mô hình mã hóa, mô hình ngôn ngữ tầm nhìn, mô hình nhúng và các mô hình dành riêng cho nhiệm vụ nhỏ có thể chạy qua các công cụ như Ollama, LM Studio, llama.cpp, MLX hoặc các thời gian chạy tương tự.
Mô hình AI địa phương tốt nhất không chỉ đơn giản là mô hình lớn nhất trên bảng xếp hạng. Đây là mô hình phù hợp với phần cứng của bạn, đáp ứng nhiệm vụ bạn thực sự có, chạy ở tốc độ có thể sử dụng được và sử dụng giấy phép mà bạn có thể chấp nhận. Một mô hình nhỏ hoàn toàn phù hợp với VRAM có thể hữu ích hơn một mô hình lớn hơn nổi tiếng cần giảm tải nặng CPU và phản hồi quá chậm cho công việc hàng ngày.
Bắt đầu bằng cách tách các loại mô hình
LLM văn bản được sử dụng để trò chuyện, viết, tóm tắt, trợ giúp mã hóa và lý luận. Các mô hình thị giác bổ sung thêm hiểu biết về hình ảnh, ảnh chụp màn hình, biểu đồ hoặc hình ảnh tài liệu. Mô hình nhúng biến văn bản thành vectơ để tìm kiếm và RAG. Một số thiết lập AI cục bộ kết hợp cả ba: mô hình nhúng để truy xuất, mô hình văn bản cho câu trả lời và mô hình tầm nhìn để nhập hình ảnh.
Điều này quan trọng vì yêu cầu phần cứng là khác nhau. Mẫu 7B GGUF chỉ có văn bản có thể chạy thoải mái trên GPU khiêm tốn. Mô hình tầm nhìn có thể cần thêm bộ nhớ cho bộ mã hóa hình ảnh. Mô hình nhúng có thể đủ nhỏ và nhanh để sử dụng CPU. Một công cụ đề xuất tốt nên hỏi về trường hợp sử dụng trước khi xếp hạng mô hình.
Sự phù hợp của phần cứng có trước sự phổ biến
Lượt tải xuống và lượt thích là những tín hiệu hữu ích nhưng chúng không chứng minh rằng một kiểu máy sẽ chạy tốt trên máy của bạn. VRAM, hệ thống RAM, bộ nhớ hợp nhất, tốc độ CPU, băng thông bộ nhớ, lượng tử hóa, độ dài ngữ cảnh và chi phí thời gian chạy đều thay đổi câu trả lời. 12GB GPU, 24GB GPU và 64GB Apple Silicon Mac sẽ không nhận được cùng một đề xuất mặc định.
Đối với hầu hết người dùng, bộ lọc đầu tiên phải là liệu mô hình có thể chạy mà không bị áp lực bộ nhớ khó chịu hay không. Bộ lọc thứ hai phải phù hợp với nhiệm vụ. Chỉ khi đó mức độ phổ biến, sức mạnh chuẩn và sự quan tâm của cộng đồng mới ảnh hưởng đến trật tự. Điều này tránh việc đề xuất một mô hình có vẻ tốt về mặt lý thuyết nhưng lại gây khó chịu khi sử dụng ở địa phương.
Lượng tử hóa và định dạng tệp quyết định việc tải xuống thực tế
Nhiều người dùng cục bộ tải xuống các tệp GGUF vì chúng được hỗ trợ rộng rãi bởi thời gian chạy kiểu llama.cpp và xuất hiện thường xuyên trên Hugging Face. Phiên bản Q4 phù hợp với nhiều thiết bị hơn. Q5 và Q6 thường là sự cân bằng hàng ngày tốt hơn khi trí nhớ cho phép. Q8 sử dụng nhiều bộ nhớ hơn nhưng vẫn giữ được độ chính xác cao hơn. Câu trả lời đúng thường là một biến thể tệp cụ thể, không chỉ là tên họ mẫu.
Ollama và LM Studio giúp quy trình làm việc dễ dàng hơn nhưng không loại bỏ nhu cầu hiểu về kích thước và độ vừa vặn. Trước khi tải xuống, người dùng nên kiểm tra thẻ mô hình, giấy phép, kích thước tham số, lượng tử hóa, kích thước tệp và khả năng tương thích của công cụ. Local LLM nên liên kết trực tiếp tới trang Hugging Face để người dùng có thể kiểm tra nguồn trước khi cài đặt bất cứ thứ gì.
Bảng quyết định đơn giản
Để viết riêng tư và trò chuyện chung, hãy chọn mô hình hướng dẫn ổn định, hoàn toàn phù hợp với trí nhớ của bạn và phản hồi nhanh chóng. Để mã hóa, hãy ưu tiên mô hình được điều chỉnh mã hóa có đủ ngữ cảnh cho các tệp và nhật ký lỗi. Đối với các tác vụ hình ảnh, hãy chọn mô hình đa phương thức thực sự thay vì mô hình chỉ có văn bản đạt điểm cao. Đối với tìm kiếm và RAG, hãy thêm một mô hình nhúng nhỏ và giữ riêng mô hình tạo.
Nếu thiết bị của bạn có 6GB đến 8GB VRAM, hãy bắt đầu với dung lượng nhỏ và thận trọng. Nếu bạn có 12GB đến 24GB VRAM, hãy so sánh các mô hình 7B với 14B và lượng tử hóa mạnh hơn. Nếu bạn có 64GB bộ nhớ hợp nhất trở lên, các mô hình cục bộ lớn hơn sẽ trở nên thực tế nhưng bạn vẫn cần chỗ cho hệ điều hành, KV cache, các công cụ và tab trình duyệt.
Câu hỏi thường gặp
Mô hình AI địa phương tốt nhất là gì? Không có người chiến thắng duy nhất. Mô hình tốt nhất phụ thuộc vào phần cứng, tác vụ, nhu cầu riêng tư, thời gian chạy và lựa chọn lượng tử hóa của bạn.
Các mô hình AI địa phương có riêng tư không? Chúng có thể riêng tư hơn vì lời nhắc có thể vẫn còn trên máy của bạn nhưng bạn vẫn cần tin cậy vào nguồn mô hình, giấy phép và cài đặt máy chủ cục bộ.
Người mới bắt đầu nên sử dụng Ollama hay LM Studio? Cả hai đều có thể là điểm khởi đầu tốt. LM Studio thuận tiện cho việc duyệt và tải xuống các mô hình, trong khi Ollama phổ biến cho dòng lệnh đơn giản và quy trình làm việc API.
Nên chọn thế nào bây giờ? Nhập VRAM, RAM, hệ điều hành, tác vụ và tùy chọn của bạn vào Local LLM, sau đó so sánh các biến thể mô hình tương thích trước khi tải xuống.