Bắt đầu với danh sách kiểm tra, không phải tải xuống ngẫu nhiên
Thiết lập LLM cục bộ hoạt động tốt nhất khi bạn đưa ra một số quyết định trước khi tải xuống mô hình. Kiểu lỗi phổ biến rất đơn giản: người dùng nhìn thấy một mô hình phổ biến, tải xuống một tệp lớn, sau đó phát hiện ra rằng nó hầu như không vừa, chạy chậm hoặc không được hỗ trợ bởi công cụ họ đã cài đặt. Một danh sách kiểm tra ngăn chặn sự lãng phí đó.
Thứ tự đúng là phần cứng trước tiên, nhiệm vụ thứ hai, thứ ba thời gian chạy, biến thể mô hình thứ tư và cuối cùng là an toàn. Phần cứng quyết định kích thước mô hình. Nhiệm vụ quyết định xem bạn cần trò chuyện, mã hóa, tầm nhìn, nội dung nhúng hay ngữ cảnh dài. Thời gian chạy quyết định định dạng tệp nào và API thuận tiện. Sự an toàn quyết định xem máy chủ cục bộ có nên ở trạng thái localhost hay tiếp xúc với một thiết bị khác.
Bước 1: ghi lại giới hạn phần cứng của bạn
Hãy ghi lại VRAM, hệ thống RAM, hệ điều hành và liệu bạn đang sử dụng bộ nhớ hợp nhất GPU hay Apple Silicon rời rạc. Đối với card NVIDIA và AMD, VRAM thường là giới hạn cứng đầu tiên. Đối với Apple Silicon, tổng bộ nhớ được chia sẻ bởi CPU, GPU, macOS, ứng dụng, kiểu máy và KV cache. Đối với các thiết lập chỉ CPU, RAM và băng thông bộ nhớ quan trọng hơn kích thước GPU.
Đừng có kế hoạch sử dụng từng gigabyte cho trọng lượng mô hình. Hãy chừa chỗ cho hệ điều hành, trình duyệt, trình soạn thảo, chi phí thời gian chạy, KV cache và các ứng dụng khác. Nếu một mô hình chỉ phù hợp khi mọi thứ khác đều đóng lại thì đó có thể không phải là một mô hình tốt hàng ngày. Local LLM khuyến nghị nên ưu tiên những mẫu phù hợp với khoảng không có thể sử dụng được.
Bước 2: chọn thời gian chạy đầu tiên
Người mới bắt đầu nên chọn một công cụ trước thay vì cài đặt mọi thứ. LM Studio thật thoải mái nếu bạn muốn có trình duyệt mô hình đồ họa, giao diện trò chuyện và máy chủ cục bộ mà bạn có thể bắt đầu từ ứng dụng. Ollama là một lựa chọn phù hợp nếu bạn thích các lệnh đơn giản, thẻ mô hình và API cục bộ. llama.cpp linh hoạt và mạnh mẽ, nhưng nó đòi hỏi bạn phải hiểu rõ hơn về các tùy chọn dòng lệnh và tệp mô hình.
Quy trình làm việc của nhà phát triển thường được hưởng lợi từ OpenAI-compatible endpoints. Ollama cung cấp hỗ trợ OpenAI-compatible API và LM Studio có thể chạy OpenAI-compatible server cục bộ. Điều này quan trọng vì nhiều công cụ mã hóa, tập lệnh và ứng dụng khách có thể chuyển từ điểm cuối đám mây sang local base URL cục bộ với ít thay đổi mã hơn.
Bước 3: chọn một biến thể mô hình và kiểm tra nó
Chọn một mẫu hoàn toàn phù hợp với phần cứng của bạn trước khi so sánh nhiều lựa chọn thay thế. Đối với 6GB đến 8GB VRAM, hãy bắt đầu với một mô hình nhỏ và lượng tử hóa Q4 hoặc Q5. Đối với 12GB đến 16GB, hãy so sánh các mô hình 7B và 14B với ngữ cảnh vừa phải. Đối với 24GB trở lên, các mô hình lập luận và mã hóa mạnh mẽ hơn sẽ trở nên thực tế. Trên các hệ thống Apple Silicon lớn, có thể sử dụng các mô hình lớn hơn nhưng bộ nhớ vẫn được chia sẻ.
Kiểm tra bằng các lời nhắc phù hợp với trường hợp sử dụng thực tế của bạn. Một mô hình viết nên viết lại và tóm tắt các ghi chú thực tế của bạn. Mô hình mã hóa phải giải thích lỗi, chỉnh sửa một chức năng nhỏ và làm theo hướng dẫn của dự án. Mô hình tầm nhìn sẽ kiểm tra ảnh chụp màn hình hoặc hình ảnh mà bạn thực sự quan tâm. Đừng đánh giá quá trình thiết lập chỉ dựa trên một lời nhắc trò chuyện chung chung.
Bước 4: xác minh tốc độ, bối cảnh và độ ổn định
Một mô hình tải không tự động hữu ích. Kiểm tra xem tốc độ đầu ra có thể sử dụng được hay không, độ dài ngữ cảnh có đủ hay không, áp suất bộ nhớ có ổn định hay không và liệu thời gian chạy có gặp sự cố sau một số lời nhắc hay không. Nếu mô hình sử dụng mức giảm tải CPU nhiều, tốc độ mã thông báo có thể giảm mạnh ngay cả khi mô hình chạy về mặt kỹ thuật.
Giữ một nhật ký kiểm tra nhỏ: tên mô hình, lượng tử hóa, cài đặt ngữ cảnh, thời gian chạy, ước tính bộ nhớ và liệu nó có thoải mái không. Điều này ngăn chặn việc lặp lại các lượt tải xuống không thành công tương tự. Nó cũng giúp việc nâng cấp trở nên rõ ràng hơn: nếu mô hình Q4 hoạt động nhưng chất lượng kém, hãy thử Q5 hoặc mô hình nhỏ hơn có chất lượng cao hơn thay vì chuyển thẳng sang tệp lớn nhất hiện có.
Bước 5: giữ an toàn cho máy chủ cục bộ
Đối với máy tính để bàn cá nhân, hãy giữ các máy chủ mô hình cục bộ được liên kết với localhost trừ khi bạn cố tình cần truy cập mạng và hiểu xác thực. Máy chủ API cục bộ có thể hiển thị lời nhắc, tệp hoặc quyền truy cập mô hình nếu có thể truy cập được từ mạng sai. Điều này đặc biệt quan trọng khi kiểm tra OpenAI-compatible endpoint cho các công cụ mã hóa.
Trước khi gọi quá trình thiết lập hoàn tất, hãy xác nhận trang mô hình, giấy phép, nguồn tệp, liên kết máy chủ và cấu hình công cụ. Sau đó lưu cài đặt làm việc. Local LLM có thể giúp thu hẹp danh sách mô hình nhưng danh sách kiểm tra thiết lập tốt sẽ biến đề xuất đó thành quy trình làm việc ổn định hàng ngày.
Câu hỏi thường gặp
Thiết lập LLM cục bộ dễ dàng nhất là gì? Đối với nhiều người mới bắt đầu, LM Studio hoặc Ollama cộng với một mẫu máy nhỏ tương thích là con đường nhanh nhất.
Tôi có nên bắt đầu với mô hình lớn nhất phù hợp không? Không. Hãy bắt đầu với một mẫu xe vừa vặn và chạy ở tốc độ phù hợp, sau đó nâng cao chất lượng từng bước.
Tôi có cần OpenAI-compatible local server không? Không phải lúc nào cũng vậy, nhưng nó hữu ích khi kết nối các mô hình cục bộ với các công cụ mã hóa, tập lệnh và ứng dụng đã mong đợi OpenAI kiểu APIs.
Làm sao tôi biết thiết lập của tôi tốt? Nó phải tải ổn định, đáp ứng nhiệm vụ thực sự của bạn, giữ cho bộ nhớ ổn định và đủ nhanh để sử dụng hàng ngày.