Đường dẫn thiết lập thực tế
Cách đáng tin cậy nhất để sử dụng các mô hình cục bộ với Cursor.ai là nghĩ đến điểm cuối chứ không phải tên mô hình trước tiên. Quy trình mã hóa kiểu Cursor cần một nhà cung cấp mô hình có thể trả lời các yêu cầu trò chuyện hoặc mã hóa thông qua API tương thích. Thời gian chạy cục bộ như Ollama và LM Studio có thể hiển thị các điểm cuối OpenAI-compatible, do đó mẫu thiết lập bền vững rất đơn giản: chạy mô hình cục bộ, xác nhận điểm cuối cục bộ hoạt động, sau đó trỏ quy trình mã hóa vào điểm cuối đó khi ứng dụng hỗ trợ cấu hình mô hình tùy chỉnh.
Điều này khác với việc hỏi liệu một mô hình có thể được tải xuống về mặt kỹ thuật hay không. Một mô hình cục bộ có thể vừa trên đĩa và vẫn là một lựa chọn tồi cho Cursor.ai nếu nó chậm, yếu khi chỉnh sửa mã hoặc không thể làm theo hướng dẫn của dự án. Cách thiết lập đầu tiên tốt nhất là thận trọng: chọn một mẫu có khả năng mã hóa hoàn toàn phù hợp với máy của bạn, giữ máy chủ trên localhost và kiểm tra nó trên một kho lưu trữ thực nhỏ trước khi dựa vào nó cho công việc hàng ngày.
Trước tiên hãy chọn một máy chủ cục bộ
Ollama thuận tiện khi bạn muốn có quy trình làm việc theo lệnh và API cục bộ đơn giản. LM Studio thuận tiện khi bạn muốn có trình duyệt mô hình đồ họa, tải xuống mô hình, kiểm tra trò chuyện và máy chủ cục bộ từ cùng một ứng dụng. LM Studio ghi lại các điểm cuối OpenAI-compatible trong đó máy khách OpenAI có thể sử dụng lại hình dạng máy khách tương tự bằng cách thay đổi base URL thành máy chủ cục bộ. Ollama cũng ghi lại sự hỗ trợ của OpenAI-compatible API cho quy trình làm việc cục bộ.
Khái niệm chính là base URL. Trong thiết lập cục bộ, URL đó thường trỏ đến localhost, chẳng hạn như máy chủ LM Studio trên cổng 1234 hoặc máy chủ Ollama trên cổng cục bộ của nó. Cài đặt chính xác của Cursor.ai có thể thay đổi, vì vậy hãy tránh xây dựng toàn bộ quá trình của bạn xung quanh một ảnh chụp màn hình. Thay vào đó, hãy xác minh ba điều: máy chủ cục bộ đang chạy, tên model được máy chủ chấp nhận và một yêu cầu hoàn thành nhỏ trả về câu trả lời hữu ích.
Chọn mô hình mã hóa trước các mô hình trò chuyện lớn hơn
Đối với Cursor.ai, độ tin cậy của mã quan trọng hơn mức độ phổ biến của trò chuyện nói chung. Ưu tiên các mô hình được điều chỉnh để mã hóa, làm theo hướng dẫn, gỡ lỗi và chỉnh sửa có cấu trúc. Một mô hình mã hóa nhỏ hơn có thể hữu ích hơn một mô hình trợ lý chung lớn hơn nếu nó mắc ít lỗi cú pháp hơn, tuân theo các ràng buộc và phản hồi đủ nhanh để phát triển tương tác.
Phần cứng vẫn đặt trần. Trên 8GB VRAM, hãy bắt đầu từ quy mô nhỏ và giữ kỳ vọng về bối cảnh ở mức khiêm tốn. Trên 12GB đến 16GB, 7B và một số mô hình mã hóa 14B trở nên thiết thực hơn. Trên 24GB hoặc các hệ thống lớn hơn, các mô hình mạnh hơn và mức lượng tử hóa cao hơn trở nên dễ kiểm tra hơn. Bộ nhớ hợp nhất Apple Silicon có thể phù hợp với các model lớn hơn, nhưng bộ nhớ và băng thông dùng chung vẫn ảnh hưởng đến tốc độ.
Kiểm tra Cursor.ai bằng tác vụ thực tế
Đừng đánh giá việc thiết lập bằng một lời nhắc chung chung. Kiểm tra mô hình trên các nhiệm vụ tương tự mà bạn mong đợi Cursor.ai sẽ trợ giúp: giải thích lỗi, chỉnh sửa chức năng, viết bài kiểm tra đơn vị, tóm tắt tệp và tuân theo quy tắc dự án. Nếu mô hình bỏ qua các hướng dẫn hoặc phát minh ra API, nó sẽ không sẵn sàng cho công việc mã hóa ngay cả khi tải thành công.
Đo độ trễ cũng như chất lượng câu trả lời. Một mô hình đưa ra câu trả lời chắc chắn sau một thời gian dài trì hoãn có thể hữu ích cho việc đánh giá song song nhưng lại gây khó chịu cho mã hóa nội tuyến. Nếu một mô hình cần giảm tải CPU nặng, thì một mô hình được tăng tốc tối đa nhỏ hơn có thể mang lại cảm giác tốt hơn. Ghi chú về tên mô hình, lượng tử hóa, cài đặt ngữ cảnh, máy chủ cục bộ và liệu kết quả có thoải mái hay không.
Kiểm tra quyền riêng tư và an toàn
Các mô hình cục bộ có thể giảm mức độ hiển thị của mã riêng tư, nhưng chỉ khi quy trình làm việc thực sự mang tính cục bộ. Giữ máy chủ được liên kết với localhost trừ khi bạn cố tình bảo mật quyền truy cập mạng. Kiểm tra xem có bất kỳ nhà cung cấp proxy, tiện ích mở rộng hoặc mô hình bên ngoài nào vẫn nhận được lời nhắc hay không. Không dán bí mật, khóa sản xuất hoặc dữ liệu khách hàng vào lời nhắc chỉ vì tệp mô hình là cục bộ.
Đồng thời xem lại giấy phép mẫu trước khi sử dụng đầu ra ở dạng mã thương mại. Việc thực thi cục bộ không tự động có nghĩa là việc sử dụng không bị hạn chế. Thẻ mẫu, tài liệu thời gian chạy và chính sách công ty của bạn đều phải là một phần của danh sách kiểm tra thiết lập.
FAQ
Cursor.ai có thể sử dụng LLM cục bộ không? Nó có thể được sử dụng với quy trình công việc của mô hình cục bộ khi ứng dụng hoặc công cụ xung quanh hỗ trợ điểm cuối tương thích, nhưng cài đặt chính xác có thể thay đổi, vì vậy hãy xác minh hành vi Cursor.ai hiện tại.
Tôi nên sử dụng Ollama hay LM Studio? Sử dụng Ollama nếu bạn thích các lệnh và thẻ mô hình đơn giản. Sử dụng LM Studio nếu bạn muốn có trình duyệt mô hình đồ họa và điều khiển máy chủ cục bộ trong một ứng dụng.
Tôi nên bắt đầu với mô hình nào? Bắt đầu với một mô hình được điều chỉnh mã hóa hoàn toàn phù hợp với phần cứng của bạn và phản hồi nhanh chóng, sau đó chỉ so sánh các biến thể lớn hơn sau khi đường cơ sở ổn định.
Bước khắc phục sự cố đầu tiên là gì? Xác nhận rằng máy chủ cục bộ trả lời yêu cầu đơn giản bên ngoài Cursor.ai. Nếu điểm cuối bị lỗi ở đó thì việc tích hợp trình soạn thảo không phải là vấn đề cốt lõi.