Hãy bắt đầu với bộ nhớ hợp nhất của Apple, không phải tên GPU
Trên macOS, thông số phần cứng quan trọng nhất thường là bộ nhớ hợp nhất. Apple Silicon chia sẻ bộ nhớ giữa CPU, GPU, hệ thống, ứng dụng và runtime suy luận cục bộ, vì vậy một máy Mac 16GB, 32GB, 64GB hoặc 128GB không dành toàn bộ lượng bộ nhớ đó cho trọng số mô hình. macOS, trình duyệt, công cụ phát triển và backend suy luận đều cần không gian. Điều này khác với một máy tính để bàn Windows hoặc Linux có GPU rời, nơi VRAM là một vùng bộ nhớ riêng biệt.
Đối với các khuyến nghị Local LLM, điều này có nghĩa là người dùng Mac không nên so sánh trực tiếp con số bộ nhớ của họ với PC VRAM. Một máy Mac 32GB có thể rất mạnh, nhưng vẫn cần phần bộ nhớ dự phòng cho KV cache và các ứng dụng đang hoạt động. Máy Mac 64GB hoặc 128GB mở ra khả năng dùng các mô hình lớn hơn, lượng tử hóa cao hơn và ngữ cảnh dài hơn, nhưng kết quả tốt nhất vẫn phụ thuộc vào trường hợp sử dụng. Các tác vụ lập trình, viết nội dung, RAG, nhập vai và thị giác có thể phù hợp với các mô hình khác nhau.
Chọn công cụ macOS phù hợp với quy trình làm việc của bạn
Ollama là điểm khởi đầu đơn giản khi bạn muốn một quy trình làm việc dòng lệnh cục bộ hoặc một API cục bộ để các ứng dụng khác có thể gọi. LM Studio thân thiện hơn với người dùng muốn có trình duyệt mô hình đồ họa, giao diện chat, chế độ máy chủ cục bộ và hỗ trợ Apple Silicon trong một ứng dụng desktop. llama.cpp mang tính kỹ thuật hơn, nhưng vẫn là một trong những engine cốt lõi đứng sau nhiều quy trình suy luận cục bộ dựa trên GGUF và bao gồm các đường tối ưu hóa Apple Silicon thông qua Metal cùng các framework liên quan.
Không có một công cụ tốt nhất duy nhất cho mọi người dùng Mac. Nếu mục tiêu là chat thông thường, LM Studio có thể là con đường nhanh nhất. Nếu mục tiêu là kết nối một mô hình cục bộ với ứng dụng khác, Ollama hoặc chế độ máy chủ của LM Studio có thể phù hợp. Nếu mục tiêu là kiểm thử chính xác các tệp GGUF, thiết lập ngữ cảnh hoặc các cờ runtime cấp thấp, llama.cpp cho khả năng kiểm soát nhiều hơn. Khuyến nghị mô hình nên hướng người dùng đến một mô hình có thể chạy được trước, sau đó để người dùng chọn giao diện họ thích.
MLX, Metal và GGUF là các phần khác nhau của stack
Người dùng Mac thường thấy MLX, Metal, GGUF và llama.cpp được thảo luận cùng nhau, nhưng chúng không phải là cùng một thứ. Metal là framework GPU của Apple. MLX là một framework machine learning hướng đến Apple mà một số công cụ dùng cho các mô hình Apple Silicon. GGUF là định dạng tệp mô hình thường được dùng bởi kiểu suy luận llama.cpp. Một mô hình có thể hấp dẫn trên Hugging Face nhưng vẫn dễ hoặc khó chạy hơn tùy thuộc vào định dạng và runtime mà người dùng chọn.
Đây là lý do Local LLM không nên chỉ nói “mô hình này tốt.” Nó nên cho thấy biến thể mô hình đó có thực tế cho sử dụng cục bộ hay không, cần bao nhiêu bộ nhớ và liệu mức lượng tử hóa được chọn có để lại đủ khoảng trống hay không. Người dùng Mac có 16GB bộ nhớ hợp nhất có thể thích một mô hình Q4 hoặc Q5 nhỏ hơn. Máy Mac 64GB có thể cân nhắc các mô hình lớn hơn, nhưng ngữ cảnh dài và ứng dụng chạy nền vẫn ảnh hưởng đến độ ổn định.
Các mức bộ nhớ cho local LLM trên macOS
Với 8GB bộ nhớ hợp nhất, việc dùng local LLM nên duy trì rất thận trọng. Các mô hình nhỏ có thể hoạt động để thử nghiệm, nhưng hệ thống có rất ít khoảng trống. Với 16GB, các mô hình nhỏ và một số mô hình lượng tử hóa cấp 7B trở nên thực tế hơn. Với 24GB hoặc 32GB, chat cục bộ hằng ngày, hỗ trợ lập trình và tóm tắt trở nên thoải mái hơn. Với 64GB hoặc 128GB, các mô hình lớn hơn, lượng tử hóa tốt hơn và ngữ cảnh dài hơn trở nên thực tế, dù không tự động đảm bảo.
Điều quan trọng là tránh xem mô hình lớn nhất là mô hình tốt nhất. Một mô hình lập trình 14B vừa đủ với khoảng trống bộ nhớ có thể cho cảm giác tốt hơn một mô hình lớn hơn liên tục gây áp lực lên bộ nhớ. Một mô hình viết nhỏ có thể đủ cho bản nháp. Một mô hình thị giác cần thêm các thành phần xử lý hình ảnh. Local LLM nên lọc theo phần cứng trước, sau đó đến trường hợp sử dụng, rồi đến ưu tiên chất lượng.
Quy trình thiết lập macOS an toàn
Một quy trình thiết lập an toàn rất đơn giản: kiểm tra bộ nhớ hợp nhất, chọn một công cụ cục bộ, bắt đầu với một mô hình rõ ràng là vừa, thử các prompt ngắn, sau đó chỉ tăng ngữ cảnh hoặc chất lượng khi baseline đã ổn định. Đừng bắt đầu bằng mô hình lớn nhất trên bảng xếp hạng. Đừng giả định rằng một mô hình được hiển thị trên máy Mac 128GB sẽ chạy thoải mái trên MacBook Air 16GB. Hãy giữ đủ bộ nhớ trống cho phần còn lại của hệ thống.
Đối với nhà phát triển, các máy chủ mô hình cục bộ thường nên được bind vào localhost trừ khi có lý do chủ động để mở chúng ra mạng. Đối với người dùng thông thường, con đường hữu ích nhất là chọn một mô hình thông qua Local LLM, mở trang Hugging Face để kiểm tra tệp và điều khoản giấy phép, rồi tải mô hình trong một công cụ hỗ trợ định dạng đó. Cách này giảm tải xuống lãng phí và giúp khắc phục sự cố dễ hơn.
FAQ
MacBook có thể chạy local LLM không? Có, đặc biệt là các máy Mac Apple Silicon, nhưng kích thước mô hình và mức lượng tử hóa nên phù hợp với bộ nhớ hợp nhất. 8GB bị giới hạn, 16GB là mức nhập môn, và 32GB trở lên sẽ thoải mái hơn.
Bộ nhớ hợp nhất của Apple có giống VRAM không? Không. Nó được chia sẻ bởi CPU, GPU, macOS, ứng dụng và runtime suy luận. Nó có thể mạnh mẽ, nhưng không phải toàn bộ đều có sẵn cho trọng số mô hình.
Tôi nên dùng Ollama hay LM Studio trên Mac? Ollama tiện lợi cho quy trình dòng lệnh và API. LM Studio tiện lợi cho trình duyệt mô hình đồ họa và giao diện chat. llama.cpp phù hợp nhất khi cần kiểm soát nâng cao.
Tôi nên chọn mô hình như thế nào? Nhập bộ nhớ Mac, trường hợp sử dụng và ưu tiên chất lượng của bạn vào Local LLM. Công cụ có thể lọc các biến thể mô hình hiện tại trước khi bạn tải xuống các tệp lớn.