Начинайте с Apple unified memory, а не с названий GPU
На macOS самым важным аппаратным показателем обычно является unified memory. Apple Silicon разделяет память между CPU, GPU, системой, приложениями и средой выполнения локального инференса, поэтому Mac с 16GB, 32GB, 64GB или 128GB не отдает всю эту память под веса модели. macOS, браузеру, инструментам разработчика и inference backend тоже нужно место. Это отличается от настольного компьютера на Windows или Linux с дискретной GPU, где VRAM является отдельным пулом.
Для рекомендаций по local LLM это означает, что пользователям Mac не следует напрямую сравнивать объем своей памяти с PC VRAM. Mac с 32GB может быть очень производительным, но ему все равно нужен запас памяти для KV cache и активных приложений. Mac с 64GB или 128GB открывает путь к более крупным моделям, более высокой квантизации и более длинному контексту, однако лучший результат все равно зависит от сценария использования. Задачи кодинга, письма, RAG, ролевого общения и vision-нагрузки могут предпочитать разные модели.
Выберите инструмент для macOS, который соответствует вашему рабочему процессу
Ollama — простой стартовый вариант, когда вам нужен локальный workflow в командной строке или локальный API, который могут вызывать другие приложения. LM Studio удобнее для пользователей, которым нужен графический браузер моделей, интерфейс чата, режим локального сервера и поддержка Apple Silicon в одном настольном приложении. llama.cpp более технический, но он по-прежнему остается одним из базовых движков для многих GGUF-ориентированных workflows локального инференса и включает пути оптимизации для Apple Silicon через Metal и связанные фреймворки.
Не существует единственного лучшего инструмента для каждого пользователя Mac. Если цель — обычный чат, LM Studio может быть самым быстрым путем. Если цель — подключить локальную модель к другому приложению, могут подойти Ollama или серверный режим LM Studio. Если цель — тестировать конкретные GGUF-файлы, настройки контекста или низкоуровневые флаги runtime, llama.cpp дает больше контроля. Рекомендация модели должна сначала направлять пользователей к реально запускаемой модели, а затем позволять пользователю выбрать предпочитаемый интерфейс.
MLX, Metal и GGUF — это разные части стека
Пользователи Mac часто видят, что MLX, Metal, GGUF и llama.cpp обсуждаются вместе, но это не одно и то же. Metal — это GPU-фреймворк Apple. MLX — ориентированный на Apple фреймворк машинного обучения, который некоторые инструменты используют для моделей на Apple Silicon. GGUF — формат файлов моделей, часто используемый для инференса в стиле llama.cpp. Модель может выглядеть привлекательной на Hugging Face, но при этом быть проще или сложнее в запуске в зависимости от того, какой формат и runtime выбирает пользователь.
Именно поэтому Local LLM не должен просто говорить: «эта модель хорошая». Он должен показывать, практичен ли вариант модели для локального использования, сколько памяти ему нужно и оставляет ли выбранная квантизация достаточно запаса. Пользователь Mac с 16GB unified memory может предпочесть меньшую модель Q4 или Q5. Mac с 64GB может рассматривать более крупные модели, но длинный контекст и фоновые приложения все равно влияют на стабильность.
Уровни памяти для локальных LLM на macOS
С 8GB unified memory использование local LLM должно оставаться очень консервативным. Небольшие модели могут работать для экспериментов, но у системы мало запаса. С 16GB небольшие и некоторые квантованные модели класса 7B становятся более реалистичными. С 24GB или 32GB повседневный локальный чат, помощь в кодинге и суммаризация становятся комфортнее. С 64GB или 128GB становятся практичными более крупные модели, лучшая квантизация и более длинный контекст, хотя это не происходит автоматически.
Главное — не считать самую большую модель лучшей моделью. Модель для кодинга 14B, которая помещается с запасом, может ощущаться лучше, чем более крупная модель, постоянно создающая давление на память. Небольшой модели для письма может быть достаточно для черновиков. Vision-модель требует дополнительных компонентов обработки изображений. Local LLM должен сначала фильтровать по hardware, затем по сценарию использования, а затем по предпочтению качества.
Безопасный процесс настройки macOS
Безопасный процесс настройки прост: проверьте unified memory, выберите локальный инструмент, начните с модели, которая явно помещается, протестируйте короткие prompts, а затем увеличивайте контекст или качество только после того, как базовая конфигурация стабильна. Не начинайте с самой большой модели из лидерборда. Не предполагайте, что модель, показанная на Mac с 128GB, будет комфортно работать на MacBook Air с 16GB. Оставляйте достаточно свободной памяти для остальной системы.
Для разработчиков локальные серверы моделей обычно должны оставаться привязанными к localhost, если нет осознанной причины открывать их в сеть. Для обычных пользователей самый полезный путь — выбрать модель через Local LLM, открыть страницу Hugging Face, чтобы проверить файлы и условия лицензии, и загрузить модель в инструмент, поддерживающий этот формат. Это уменьшает количество напрасных загрузок и упрощает устранение проблем.
FAQ
Может ли MacBook запускать local LLM? Да, особенно Mac на Apple Silicon, но размер модели и квантизация должны соответствовать unified memory. 8GB ограничены, 16GB — начальный уровень, а 32GB или больше заметно комфортнее.
Является ли Apple unified memory тем же самым, что VRAM? Нет. Она совместно используется CPU, GPU, macOS, приложениями и inference runtime. Она может быть мощной, но не вся доступна для весов модели.
Что использовать на Mac: Ollama или LM Studio? Ollama удобен для workflows в командной строке и API. LM Studio удобен как графический браузер моделей и интерфейс чата. llama.cpp лучше всего подходит для расширенного контроля.
Как выбрать модель? Введите память вашего Mac, сценарий использования и предпочтение качества в Local LLM. Инструмент может отфильтровать актуальные варианты моделей до того, как вы скачаете большие файлы.