Начните с hardware, а не с шумихи вокруг модели
Самый быстрый способ выбрать локальную LLM — начать с машины, которая у вас уже есть. Популярность модели имеет значение, но модель, которая не загружается или работает с непригодной скоростью, не поможет. Первые исходные данные — это VRAM, системная RAM, операционная система, является ли память unified, и готовы ли вы использовать CPU offload. Только после этого стоит сравнивать семейства моделей.
Хороший процесс рекомендации локальной LLM разделяет три вопроса: сможет ли она загрузиться, будет ли она пригодна для использования, и подходит ли она для задачи. Загрузка зависит от весов, quantization, KV cache и накладных расходов runtime. Пригодность зависит от скорости и стабильности. Соответствие задаче зависит от того, настроена ли модель для coding, общего чата, математики, vision или работы с long-context.
Выберите сценарий использования перед выбором самой большой модели
Разные задачи выигрывают от разных моделей. Задаче coding нужны обучение на коде, понимание репозиториев, следование инструкциям и стабильное форматирование. Задаче writing нужны контроль тона и связность длинного текста. Задаче vision нужна multimodal architecture и image encoder. Задаче math или reasoning может потребоваться семейство моделей, настроенное для пошагового решения задач.
Именно поэтому одно и то же hardware может давать разные рекомендации, когда пользователь переключается с General на Coding или Vision. Сайт не должен слепо ранжировать по downloads или количеству параметров. Сначала он должен отфильтровать модели, которые подходят под hardware, а затем ранжировать оставшиеся варианты по use case и предпочтению.
Поймите роль quantization
Большинство локальных пользователей запускают quantized models, а не веса полной точности. Quantization снижает использование памяти и делает модели практичными на потребительском hardware. Q4 часто является вариантом «сначала поместить», Q5 и Q6 могут улучшить качество ценой большего расхода памяти, а Q8 ближе к полному качеству, но намного тяжелее. Правильный выбор зависит от того, сколько запаса остается после весов и KV cache.
Поэтому фраза «what can I run» не имеет одного ответа для каждой модели. Модель может запускаться в Q4, но не в Q8, быть пригодной при контексте 4K, но не 32K, или нормально работать полностью на GPU, но быть медленной с offload. Полезная страница рекомендаций должна показывать выбранную quantization и разбивку памяти, а не только название модели.
Mac, Windows, Linux и конфигурации только с CPU отличаются
Пользователи Windows и Linux с дискретными GPU обычно сначала думают о VRAM. Пользователи Apple Silicon думают об unified memory, потому что GPU и CPU используют общий пул памяти. Пользователям только с CPU нужно быть еще консервативнее, потому что системная память может быть большой, но скорость токенов может быть низкой. Одно и то же значение 32GB означает разные вещи в этих конфигурациях.
Инструмент должен отражать это различие. На Mac он должен резервировать память для macOS и приложений. На дискретных GPU он должен резервировать VRAM для дисплея, накладных расходов framework и KV cache. На машинах только с CPU он должен рекомендовать небольшие модели и задавать ожидания по скорости, а не делать вид, что одна только системная RAM решает всё.
Практический процесс принятия решения
Сначала введите вашу VRAM или unified memory. Затем выберите операционную систему. Затем выберите use case. Затем выберите предпочтение: качество, balanced fit или запас контекста. После этого просматривайте только совместимые модели. Если результаты слишком малы, увеличьте память или примите offload. Если результаты слишком медленные, отдавайте предпочтение меньшим моделям, полностью помещающимся на GPU.
Такой подход не дает пользователям копировать случайные рекомендации моделей из социальных сетей. Рекомендация, которая работает на GPU с 24GB, может быть неправильной для ноутбука с 8GB. Модель, отличная для coding, может быть избыточной для casual writing. Local LLM должна превращать эти компромиссы в понятный ранжированный список со ссылками Hugging Face на реальные страницы моделей.
FAQ
Можно ли запустить локальную LLM без GPU? Да, но обычно с меньшими моделями и более низкой скоростью. CPU-only лучше всего подходит для тестирования, заметок с повышенными требованиями к приватности или легких offline-задач.
Нужно ли всегда выбирать самую большую модель, которая помещается? Нет. Меньшая модель, полностью помещающаяся на GPU, может быть быстрее и приятнее, чем большая модель, которая едва помещается.
Почему рекомендации со временем меняются? Файлы моделей Hugging Face, downloads, quantizations и релизы сообщества часто меняются, поэтому кэшированные данные моделей должны регулярно обновляться.