Краткий ответ: локальный выбор LLM — это выбор оборудования.
Большинство местных вопросов LLM в конечном итоге возвращаются к аппаратному обеспечению. Модель должна умещаться в доступной памяти, работать с приемлемой скоростью и соответствовать задаче. Модель, которая превосходна в тестах, но неудобна на вашем компьютере, не является для вас хорошей рекомендацией. Модель меньшего размера, которая полностью подходит, может быть лучшим ежедневным решением.
Этот FAQ предназначен для пользователей, которые собираются загрузить модель и хотят сначала получить простые ответы. Он охватывает VRAM, RAM, квантование, инструменты, конфиденциальность, скорость, автономное использование, а также разницу между моделями, которые технически загружаются, и моделями, которые приятно использовать.
Сколько VRAM мне нужно?
Для каждого местного LLM не существует единого номера VRAM. 6GB до 8 ГБ позволяет запускать небольшие квантованные модели. От 12GB до 16GB более удобно для многих рабочих процессов 7B и некоторых 14B. 24GB открывает более сильные локальные модели кодирования и рассуждения. 48GB и выше предоставляют гораздо больше возможностей для больших моделей, более высокого квантования и более длинного контекста.
VRAM предназначен не только для веса моделей. KV cache, накладные расходы во время выполнения, использование дисплея и другое использование памяти GPU также имеют значение. Длинный контекст увеличивает нагрузку на память. Вот почему модель может соответствовать коротким настройкам контекста, но давать сбой или замедляться при открытии контекстного окна.
Могу ли я запустить локальный LLM без GPU?
Да, но ожидания должны быть реалистичными. CPU — только локальные LLM могут работать для небольших моделей, тестирования, случайных подсказок и частных автономных задач. Обычно они работают медленнее, чем вывод, основанный на GPU, особенно для более крупных моделей или длинных ответов. Система RAM и пропускная способность памяти становятся ключевыми ограничениями.
Если у вас есть только CPU, выберите небольшую модель, консервативное квантование и скромный контекст. Если вы планируете использовать местный LLM каждый день для кодирования или длительных разговоров, система GPU или Apple Silicon обычно будет работать намного лучше.
Что означают Q4, Q5, Q6 и Q8?
Эти метки описывают квантованные варианты модели. Меньшее квантование обычно использует меньше памяти и подходит для большего количества устройств. Более высокое квантование обычно сохраняет большее качество, но требует больше памяти. Q4 часто является точкой входа, Q5 и Q6 являются обычными ежедневными компромиссами, а Q8 полезен, когда у вас достаточно памяти и вы хотите меньше потери качества.
Лучшее квантование зависит от задачи. Письмо и общение в чате могут лучше переносить более низкое квантование, чем кодирование или сложные рассуждения. При работе с длинным контекстом может быть предпочтительнее вариант меньшего размера, чтобы оставалось достаточно памяти для KV cache. В рекомендации должен быть указан реальный вариант, а не только семейство моделей.
Являются ли местные LLM частными и офлайновыми?
Local LLMs могут быть более конфиденциальными, поскольку запросы и файлы могут оставаться на вашем компьютере после загрузки модели. Они также могут работать в автономном режиме, если файлы среды выполнения и модели уже установлены. Это полезно для личных заметок, неопубликованного кода, путешествий и рабочих процессов, где доступ к облаку ненадежен.
Конфиденциальность не является автоматической. Вам по-прежнему необходимо доверять источнику модели, проверять лицензию, избегать доступа локальных серверов к общедоступному Интернету и понимать, синхронизирует ли какой-либо подключенный инструмент журналы или запросы. Локальный контроль снижает зависимость от поставщика облачных услуг, но не снимает эксплуатационную ответственность.
Часто задаваемые вопросы
Какой инструмент мне следует использовать в первую очередь? LM Studio — хорошая графическая отправная точка, Ollama — хорошая командная строка и локальная отправная точка API, а llama.cpp — мощный инструмент, когда вам нужен контроль нижнего уровня.
Почему моя модель работает медленно? Он может быть слишком большим, использовать разгрузку CPU, работать со слишком большим количеством контекста или ограничиваться пропускной способностью памяти, а не необработанными вычислениями.
Достаточно ли скачиваний и лайков, чтобы выбрать модель? Нет. Они демонстрируют интерес сообщества, а не то, соответствует ли модель вашему оборудованию или задаче.
Что мне делать дальше? Используйте Local LLM для ввода вашего оборудования и задачи, а затем перед загрузкой откройте рекомендуемую страницу Hugging Face.