Начните с семейства модели, затем проверьте запускаемый файл
Local LLM — это не просто название бренда вроде Qwen, Llama, Mistral, Gemma, DeepSeek, Phi или Yi. Название обычно указывает на семейство моделей, а файл, который вы фактически запускаете, может быть instruct-настройкой, настройкой для программирования, vision-вариантом, GGUF-конверсией или квантованной сборкой, подготовленной участником сообщества. Два файла из одного и того же семейства моделей могут вести себя по-разному, потому что они могут использовать разные шаблоны промптов, длины контекста, методы квантования и предположения о runtime.
Для инструмента рекомендаций полезный вопрос — не только «популярна ли эта модель?». Более правильный вопрос: «какой запускаемый вариант подходит памяти, ожиданиям по скорости и задаче этого пользователя?». Hugging Face может показывать много файлов для одной и той же модели, а локальные инструменты могут отображать только часть из них. Поэтому Local LLM должен рассматривать идентичность модели, формат файла, квантование и соответствие оборудованию как отдельные сигналы, а не сводить всё к одному названию модели.
Число параметров — грубый сигнал качества, но не полный ответ
Число параметров даёт быстрое представление о масштабе. Модель 1B или 3B проще запускать, и она может быть полезна для лёгкого чата, переписывания текста, суммаризации и простого объяснения кода. Модель 7B или 8B часто является практической точкой входа для более сильных повседневных ответов. Модель 14B обычно требует больше памяти, но может ощущаться более способной. Модели 30B, 70B и крупнее могут быть намного лучше для сложного рассуждения или программирования, но они переходят в область высокой VRAM, большой unified memory или multi-GPU.
Ограничение в том, что число параметров не рассказывает всю историю. Более новая модель 7B может превосходить старую модель 13B во многих задачах. Модель 7B, настроенная для программирования, может быть полезнее для разработки, чем более крупная универсальная чат-модель. MoE-модели добавляют ещё одно усложнение, потому что общее число параметров и активные параметры отличаются. Поэтому рекомендации должны сочетать качество по бенчмаркам, сценарий использования, активные параметры, требования к контексту и соответствие памяти, а не просто ставить самую большую модель на первое место.
GGUF, safetensors и поддержка инструментов определяют, что вы действительно сможете запустить
Многие локальные пользователи настольных компьютеров ищут файлы GGUF, потому что они хорошо работают с инструментами на базе llama.cpp и широко доступны на Hugging Face. GGUF упаковывает веса модели и метаданные в формат, предназначенный для локального inference, а Hugging Face поддерживает просмотр и хостинг файлов GGUF. Другие репозитории публикуют веса safetensors, которые могут быть предназначены для Transformers, vLLM или конвертации перед локальным использованием на десктопе. Оба варианта могут быть корректными, но они обслуживают разные рабочие процессы.
Это важно для пользователей, потому что страница модели может выглядеть привлекательно, но при этом модель всё равно будет неудобно запускать локально. Ollama, LM Studio, llama.cpp, MLX, Transformers и vLLM не предоставляют один и тот же путь загрузки модели. Хороший результат рекомендации должен ссылаться на исходную страницу, показывать, есть ли у модели удобный для локального запуска файл, и не создавать впечатление, что каждый репозиторий Hugging Face одинаково легко запустить на ноутбуке.
Квантование меняет использование памяти и качество
Квантование снижает точность весов модели, поэтому файл становится меньше и его легче загрузить. Q8 близок к высокому качеству, но использует больше памяти. Q6 и Q5 часто являются полезной серединой. Q4 — распространённая точка входа для размещения более крупных моделей на потребительском оборудовании. Q3 и ниже могут быть полезны при жёстких ограничениях памяти, но компромисс по качеству становится заметнее, особенно для программирования, математики, использования инструментов и длинных ответов.
Правильное квантование зависит и от модели, и от задачи. Если пользователю нужен быстрый неформальный чат, Q4 может быть приемлемым. Если ему нужны программирование или аккуратное рассуждение, Q5, Q6 или Q8 могут стоить дополнительной памяти. Если нужен длинный контекст, самого маленького файла модели недостаточно; системе всё ещё нужна память для KV cache и накладных расходов runtime. Local LLM должен показывать выбранное квантование и разбивку по памяти, чтобы пользователи понимали, почему рекомендация подходит.
Длина контекста, vision и специальная настройка меняют рекомендацию
Длина контекста зависит от модели, но используемый контекст зависит от оборудования. Модель может заявлять большое контекстное окно, однако KV cache растёт по мере удлинения разговора или документа. Эта дополнительная память может перевести модель из полного выполнения на GPU в частичную выгрузку на CPU. Для RAG, анализа кодовой базы или чтения длинных документов меньшая модель с большим запасом памяти может быть лучше, чем более крупная модель, которая едва загружается.
Специализированные возможности тоже важны. Vision-моделям нужны кодировщики изображений и мультимодальная поддержка, поэтому текстовую модель не следует рекомендовать для задач с изображениями, даже если у неё высокий общий балл. Модели для программирования следует оценивать иначе, чем модели для roleplay. Моделям для математики и рассуждения могут требоваться более строгие пороги качества. Поэтому лучшая локальная модель — это совпадение возможностей модели, варианта файла, квантования, целевого контекста и оборудования пользователя.
FAQ
Всегда ли GGUF-модели лучше для Local LLM? Не всегда. GGUF очень удобен для локального inference в стиле llama.cpp, но safetensors или другие форматы могут быть лучше для серверных рабочих процессов, обучения или специализированных runtimes.
Стоит ли выбирать самую большую модель, которая помещается? Не автоматически. Если она едва помещается, скорость и стабильность контекста могут быть плохими. Немного меньшая модель с Q5 или Q6 и достаточным запасом памяти может ощущаться лучше в ежедневном использовании.
Почему разные инструменты рекомендуют разные модели? Они могут поддерживать разные форматы, уровни квантования, GPU-бэкенды, настройки контекста по умолчанию и каталоги моделей. Поддержка инструментов — часть рекомендации.
Как использовать Local LLM после прочтения? Введите вашу VRAM, RAM, операционную систему, сценарий использования и предпочтения. После этого инструмент сможет ранжировать актуальные варианты моделей, вместо того чтобы заставлять вас запоминать названия моделей.