Практические материалы о VRAM, Mac, квантовании, моделях для кода и локальных vision-моделях.
Руководство по видеопамяти
Какие локальные большие модели можно запускать с разной графической памятью?
От 6 ГБ, 8 ГБ, 12 ГБ, 24 ГБ до 48 ГБ объясните, как объем параметров модели, квантованная версия, кэш KV и системные издержки объединяются, чтобы определить, можно ли его загрузить.
Читать статью
Apple чип
Как Apple Unified Memory влияет на локальный LLM?
Объясните, почему всю память Mac нельзя использовать в качестве видеопамяти и как выбрать подходящую модель для компьютеров с памятью 16 ГБ, 32 ГБ, 64 ГБ и 128 ГБ.
Читать статью
Количественная оценка
Q4, Q5, Q6, Q8 Как мне выбрать количественную оценку?
Более распространенная количественная оценка GGUF использования памяти, потери качества и компромисса в скорости помогает пользователям понять три предпочтения: приоритет качества, баланс и длинный контекст.
Читать статью
модель программирования
Как выбрать местную LLM, подходящую для программирования?
Используя четыре сценария генерации кода, интерпретации, реконструкции и длинного контекста, объясните, почему в целях программирования нельзя просто учитывать размер модели и объем загрузки.
Читать статью
мультимодальный
Как запустить модель локального видения и мультимодальную модель?
В этой статье рассматриваются дополнительные проблемы графической памяти, кодирования изображений, контекста и внутренней поддержки рассуждений, которые необходимо учитывать в визуальных моделях по сравнению с текстовыми моделями.
Читать статью
Выбор инструмента
В чем разница между Ollama, LM Studio и llama.cpp?
Объясните обычным пользователям процесс установки, управление моделями, настройку производительности и применимые группы из трех распространенных методов локального запуска.
Читать статью
Гайд по VRAM
Достаточно ли 6 ГБ VRAM для локальной LLM?
Какие модели реально запускаются на 6 ГБ, какая квантизация подходит и когда лучше обновить железо.
Читать статью
Гайд по железу
Лучшая GPU для локальных LLM: что важно
Как выбирать GPU по VRAM, пропускной способности, поддержке софта и целевым моделям.
Читать статью
Выбор модели
Какую локальную LLM я могу запустить?
Сопоставьте RAM, VRAM, ОС, задачу и качество с реально запускаемыми моделями.
Читать статью
Гид по моделям
Модели Local LLM: размеры, форматы и компромиссы
Практическое руководство по семействам моделей Local LLM, числу параметров, файлам GGUF, уровням квантования, длине контекста и выбору модели, подходящей вашему оборудованию.
Читать статью
Гид по оборудованию
Сколько VRAM нужно для Local LLM?
Руководство с фокусом на оборудование и требования VRAM для Local LLM, включая веса модели, квантование, KV cache, длину контекста, накладные расходы runtime и реалистичные уровни GPU.
Читать статью
Гид по Windows
Как запустить LLM локально на Windows
Практическое руководство по Windows для запуска Local LLM с Ollama, LM Studio, llama.cpp, драйверами GPU, выбором модели, планированием VRAM и типичными шагами устранения неполадок.
Читать статью
руководство по macOS
Запуск LLM локально на macOS: Apple Silicon, память и инструменты
Практическое руководство по macOS для запуска local LLMs на Apple Silicon: unified memory, MLX, Metal, Ollama, LM Studio, llama.cpp, выбор модели и реалистичные ограничения.
Читать статью
Руководство по Linux
Запуск LLM локально на Linux: GPU, драйверы, инструменты и настройка
Практическое руководство по Linux для запуска local LLM с NVIDIA CUDA, AMD ROCm, Ollama, LM Studio, llama.cpp, форматами моделей, планированием VRAM и безопасностью сервера.
Читать статью
Руководство по моделям
Лучшие локальные AI-модели: как выбрать то, что запустится на вашем оборудовании
Практическое руководство по выбору лучших локальных AI-моделей для чата, программирования, письма, математики, vision и офлайн-использования с учетом совместимости с оборудованием, квантизации, бенчмарков и формата модели.
Читать статью
Руководство по моделям
Лучшие модели Local LLM: как выбрать подходящую
Практическое руководство по выбору лучших моделей Local LLM для вашего оборудования, включая размер модели, квантизацию, файлы GGUF, программирование, письмо, рассуждение, зрение и соответствие памяти.
Читать статью
Руководство по моделям
Лучший LLM для локального запуска: практическое руководство с приоритетом на аппаратное обеспечение
Практическое руководство по выбору лучшего LLM для локального запуска на вашем компьютере с учетом VRAM, RAM, операционной системы, размера модели, квантизации, скорости, приватности и сценария использования.
Читать статью
Руководство по сравнению
Local LLM против cloud LLM: что выбрать?
Практическое сравнение local LLM и cloud LLM по приватности, стоимости, скорости, качеству, оборудованию, работе офлайн, обслуживанию и реальным рабочим процессам.
Читать статью
Руководство по модели
Local AI Руководство по модели: как выбрать то, что работает на вашем компьютере
Практическое руководство по локальным моделям искусственного интеллекта, охватывающее LLM, модели видения, встраивания, соответствие аппаратного обеспечения, квантование, конфиденциальность, инструменты и варианты загрузки.
Читать статью
Offline AI
Offline AI: Что может работать локально без облака?
Практическое руководство о том, что ИИ может делать локально в автономном режиме, включая чат, кодирование, написание, обобщение, внедрение, видение, аппаратные ограничения и компромиссы в отношении конфиденциальности.
Читать статью
Руководство для начинающих
Local LLM для начинающих: оборудование, модели и первые шаги
Руководство для начинающих по местным LLM, объясняющее аппаратное обеспечение, VRAM, RAM, квантование, файлы моделей, инструменты, конфиденциальность и способы выбора первой модели.
Читать статью
Руководство по настройке
Local LLM Контрольный список установки: оборудование, модели, инструменты и безопасность
Практический контрольный список настройки для запуска локального LLM, охватывающий аппаратное обеспечение, VRAM, RAM, выбор модели, квантование, инструменты, локальные серверы, тестирование и безопасность.
Читать статью
Часто задаваемые вопросы
Local LLM Часто задаваемые вопросы: ответы перед загрузкой модели
Четкие ответы на распространенные местные вопросы LLM о выборе VRAM, RAM, GPU, квантовании, конфиденциальности, скорости, автономном использовании, инструментах и загрузке моделей.
Читать статью
Руководство по инструментам
Cursor с Local LLM: что работает, что не работает и как выбрать модель
Практическое руководство по использованию Cursor с локальным LLM, охватывающее Ollama, LM Studio, OpenAI-compatible endpoint, модели кодирования, аппаратные ограничения, скорость, конфиденциальность и проверки настройки.
Читать статью
Руководство по инструментам
Как использовать локальные модели с Cursor.ai: настройка, ограничения и выбор модели
Практическое руководство по локальной модели Cursor.ai, охватывающее конечные точки OpenAI-compatible, Ollama, LM Studio, модели кодирования, аппаратные ограничения, конфиденциальность, скорость и устранение неполадок.
Читать статью
Выбор модели
Лучший Local LLM для Cursor: как выбрать модель кодирования, которая действительно поможет
Руководство по выбору лучшего локального LLM для Cursor, ориентированное на аппаратное обеспечение, охватывающее качество кодирования, контекст, скорость, квантование, VRAM, конфиденциальность и практическое тестирование.
Читать статью
Руководство по инструментам
LM Studio Руководство по Local LLM: модели, настройка сервера, оборудование и безопасность
Практическое локальное руководство LLM по LM Studio, охватывающее загрузку моделей, выбор GGUF и MLX, настройку сервера OpenAI-compatible, установку оборудования, конфиденциальность и тестирование.
Читать статью