Блог

Блог Local LLM

Практические материалы о VRAM, Mac, квантовании, моделях для кода и локальных vision-моделях.

Руководство по видеопамяти

Какие локальные большие модели можно запускать с разной графической памятью?

От 6 ГБ, 8 ГБ, 12 ГБ, 24 ГБ до 48 ГБ объясните, как объем параметров модели, квантованная версия, кэш KV и системные издержки объединяются, чтобы определить, можно ли его загрузить.

Читать статью

Apple чип

Как Apple Unified Memory влияет на локальный LLM?

Объясните, почему всю память Mac нельзя использовать в качестве видеопамяти и как выбрать подходящую модель для компьютеров с памятью 16 ГБ, 32 ГБ, 64 ГБ и 128 ГБ.

Читать статью

Количественная оценка

Q4, Q5, Q6, Q8 Как мне выбрать количественную оценку?

Более распространенная количественная оценка GGUF использования памяти, потери качества и компромисса в скорости помогает пользователям понять три предпочтения: приоритет качества, баланс и длинный контекст.

Читать статью

модель программирования

Как выбрать местную LLM, подходящую для программирования?

Используя четыре сценария генерации кода, интерпретации, реконструкции и длинного контекста, объясните, почему в целях программирования нельзя просто учитывать размер модели и объем загрузки.

Читать статью

мультимодальный

Как запустить модель локального видения и мультимодальную модель?

В этой статье рассматриваются дополнительные проблемы графической памяти, кодирования изображений, контекста и внутренней поддержки рассуждений, которые необходимо учитывать в визуальных моделях по сравнению с текстовыми моделями.

Читать статью

Выбор инструмента

В чем разница между Ollama, LM Studio и llama.cpp?

Объясните обычным пользователям процесс установки, управление моделями, настройку производительности и применимые группы из трех распространенных методов локального запуска.

Читать статью

Гайд по VRAM

Достаточно ли 6 ГБ VRAM для локальной LLM?

Какие модели реально запускаются на 6 ГБ, какая квантизация подходит и когда лучше обновить железо.

Читать статью

Гайд по железу

Лучшая GPU для локальных LLM: что важно

Как выбирать GPU по VRAM, пропускной способности, поддержке софта и целевым моделям.

Читать статью

Выбор модели

Какую локальную LLM я могу запустить?

Сопоставьте RAM, VRAM, ОС, задачу и качество с реально запускаемыми моделями.

Читать статью

Гид по моделям

Модели Local LLM: размеры, форматы и компромиссы

Практическое руководство по семействам моделей Local LLM, числу параметров, файлам GGUF, уровням квантования, длине контекста и выбору модели, подходящей вашему оборудованию.

Читать статью

Гид по оборудованию

Сколько VRAM нужно для Local LLM?

Руководство с фокусом на оборудование и требования VRAM для Local LLM, включая веса модели, квантование, KV cache, длину контекста, накладные расходы runtime и реалистичные уровни GPU.

Читать статью

Гид по Windows

Как запустить LLM локально на Windows

Практическое руководство по Windows для запуска Local LLM с Ollama, LM Studio, llama.cpp, драйверами GPU, выбором модели, планированием VRAM и типичными шагами устранения неполадок.

Читать статью

руководство по macOS

Запуск LLM локально на macOS: Apple Silicon, память и инструменты

Практическое руководство по macOS для запуска local LLMs на Apple Silicon: unified memory, MLX, Metal, Ollama, LM Studio, llama.cpp, выбор модели и реалистичные ограничения.

Читать статью

Руководство по Linux

Запуск LLM локально на Linux: GPU, драйверы, инструменты и настройка

Практическое руководство по Linux для запуска local LLM с NVIDIA CUDA, AMD ROCm, Ollama, LM Studio, llama.cpp, форматами моделей, планированием VRAM и безопасностью сервера.

Читать статью

Руководство по моделям

Лучшие локальные AI-модели: как выбрать то, что запустится на вашем оборудовании

Практическое руководство по выбору лучших локальных AI-моделей для чата, программирования, письма, математики, vision и офлайн-использования с учетом совместимости с оборудованием, квантизации, бенчмарков и формата модели.

Читать статью

Руководство по моделям

Лучшие модели Local LLM: как выбрать подходящую

Практическое руководство по выбору лучших моделей Local LLM для вашего оборудования, включая размер модели, квантизацию, файлы GGUF, программирование, письмо, рассуждение, зрение и соответствие памяти.

Читать статью

Руководство по моделям

Лучший LLM для локального запуска: практическое руководство с приоритетом на аппаратное обеспечение

Практическое руководство по выбору лучшего LLM для локального запуска на вашем компьютере с учетом VRAM, RAM, операционной системы, размера модели, квантизации, скорости, приватности и сценария использования.

Читать статью

Руководство по сравнению

Local LLM против cloud LLM: что выбрать?

Практическое сравнение local LLM и cloud LLM по приватности, стоимости, скорости, качеству, оборудованию, работе офлайн, обслуживанию и реальным рабочим процессам.

Читать статью

Руководство по модели

Local AI Руководство по модели: как выбрать то, что работает на вашем компьютере

Практическое руководство по локальным моделям искусственного интеллекта, охватывающее LLM, модели видения, встраивания, соответствие аппаратного обеспечения, квантование, конфиденциальность, инструменты и варианты загрузки.

Читать статью

Offline AI

Offline AI: Что может работать локально без облака?

Практическое руководство о том, что ИИ может делать локально в автономном режиме, включая чат, кодирование, написание, обобщение, внедрение, видение, аппаратные ограничения и компромиссы в отношении конфиденциальности.

Читать статью

Руководство для начинающих

Local LLM для начинающих: оборудование, модели и первые шаги

Руководство для начинающих по местным LLM, объясняющее аппаратное обеспечение, VRAM, RAM, квантование, файлы моделей, инструменты, конфиденциальность и способы выбора первой модели.

Читать статью

Руководство по настройке

Local LLM Контрольный список установки: оборудование, модели, инструменты и безопасность

Практический контрольный список настройки для запуска локального LLM, охватывающий аппаратное обеспечение, VRAM, RAM, выбор модели, квантование, инструменты, локальные серверы, тестирование и безопасность.

Читать статью

Часто задаваемые вопросы

Local LLM Часто задаваемые вопросы: ответы перед загрузкой модели

Четкие ответы на распространенные местные вопросы LLM о выборе VRAM, RAM, GPU, квантовании, конфиденциальности, скорости, автономном использовании, инструментах и ​​загрузке моделей.

Читать статью

Руководство по инструментам

Cursor с Local LLM: что работает, что не работает и как выбрать модель

Практическое руководство по использованию Cursor с локальным LLM, охватывающее Ollama, LM Studio, OpenAI-compatible endpoint, модели кодирования, аппаратные ограничения, скорость, конфиденциальность и проверки настройки.

Читать статью

Руководство по инструментам

Как использовать локальные модели с Cursor.ai: настройка, ограничения и выбор модели

Практическое руководство по локальной модели Cursor.ai, охватывающее конечные точки OpenAI-compatible, Ollama, LM Studio, модели кодирования, аппаратные ограничения, конфиденциальность, скорость и устранение неполадок.

Читать статью

Выбор модели

Лучший Local LLM для Cursor: как выбрать модель кодирования, которая действительно поможет

Руководство по выбору лучшего локального LLM для Cursor, ориентированное на аппаратное обеспечение, охватывающее качество кодирования, контекст, скорость, квантование, VRAM, конфиденциальность и практическое тестирование.

Читать статью

Руководство по инструментам

LM Studio Руководство по Local LLM: модели, настройка сервера, оборудование и безопасность

Практическое локальное руководство LLM по LM Studio, охватывающее загрузку моделей, выбор GGUF и MLX, настройку сервера OpenAI-compatible, установку оборудования, конфиденциальность и тестирование.

Читать статью