Короткий ответ: VRAM зависит от размера модели, квантования и контекста
Не существует единого числа VRAM, которое подходит для каждой Local LLM. Практическое требование — это сумма весов модели, KV cache, накладных расходов runtime и запаса безопасности. Небольшая Q4-модель может работать на скромном оборудовании, тогда как более крупная Q8-модель с длинным контекстом может требовать намного больше памяти. Поэтому два пользователя с одним и тем же GPU могут получить разные результаты, если одному нужен короткий чат, а другому — программирование с длинным контекстом или RAG.
Практическое правило: 6GB — начальный уровень, 8GB подходит для небольших моделей, 12GB — более комфортная базовая планка для десктопа, 16GB даёт лучший запас, 24GB — сильный потребительский уровень, а 48GB и больше открывают путь к более крупным моделям и более высокому квантованию. Unified memory в Apple Silicon — отдельная категория, потому что CPU и GPU используют общий пул памяти, но ей всё равно нужно место для macOS, приложений и накладных расходов runtime.
Веса модели обычно занимают основную часть бюджета памяти
Самая большая часть бюджета памяти обычно приходится на веса модели. Веса FP16 велики, тогда как квантованные файлы GGUF уменьшают размер, сохраняя веса с меньшим числом бит. Модель 7B в Q4 может поместиться в намного меньший объём памяти, чем та же модель в FP16 или Q8. Именно поэтому квантование является центральным элементом рекомендаций Local LLM: оно меняет то, что реально можно запустить на потребительских GPU.
Однако одного размера файла недостаточно. У некоторых моделей разные архитектуры, поведение активных параметров MoE, настройки токенизатора и значения контекста по умолчанию. Файл модели, который на бумаге выглядит подходящим, всё равно может оказаться на пределе после того, как runtime зарезервирует память. Рекомендация должна включать консервативный запас, а не считать размер файла полным требованием.
KV cache растёт вместе с длиной контекста
KV cache — это память, используемая для хранения информации attention по уже обработанным токенам. Она растёт вместе с длиной контекста, настройками batch, числом слоёв, hidden size и деталями реализации. Поэтому модель, которая работает при контексте 4K, может стать нестабильной или медленной при 16K, 32K или более высоком контексте. Длинный контекст не становится бесплатным только потому, что он указан в карточке модели.
Для пользователей это означает, что правильная цель по VRAM зависит от нагрузки. Простой чат может оставлять контекст умеренным. Программирование по множеству файлов, суммаризация длинных документов и RAG могут повысить требования к памяти. Если приоритет — длинный контекст, меньшая или сильнее квантованная модель может подойти лучше, чем более крупная модель, которая расходует почти всю VRAM только на веса.
Реалистичные уровни GPU для Local LLM
При 6GB стоит ожидать небольшие модели и консервативный контекст. При 8GB становятся реалистичными модели 3B–7B Q4, но запас ограничен. При 12GB многие модели 7B и некоторые квантованные 14B становятся более практичными. При 16GB те же модели могут использовать лучшее квантование или больший контекст. При 24GB сильные 14B и некоторые более крупные квантованные модели становятся реалистичными для ежедневного использования. При 48GB и выше более крупные локальные эксперименты становятся гораздо проще.
Эти уровни не являются обещаниями. Скорость зависит от пропускной способности памяти, GPU-бэкенда, CPU, RAM, драйверов и инструмента inference. Поддержка NVIDIA CUDA обычно самая широкая в локальных инструментах inference. AMD может хорошо работать в поддерживаемых стеках, но может требовать большего внимания к совместимости бэкенда. Apple Silicon может эффективно использовать unified memory, но полезный бюджет модели всё равно ниже заявленного объёма RAM, потому что система разделяет эту память.
Когда partial offload помогает, а когда мешает
Если модель не помещается полностью в VRAM, некоторые инструменты могут выгружать часть модели в память CPU. Это может позволить модели загрузиться, но часто снижает скорость, потому что данные должны перемещаться между GPU и системной памятью. На дискретных GPU узкими местами могут стать PCIe и пропускная способность памяти CPU. На Mac с unified memory штраф другой, но пропускная способность памяти и нагрузка на систему всё равно важны.
Partial offload следует показывать честно. Он может быть полезен для экспериментов, отдельных длинных ответов или тестирования более крупной модели, но не должен быть рекомендацией по умолчанию для обычного пользователя, который ожидает интерактивной скорости. Local LLM должен по возможности отдавать предпочтение рекомендациям с полным выполнением на GPU и отдельно помечать partial offload, когда модель технически запускается, но менее комфортна.
FAQ
Достаточно ли 8GB VRAM для Local LLM? Да, для небольших и аккуратно квантованных моделей. Этого недостаточно для каждой модели, а длинный контекст уменьшит usable range.
Достаточно ли 12GB VRAM? Это разумная стартовая точка для многих моделей 7B и некоторых квантованных моделей 14B, особенно со сбалансированными настройками.
Всегда ли больше VRAM означает лучшие ответы? Не всегда. Больше VRAM расширяет набор кандидатов, но качество модели, настройка, квантование и сценарий использования всё равно определяют лучшую рекомендацию.
Как оценить собственную конфигурацию? Введите вашу VRAM, RAM, операционную систему и сценарий использования в Local LLM. Инструмент применит правила размера модели, квантования, KV cache и запаса к актуальным данным моделей.