A resposta curta: VRAM depende do tamanho do modelo, da quantização e do contexto
Não existe um único número de VRAM que funcione para todo LLM local. O requisito prático é a soma de pesos do modelo, KV cache, overhead de runtime e margem de segurança. Um modelo Q4 pequeno pode rodar em hardware modesto, enquanto um modelo Q8 maior com contexto longo pode exigir muito mais memória. É por isso que dois usuários com a mesma GPU podem obter resultados diferentes se um quer chat curto e o outro quer programação com contexto longo ou RAG.
Como regra prática, 6GB é nível de entrada, 8GB é utilizável para modelos pequenos, 12GB é uma base de desktop mais confortável, 16GB dá mais folga, 24GB é uma faixa forte de consumidor, e 48GB ou mais abre a porta para modelos maiores e quantização mais alta. Memória unificada Apple Silicon é uma categoria separada porque CPU e GPU compartilham o mesmo pool de memória, mas ela ainda precisa de espaço para macOS, aplicativos e overhead de runtime.
Os pesos do modelo geralmente dominam o orçamento de memória
A maior parte do orçamento de memória geralmente são os pesos do modelo. Pesos FP16 são grandes, enquanto arquivos GGUF quantizados reduzem o tamanho ao armazenar pesos com menos bits. Um modelo 7B em Q4 pode caber em muito menos memória do que o mesmo modelo em FP16 ou Q8. Esse é o motivo pelo qual a quantização é central nas recomendações de LLM local: ela muda o que é realisticamente executável em GPUs de consumidor.
No entanto, o tamanho do arquivo sozinho não basta. Alguns modelos têm arquiteturas diferentes, comportamento de parâmetros ativos em MoE, configurações de tokenizer e padrões de contexto. Um arquivo de modelo que parece caber no papel ainda pode ficar apertado quando o runtime reserva memória. A recomendação deve incluir uma margem conservadora, em vez de tratar o tamanho do arquivo como todo o requisito.
KV cache cresce com o comprimento de contexto
KV cache é a memória usada para armazenar informações de atenção dos tokens já processados. Ele cresce com o comprimento de contexto, configurações de batch, contagem de camadas, tamanho oculto e detalhes de implementação. É por isso que um modelo que funciona em contexto 4K pode se tornar instável ou lento em contexto 16K, 32K ou maior. Contexto longo não é gratuito só porque o model card o anuncia.
Para os usuários, isso significa que a meta certa de VRAM depende da carga de trabalho. Chat simples pode manter o contexto moderado. Programar em muitos arquivos, resumir documentos longos e RAG podem elevar os requisitos de memória. Se contexto longo é a prioridade, um modelo menor ou mais fortemente quantizado pode ser uma escolha melhor do que um modelo maior que consome quase toda a VRAM apenas com os pesos.
Faixas realistas de GPU para LLMs locais
Com 6GB, espere modelos pequenos e contexto conservador. Com 8GB, modelos 3B a 7B Q4 se tornam realistas, mas a folga é limitada. Com 12GB, muitos modelos 7B e alguns modelos 14B quantizados se tornam mais práticos. Com 16GB, os mesmos modelos podem usar quantização melhor ou mais contexto. Com 24GB, modelos 14B fortes e alguns modelos quantizados maiores se tornam realistas para uso diário. Com 48GB ou mais, experimentos locais maiores ficam muito mais fáceis.
Essas faixas não são promessas. A velocidade depende de largura de banda de memória, backend de GPU, CPU, RAM, drivers e ferramenta de inferência. O suporte a NVIDIA CUDA geralmente é o mais amplo nas ferramentas de inferência local. AMD pode funcionar bem em stacks compatíveis, mas pode exigir mais atenção à compatibilidade de backend. Apple Silicon pode usar memória unificada de forma eficaz, mas o orçamento de modelo utilizável ainda é menor do que a quantidade de RAM anunciada porque o sistema compartilha essa memória.
Quando o offload parcial ajuda e quando atrapalha
Se um modelo não cabe totalmente na VRAM, algumas ferramentas podem fazer offload de parte do modelo para a memória da CPU. Isso pode fazer um modelo carregar, mas frequentemente reduz a velocidade porque os dados precisam se mover entre a GPU e a memória do sistema. Em GPUs discretas, PCIe e largura de banda da memória da CPU podem se tornar gargalos. Em Macs com memória unificada, a penalidade é diferente, mas largura de banda de memória e pressão do sistema ainda importam.
O offload parcial deve ser apresentado com honestidade. Ele pode ser útil para experimentação, respostas longas ocasionais ou teste de um modelo maior, mas não deve ser a recomendação padrão para um usuário normal que espera velocidade interativa. Local LLM deve preferir recomendações totalmente em GPU quando possível e rotular o offload parcial separadamente quando o modelo é tecnicamente executável, mas menos confortável.
FAQ
8GB de VRAM é suficiente para um LLM local? Sim, para modelos pequenos e cuidadosamente quantizados. Não é suficiente para todos os modelos, e contexto longo reduzirá a faixa utilizável.
12GB de VRAM é suficiente? É um ponto de partida razoável para muitos modelos 7B e alguns modelos 14B quantizados, especialmente com configurações equilibradas.
Mais VRAM sempre significa respostas melhores? Nem sempre. Mais VRAM amplia o conjunto de candidatos, mas qualidade do modelo, ajuste, quantização e caso de uso ainda determinam a melhor recomendação.
Como posso estimar minha própria configuração? Informe sua VRAM, RAM, sistema operacional e caso de uso no Local LLM. A ferramenta aplica regras de tamanho do modelo, quantização, KV cache e margem a dados atuais de modelos.