A resposta curta: escolhas locais de LLM são escolhas de hardware
A maioria das questões locais do LLM eventualmente retornam ao hardware. O modelo deve caber na memória disponível, funcionar em uma velocidade utilizável e corresponder à tarefa. Um modelo excelente em um benchmark, mas desconfortável no seu computador, não é uma boa recomendação para você. Um modelo menor que se ajuste perfeitamente pode ser a melhor resposta diária.
Este FAQ foi desenvolvido para usuários que estão prestes a baixar um modelo e desejam respostas simples primeiro. Abrange VRAM, RAM, quantização, ferramentas, privacidade, velocidade, uso offline e a diferença entre modelos que carregam tecnicamente e modelos que são agradáveis de usar.
Quanto VRAM eu preciso?
Não existe um número VRAM único para cada LLM local. 6GB a 8 GB podem executar pequenos modelos quantizados. 12GB a 16GB é mais confortável para muitos fluxos de trabalho 7B e alguns 14B. 24GB abre modelos de codificação e raciocínio locais mais fortes. 48GB e superiores oferecem muito mais espaço para modelos grandes, maior quantização e contexto mais longo.
VRAM não é apenas para pesos de modelo. KV cache, sobrecarga de tempo de execução, uso de exibição e outros usos de memória GPU também são importantes. O contexto longo aumenta a pressão da memória. É por isso que um modelo pode caber em uma configuração de contexto curta, mas falhar ou ficar lento quando a janela de contexto é levantada.
Posso executar um LLM local sem GPU?
Sim, mas as expectativas devem ser realistas. CPU apenas LLMs locais podem funcionar para modelos pequenos, testes, prompts ocasionais e tarefas off-line privadas. Eles geralmente parecem mais lentos do que a inferência apoiada por GPU, especialmente para modelos maiores ou respostas longas. O sistema RAM e a largura de banda da memória tornam-se os principais limites.
Se você tiver apenas CPU, escolha um modelo pequeno, quantização conservadora e contexto modesto. Se você planeja usar um LLM local todos os dias para codificação ou longas conversas, um sistema GPU ou Apple Silicon geralmente será muito melhor.
O que significam Q4, Q5, Q6 e Q8?
Esses rótulos descrevem variantes de modelos quantizados. A quantização mais baixa geralmente usa menos memória e cabe em mais dispositivos. Uma quantização mais alta geralmente preserva mais qualidade, mas precisa de mais memória. Q4 geralmente é o ponto de entrada, Q5 e Q6 são compensações diárias comuns e Q8 é útil quando você tem memória suficiente e deseja menos perda de qualidade.
A melhor quantização depende da tarefa. A escrita e o bate-papo podem tolerar melhor a quantização mais baixa do que a codificação ou o raciocínio difícil. O trabalho de contexto longo pode preferir uma variante menor para que haja memória suficiente para KV cache. Uma recomendação deve mostrar a variante real e não apenas a família do modelo.
Os LLMs locais são privados e offline?
Local LLMs podem ser mais privados porque prompts e arquivos podem permanecer em sua máquina após o download do modelo. Eles também poderão funcionar off-line se os arquivos de tempo de execução e de modelo já estiverem instalados. Isso é útil para notas privadas, códigos não publicados, viagens e fluxos de trabalho onde o acesso à nuvem não é confiável.
A privacidade não é automática. Você ainda precisa confiar na fonte do modelo, verificar a licença, evitar expor servidores locais à Internet pública e entender se alguma ferramenta conectada sincroniza logs ou prompts. O controle local reduz a dependência de um provedor de nuvem, mas não elimina a responsabilidade operacional.
Perguntas frequentes
Qual ferramenta devo usar primeiro? LM Studio é um bom ponto de partida gráfico, Ollama é uma boa linha de comando e ponto de partida local API e llama.cpp é poderoso quando você deseja controle de nível inferior.
Por que meu modelo funciona lentamente? Pode ser muito grande, usar descarregamento CPU, executar com muito contexto ou ser limitado pela largura de banda da memória em vez da computação bruta.
Os downloads e curtidas são suficientes para escolher um modelo? Não. Eles mostram o interesse da comunidade, não se o modelo se adapta ao seu hardware ou tarefa.
O que devo fazer a seguir? Use Local LLM para inserir seu hardware e tarefa e, em seguida, abra a página Hugging Face recomendada antes de fazer o download.