Comece pelo hardware, não pelo hype do modelo
A maneira mais rápida de escolher um Local LLM é começar pela máquina que você já tem. A popularidade do modelo importa, mas um modelo que não consegue carregar ou roda em uma velocidade inutilizável não ajuda. As primeiras entradas são VRAM, RAM do sistema, sistema operacional, se a memória é unificada e se você está disposto a usar CPU offload. Só depois disso você deve comparar famílias de modelos.
Um bom fluxo de recomendação de Local LLM separa três perguntas: ele consegue carregar, será utilizável e é bom para a tarefa. O carregamento depende dos pesos, da quantização, do KV cache e da sobrecarga do runtime. A usabilidade depende da velocidade e da estabilidade. A adequação à tarefa depende de o modelo ser ajustado para programação, chat geral, matemática, visão ou trabalho com contexto longo.
Escolha o caso de uso antes de escolher o maior modelo
Tarefas diferentes favorecem modelos diferentes. Uma tarefa de programação precisa de treinamento em código, compreensão de repositórios, seguimento de instruções e formatação estável. Uma tarefa de escrita precisa de controle de tom e coerência em textos longos. Uma tarefa de visão precisa de uma arquitetura multimodal e de um codificador de imagem. Uma tarefa de matemática ou raciocínio pode precisar de uma família de modelos ajustada para resolução de problemas passo a passo.
É por isso que o mesmo hardware pode gerar recomendações diferentes quando o usuário muda de Geral para Programação ou Visão. O site não deve classificar cegamente por downloads ou contagem de parâmetros. Ele deve primeiro filtrar os modelos que se ajustam ao hardware e depois classificar as opções restantes por caso de uso e preferência.
Entenda o papel da quantização
A maioria dos usuários locais executa modelos quantizados em vez de pesos em precisão completa. A quantização reduz o uso de memória e torna os modelos práticos em hardware de consumidor. Q4 costuma ser a opção focada primeiro em caber, Q5 e Q6 podem melhorar a qualidade com maior custo de memória, e Q8 fica mais próximo da qualidade completa, mas é muito mais pesado. A escolha certa depende de quanta folga resta depois dos pesos e do KV cache.
Portanto, a frase "o que posso executar" não tem uma única resposta por modelo. Um modelo pode ser executável em Q4, mas não em Q8, utilizável com contexto de 4K, mas não de 32K, ou bom inteiramente na GPU, mas lento com offload. Uma página de recomendação útil deve mostrar a quantização selecionada e o detalhamento de memória, não apenas o nome do modelo.
Configurações Mac, Windows, Linux e somente CPU são diferentes
Usuários de Windows e Linux com GPUs discretas geralmente pensam primeiro em VRAM. Usuários de Apple Silicon pensam em memória unificada, porque a GPU e a CPU compartilham o mesmo pool de memória. Usuários somente CPU precisam ser ainda mais conservadores, porque a memória do sistema pode ser grande, mas a velocidade de tokens pode ser baixa. O mesmo número de 32GB significa coisas diferentes entre essas configurações.
Uma ferramenta deve refletir essa diferença. No Mac, ela deve reservar memória para o macOS e os aplicativos. Em GPUs discretas, ela deve reservar VRAM para a tela, a sobrecarga do framework e o KV cache. Em máquinas somente CPU, ela deve recomendar modelos pequenos e definir expectativas sobre velocidade, em vez de fingir que a RAM do sistema sozinha resolve tudo.
Um fluxo de decisão prático
Primeiro, informe sua VRAM ou memória unificada. Segundo, escolha seu sistema operacional. Terceiro, escolha o caso de uso. Quarto, escolha a preferência: qualidade, ajuste equilibrado ou folga de contexto. Depois, revise apenas os modelos compatíveis. Se os resultados forem pequenos demais, aumente a memória ou aceite offload. Se os resultados forem lentos demais, prefira modelos menores que caibam inteiramente na GPU.
Essa abordagem impede que usuários copiem recomendações aleatórias de modelos das redes sociais. Uma recomendação que funciona em uma GPU de 24GB pode estar errada para um laptop de 8GB. Um modelo excelente para programação pode ser desnecessário para escrita casual. Local LLM deve transformar essas trocas em uma lista ranqueada clara com links do Hugging Face para as páginas reais dos modelos.
FAQ
Posso executar um Local LLM sem uma GPU? Sim, mas geralmente com modelos menores e velocidade mais baixa. Somente CPU é melhor para testes, notas sensíveis à privacidade ou tarefas offline leves.
Devo sempre escolher o maior modelo que couber? Não. Um modelo menor que caiba inteiramente na GPU pode ser mais rápido e mais agradável do que um modelo maior que mal cabe.
Por que as recomendações mudam com o tempo? Arquivos de modelos, downloads, quantizações e lançamentos da comunidade no Hugging Face mudam com frequência, então os dados de modelos em cache devem ser atualizados regularmente.