La respuesta corta: la VRAM depende del tamaño del modelo, la cuantización y el contexto
No hay una única cifra de VRAM que funcione para todos los Local LLM. El requisito práctico es la suma de los pesos del modelo, KV cache, sobrecarga de runtime y margen de seguridad. Un modelo Q4 pequeño puede ejecutarse en hardware modesto, mientras que un modelo Q8 más grande con contexto largo puede requerir mucha más memoria. Por eso dos usuarios con la misma GPU pueden obtener resultados diferentes si uno quiere chat corto y el otro quiere programación con contexto largo o RAG.
Como regla práctica, 6GB es nivel de entrada, 8GB es utilizable para modelos pequeños, 12GB es una base de escritorio más cómoda, 16GB da mejor margen, 24GB es un nivel de consumo sólido, y 48GB o más abre la puerta a modelos más grandes y mayor cuantización. La memoria unificada de Apple Silicon es una categoría aparte porque CPU y GPU comparten el mismo grupo de memoria, pero aun así necesita espacio para macOS, apps y sobrecarga de runtime.
Los pesos del modelo suelen dominar el presupuesto de memoria
La parte más grande del presupuesto de memoria suele ser los pesos del modelo. Los pesos FP16 son grandes, mientras que los archivos GGUF cuantizados reducen el tamaño al almacenar pesos con menos bits. Un modelo 7B en Q4 puede caber en mucha menos memoria que el mismo modelo en FP16 o Q8. Esta es la razón por la que la cuantización es central en las recomendaciones de Local LLM: cambia lo que es realísticamente ejecutable en GPUs de consumo.
Sin embargo, el tamaño del archivo por sí solo no basta. Algunos modelos tienen arquitecturas diferentes, comportamiento de parámetros activos MoE, ajustes de tokenizer y valores predeterminados de contexto. Un archivo de modelo que parece encajar sobre el papel puede seguir siendo ajustado cuando el runtime reserva memoria. La recomendación debería incluir un margen conservador en lugar de tratar el tamaño del archivo como el requisito completo.
KV cache crece con la longitud de contexto
KV cache es la memoria usada para almacenar información de atención de tokens ya procesados. Crece con la longitud de contexto, los ajustes de batch, el número de capas, el tamaño oculto y los detalles de implementación. Por eso un modelo que funciona a contexto 4K puede volverse inestable o lento a contexto 16K, 32K o superior. El contexto largo no es gratis solo porque la model card lo anuncie.
Para los usuarios, esto significa que el objetivo correcto de VRAM depende de la carga de trabajo. El chat simple puede mantener el contexto moderado. Programar a través de muchos archivos, resumir documentos largos y RAG pueden elevar los requisitos de memoria. Si el contexto largo es la prioridad, un modelo más pequeño o más fuertemente cuantizado puede encajar mejor que un modelo más grande que consume casi toda la VRAM solo con los pesos.
Niveles realistas de GPU para Local LLMs
Con 6GB, espera modelos pequeños y contexto conservador. Con 8GB, los modelos 3B a 7B Q4 se vuelven realistas, pero el margen es limitado. Con 12GB, muchos modelos 7B y algunos modelos 14B cuantizados se vuelven más prácticos. Con 16GB, los mismos modelos pueden usar mejor cuantización o más contexto. Con 24GB, modelos 14B sólidos y algunos modelos cuantizados más grandes se vuelven realistas para uso diario. Con 48GB y más, los experimentos locales más grandes se vuelven mucho más fáciles.
Estos niveles no son promesas. La velocidad depende del ancho de banda de memoria, el backend de GPU, CPU, RAM, drivers y la herramienta de inferencia. El soporte NVIDIA CUDA suele ser el más amplio en herramientas de inferencia local. AMD puede funcionar bien en stacks compatibles, pero puede requerir más atención a la compatibilidad del backend. Apple Silicon puede usar la memoria unificada de forma efectiva, pero el presupuesto de modelo utilizable sigue siendo menor que la cantidad nominal de RAM porque el sistema comparte esa memoria.
Cuándo ayuda la descarga parcial y cuándo perjudica
Si un modelo no cabe completamente en VRAM, algunas herramientas pueden descargar parte del modelo a memoria de CPU. Esto puede hacer que un modelo cargue, pero a menudo reduce la velocidad porque los datos tienen que moverse entre GPU y memoria del sistema. En GPUs discretas, PCIe y el ancho de banda de memoria de CPU pueden convertirse en cuellos de botella. En Macs con memoria unificada, la penalización es diferente, pero el ancho de banda de memoria y la presión del sistema siguen importando.
La descarga parcial debería presentarse con honestidad. Puede ser útil para experimentación, respuestas largas ocasionales o probar un modelo más grande, pero no debería ser la recomendación predeterminada para un usuario normal que espera velocidad interactiva. Local LLM debería preferir recomendaciones de GPU completa cuando sea posible y etiquetar la descarga parcial por separado cuando el modelo sea técnicamente ejecutable pero menos cómodo.
FAQ
¿8GB de VRAM son suficientes para un Local LLM? Sí, para modelos pequeños y cuidadosamente cuantizados. No son suficientes para todos los modelos, y el contexto largo reducirá el rango utilizable.
¿12GB de VRAM son suficientes? Es un punto de partida razonable para muchos modelos 7B y algunos modelos 14B cuantizados, especialmente con ajustes equilibrados.
¿Más VRAM siempre significa mejores respuestas? No siempre. Más VRAM amplía el conjunto de candidatos, pero la calidad del modelo, el ajuste, la cuantización y el caso de uso siguen determinando la mejor recomendación.
¿Cómo puedo estimar mi propia configuración? Introduce tu VRAM, RAM, sistema operativo y caso de uso en Local LLM. La herramienta aplica reglas de tamaño de modelo, cuantización, KV cache y margen a datos actuales de modelos.