Empieza por el hardware, no por la popularidad del modelo
La forma más rápida de elegir un Local LLM es empezar por la máquina que ya tienes. La popularidad del modelo importa, pero un modelo que no puede cargarse o que funciona a una velocidad inutilizable no ayuda. Los primeros datos son VRAM, RAM del sistema, sistema operativo, si la memoria es unificada y si estás dispuesto a usar descarga a CPU. Solo después de eso deberías comparar familias de modelos.
Un buen flujo de recomendación de Local LLM separa tres preguntas: si puede cargarse, si será utilizable y si es bueno para la tarea. La carga depende de los pesos, la cuantización, KV cache y la sobrecarga del entorno de ejecución. La usabilidad depende de la velocidad y la estabilidad. El ajuste a la tarea depende de si el modelo está optimizado para programación, chat general, matemáticas, visión o trabajo con contexto largo.
Elige el caso de uso antes de elegir el modelo más grande
Distintas tareas premian distintos modelos. Una tarea de programación necesita entrenamiento en código, comprensión de repositorios, seguimiento de instrucciones y formato estable. Una tarea de escritura necesita control del tono y coherencia en textos largos. Una tarea de visión necesita una arquitectura multimodal y un codificador de imágenes. Una tarea de matemáticas o razonamiento puede necesitar una familia de modelos optimizada para resolver problemas paso a paso.
Por eso el mismo hardware puede producir recomendaciones distintas cuando el usuario cambia de General a Coding o Vision. El sitio no debería clasificar ciegamente por descargas o número de parámetros. Primero debería filtrar los modelos que se ajustan al hardware y luego ordenar las opciones restantes por caso de uso y preferencia.
Comprende el papel de la cuantización
La mayoría de los usuarios locales ejecutan modelos cuantizados en lugar de pesos de precisión completa. La cuantización reduce el uso de memoria y hace que los modelos sean prácticos en hardware de consumo. Q4 suele ser la opción que prioriza el ajuste, Q5 y Q6 pueden mejorar la calidad con mayor coste de memoria, y Q8 está más cerca de la calidad completa pero es mucho más pesado. La elección correcta depende de cuánto margen queda después de los pesos y KV cache.
Por lo tanto, la frase "qué puedo ejecutar" no tiene una única respuesta por modelo. Un modelo puede ser ejecutable en Q4 pero no en Q8, utilizable con contexto 4K pero no 32K, o funcionar bien completamente en GPU pero lento con descarga. Una página de recomendación útil debería mostrar la cuantización seleccionada y el desglose de memoria, no solo el nombre del modelo.
Las configuraciones de Mac, Windows, Linux y solo CPU son diferentes
Los usuarios de Windows y Linux con GPU discretas suelen pensar primero en VRAM. Los usuarios de Apple Silicon piensan en memoria unificada, porque la GPU y la CPU comparten el mismo conjunto de memoria. Los usuarios solo CPU deben ser aún más conservadores porque la memoria del sistema puede ser grande, pero la velocidad de tokens puede ser baja. La misma cifra de 32GB significa cosas diferentes en estas configuraciones.
Una herramienta debería reflejar esa diferencia. En Mac, debería reservar memoria para macOS y las apps. En GPU discretas, debería reservar VRAM para la pantalla, la sobrecarga del framework y KV cache. En máquinas solo CPU, debería recomendar modelos pequeños y establecer expectativas sobre la velocidad en lugar de fingir que la RAM del sistema por sí sola lo resuelve todo.
Un flujo de decisión práctico
Primero, introduce tu VRAM o memoria unificada. Segundo, elige tu sistema operativo. Tercero, elige el caso de uso. Cuarto, elige la preferencia: calidad, ajuste equilibrado o margen de contexto. Luego revisa solo los modelos compatibles. Si los resultados son demasiado pequeños, aumenta la memoria o acepta la descarga. Si los resultados son demasiado lentos, prefiere modelos más pequeños completamente en GPU.
Este enfoque evita que los usuarios copien recomendaciones aleatorias de modelos desde redes sociales. Una recomendación que funciona en una GPU de 24GB puede ser incorrecta para un portátil de 8GB. Un modelo excelente para programación puede ser innecesario para escritura casual. Local LLM debería convertir estas compensaciones en una lista clara y ordenada con enlaces de Hugging Face a las páginas reales de los modelos.
Preguntas frecuentes
¿Puedo ejecutar un Local LLM sin una GPU? Sí, pero normalmente con modelos más pequeños y menor velocidad. Solo CPU es mejor para pruebas, notas sensibles a la privacidad o tareas offline ligeras.
¿Debería elegir siempre el modelo más grande que quepa? No. Un modelo más pequeño que encaje completamente en GPU puede ser más rápido y más agradable que un modelo más grande que apenas cabe.
¿Por qué cambian las recomendaciones con el tiempo? Los archivos de modelos, descargas, cuantizaciones y lanzamientos de la comunidad en Hugging Face cambian con frecuencia, por lo que los datos de modelos en caché deberían actualizarse regularmente.