Empieza por la familia del modelo y luego revisa el archivo ejecutable
Un Local LLM no es solo un nombre de marca como Qwen, Llama, Mistral, Gemma, DeepSeek, Phi o Yi. El nombre normalmente apunta a una familia de modelos, mientras que el archivo que realmente ejecutas puede ser una versión instruct, una versión ajustada para programación, una variante de visión, una conversión GGUF o una compilación cuantizada creada por un publicador de la comunidad. Dos archivos de la misma familia de modelos pueden comportarse de forma diferente porque pueden usar distintas plantillas de prompt, longitudes de contexto, métodos de cuantización y supuestos de runtime.
Para una herramienta de recomendación, la pregunta útil no es solo “¿este modelo es popular?” La mejor pregunta es “¿qué variante ejecutable se ajusta a la memoria, la expectativa de velocidad y la tarea de este usuario?” Hugging Face puede mostrar muchos archivos para el mismo modelo, y las herramientas locales pueden exponer solo algunos de ellos. Por tanto, Local LLM debería tratar la identidad del modelo, el formato de archivo, la cuantización y el ajuste al hardware como señales separadas, en lugar de colapsarlo todo en un único nombre de modelo.
El recuento de parámetros es una señal aproximada de calidad, no una respuesta completa
El recuento de parámetros da una idea rápida de la escala. Un modelo 1B o 3B es más fácil de ejecutar y puede ser útil para chat ligero, reescritura, resumen y explicación simple de código. Un modelo 7B u 8B suele ser el punto de entrada práctico para respuestas cotidianas más sólidas. Un modelo 14B normalmente necesita más memoria, pero puede sentirse más capaz. Los modelos 30B, 70B y más grandes pueden ser mucho mejores para razonamiento difícil o programación, pero entran en territorio de alta VRAM, gran memoria unificada o multi-GPU.
La limitación es que el recuento de parámetros no cuenta toda la historia. Un modelo 7B más nuevo puede superar a un modelo 13B más antiguo en muchas tareas. Un modelo 7B ajustado para programación puede ser más útil para desarrollo que un modelo de chat general más grande. Los modelos MoE añaden otra complicación porque los parámetros totales y los parámetros activos son diferentes. Por eso las recomendaciones deberían combinar calidad de benchmark, caso de uso, parámetros activos, requisitos de contexto y ajuste de memoria, en lugar de simplemente clasificar primero el modelo más grande.
GGUF, safetensors y el soporte de herramientas deciden qué puedes ejecutar realmente
Muchos usuarios de escritorio local buscan archivos GGUF porque funcionan bien con herramientas basadas en llama.cpp y están ampliamente disponibles en Hugging Face. GGUF empaqueta pesos del modelo y metadatos en un formato diseñado para inferencia local, y Hugging Face admite explorar y alojar archivos GGUF. Otros repositorios publican pesos safetensors, que pueden estar pensados para Transformers, vLLM o conversión antes de usarlos en escritorio local. Ambos pueden ser legítimos, pero sirven a flujos de trabajo diferentes.
Esto importa para los usuarios porque una página de modelo puede parecer atractiva y aun así ser incómoda de ejecutar localmente. Ollama, LM Studio, llama.cpp, MLX, Transformers y vLLM no exponen exactamente la misma ruta de carga de modelos. Un buen resultado de recomendación debería enlazar a la página fuente, mostrar si el modelo tiene un archivo cómodo para uso local y evitar dar a entender que todos los repositorios de Hugging Face son igual de fáciles de ejecutar en un portátil.
La cuantización cambia el uso de memoria y la calidad
La cuantización reduce la precisión de los pesos del modelo para que el archivo sea más pequeño y más fácil de cargar. Q8 está cerca de una alta calidad, pero usa más memoria. Q6 y Q5 suelen ser un punto medio útil. Q4 es el punto de entrada común para encajar modelos más grandes en hardware de consumo. Q3 e inferiores pueden ser útiles en situaciones de memoria limitada, pero el compromiso de calidad se vuelve más visible, especialmente para programación, matemáticas, uso de herramientas y respuestas largas.
La cuantización correcta depende tanto del modelo como de la tarea. Si el usuario pide chat casual rápido, Q4 puede ser aceptable. Si pide programación o razonamiento cuidadoso, Q5, Q6 o Q8 pueden valer la memoria extra. Si pide contexto largo, el archivo de modelo más pequeño no es suficiente; el sistema aún necesita memoria para KV cache y sobrecarga de runtime. Local LLM debería mostrar la cuantización seleccionada y el desglose de memoria para que los usuarios entiendan por qué una recomendación encaja.
La longitud de contexto, la visión y el ajuste especializado cambian la recomendación
La longitud de contexto es específica del modelo, pero el contexto utilizable es específico del hardware. Un modelo puede anunciar una gran ventana de contexto, pero el KV cache crece a medida que la conversación o el documento se alarga. Esa memoria extra puede empujar un modelo desde ejecución completa en GPU hacia descarga parcial a CPU. Para RAG, análisis de bases de código o lectura de documentos largos, un modelo más pequeño con más margen de memoria puede ser mejor que un modelo más grande que apenas carga.
Las capacidades especializadas también importan. Los modelos de visión necesitan codificadores de imagen y soporte multimodal, así que no debería recomendarse un modelo solo de texto para tareas de imagen, aunque tenga una puntuación general alta. Los modelos de programación deberían evaluarse de forma diferente a los modelos de roleplay. Los modelos de matemáticas y razonamiento pueden necesitar umbrales de calidad más cuidadosos. Por tanto, el mejor modelo local es una correspondencia entre capacidad del modelo, variante de archivo, cuantización, objetivo de contexto y el hardware del usuario.
FAQ
¿Los modelos GGUF son siempre mejores para Local LLMs? No siempre. GGUF es muy conveniente para inferencia local al estilo llama.cpp, pero safetensors u otros formatos pueden ser mejores para flujos de trabajo de servidor, entrenamiento o runtimes especializados.
¿Debería elegir el modelo más grande que encaje? No automáticamente. Si encaja por poco, la velocidad y la estabilidad del contexto pueden ser malas. Un modelo ligeramente más pequeño con Q5 o Q6 y suficiente margen de memoria puede sentirse mejor en el uso diario.
¿Por qué distintas herramientas recomiendan modelos diferentes? Pueden admitir formatos, niveles de cuantización, backends de GPU, valores predeterminados de contexto y catálogos de modelos diferentes. El soporte de herramientas forma parte de la recomendación.
¿Cómo debería usar Local LLM después de leer esto? Introduce tu VRAM, RAM, sistema operativo, caso de uso y preferencia. La herramienta puede entonces clasificar variantes actuales de modelos en lugar de obligarte a memorizar nombres de modelos.