Empieza por tu ordenador, no por la tabla de clasificación
El mejor LLM para ejecutar localmente no es simplemente el modelo mejor clasificado en un benchmark público. La inferencia local tiene una restricción estricta: el modelo debe cargarse y responder a una velocidad utilizable en tu máquina. Un portátil con 8GB VRAM, un equipo de escritorio con 24GB VRAM y un Mac con 64GB de memoria unificada no deberían recibir la misma respuesta. El hardware cambia el conjunto de candidatos antes de que comience la clasificación por calidad.
Esta es la diferencia principal entre elegir un modelo en la nube y elegir un modelo local. Los modelos en la nube ocultan la infraestructura detrás de una API. Los modelos locales exponen directamente el compromiso: pesos, cuantización, KV cache, longitud de contexto, backend de GPU, ancho de banda de memoria y sobrecarga del entorno de ejecución. La mejor recomendación empieza preguntando qué puedes ejecutar y luego pregunta qué quieres hacer.
Para 6GB a 8GB VRAM, mantente en modelos pequeños y estables
Una GPU de 6GB u 8GB todavía puede ser útil para LLMs locales, pero las expectativas deben ser realistas. Los modelos pequeños y las variantes 3B, 4B, 7B u 8B cuidadosamente cuantizadas son la zona práctica. Q4 puede ser necesario para que quepan modelos pequeños más grandes, mientras que Q5 o Q6 pueden ser posibles para los más pequeños. Los contextos largos y los modelos de visión pueden superar rápidamente la zona cómoda.
Para estas máquinas, el mejor LLM local suele ser el que se ejecuta completamente en la GPU con suficiente margen. Puede que no sea el modelo más grande de la lista. Debe ser ágil, estable y estar alineado con la tarea. Para programación, un modelo más pequeño ajustado para código puede ayudar con fragmentos y explicaciones. Para escritura, un modelo pequeño de instrucciones puede ser suficiente para borradores y reescrituras.
Para 12GB a 24GB VRAM, equilibra calidad y margen
Una GPU de 12GB es una base más cómoda para muchos modelos 7B y algunas variantes 14B cuantizadas. Una GPU de 16GB ofrece más margen para contexto y mayor cuantización. Una GPU de 24GB es un nivel de consumo potente en el que modelos mejores de programación, escritura y razonamiento se vuelven más prácticos. Este rango es donde la calidad de la recomendación empieza a importar más porque pueden caber muchos candidatos.
El mejor LLM para ejecutar localmente en este nivel depende mucho del caso de uso. La programación puede preferir un modelo ajustado para código y con suficiente contexto para archivos. La escritura general puede priorizar fluidez y velocidad. El razonamiento puede necesitar señales de calidad más fuertes. Las tareas de visión requieren soporte multimodal. Una herramienta no debería mostrar una única respuesta universal cuando la misma GPU puede admitir varias mejores opciones diferentes.
Para Apple Silicon y máquinas con mucha memoria, usa la capacidad con inteligencia
Los Mac con Apple Silicon usan memoria unificada, por lo que la CPU, la GPU, el sistema operativo y las aplicaciones comparten el mismo conjunto. Un Mac de 32GB, 64GB o 128GB puede ser potente para trabajo con LLM local, pero no toda la memoria está disponible para los pesos del modelo. Una mayor memoria unificada permite modelos más grandes, mayor cuantización o contextos más largos, pero la mejor recomendación aún necesita margen.
Los equipos de escritorio y estaciones de trabajo con mucha memoria tienen el mismo problema de otra forma. Más capacidad amplía la lista de candidatos, pero no significa que el modelo más grande sea siempre el mejor. La velocidad, los parámetros activos, el objetivo de contexto, el ajuste del modelo y el soporte de herramientas siguen siendo importantes. La respuesta correcta es el modelo que ofrece la mejor calidad útil dentro de una configuración de ejecución estable.
No ignores la privacidad, el uso sin conexión y el mantenimiento
Ejecutar un LLM localmente puede mantener los prompts en tu máquina y puede funcionar sin conexión después de descargar los archivos del modelo. Eso es valioso para notas privadas, borradores sensibles, viajes, experimentos de desarrollo y usuarios que no quieren que cada prompt se envíe a una API en la nube. Pero local no significa automáticamente libre de riesgos. Los usuarios aún necesitan inspeccionar licencias, procedencia del modelo, configuración de herramientas y exposición del servidor local.
El mantenimiento también forma parte de la elección. Los modelos en la nube pueden actualizarse silenciosamente y escalar sin hardware local, mientras que los modelos locales requieren descargas, almacenamiento, compatibilidad de drivers y resolución ocasional de problemas. Por lo tanto, el mejor LLM local no es solo una elección de calidad; también es una elección de propiedad. Cambias la comodidad de la nube por el control local.
FAQ
¿Cuál es el mejor LLM para ejecutar localmente con 8GB VRAM? Normalmente, un modelo pequeño o cuantizado de 3B a 8B con contexto conservador. La respuesta exacta depende de tu tarea.
¿Es suficiente una GPU de 24GB para buenos LLMs locales? Sí. Es uno de los niveles de consumo más útiles para modelos cuantizados potentes, aunque los modelos muy grandes aún necesitan más memoria.
¿Debería ejecutar LLMs locales solo en CPU? Puedes hacerlo, pero elige modelos pequeños y espera una salida más lenta. Las configuraciones solo con CPU son mejores para pruebas que para trabajo diario de alta velocidad.
¿Cómo puedo encontrar la mejor respuesta para mi ordenador? Usa Local LLM con tu VRAM, RAM, sistema operativo, caso de uso y preferencia. Filtra las variantes de modelos actuales antes de clasificarlas.