La respuesta corta: las opciones locales de LLM son opciones de hardware
La mayoría de las preguntas locales de LLM eventualmente regresan al hardware. El modelo debe caber en la memoria disponible, ejecutarse a una velocidad utilizable y coincidir con la tarea. Un modelo que es excelente en un benchmark pero incómodo en tu computadora no es una buena recomendación para ti. Un modelo más pequeño que se ajuste completamente puede ser la mejor respuesta diaria.
Estas preguntas frecuentes están diseñadas para usuarios que están a punto de descargar un modelo y primero desean respuestas sencillas. Cubre VRAM, RAM, cuantificación, herramientas, privacidad, velocidad, uso fuera de línea y la diferencia entre modelos que técnicamente se cargan y modelos que son agradables de usar.
¿Cuánto VRAM necesito?
No existe un número único VRAM para cada LLM local. 6GB a 8 GB pueden ejecutar pequeños modelos cuantificados. 12GB a 16GB es más cómodo para muchos flujos de trabajo 7B y algunos 14B. 24GB abre modelos locales de codificación y razonamiento más sólidos. 48GB y superiores brindan mucho más espacio para modelos grandes, mayor cuantificación y contexto más extenso.
VRAM no es solo para pesos de modelos. KV cache, la sobrecarga del tiempo de ejecución, el uso de la pantalla y otros usos de la memoria GPU también son importantes. El contexto largo aumenta la presión de la memoria. Esta es la razón por la que un modelo puede ajustarse a una configuración de contexto breve pero fallar o ralentizarse cuando se abre la ventana de contexto.
¿Puedo ejecutar un LLM local sin GPU?
Sí, pero las expectativas deben ser realistas. Los LLM locales exclusivos de CPU pueden funcionar para modelos pequeños, pruebas, indicaciones ocasionales y tareas privadas fuera de línea. Por lo general, se sienten más lentos que la inferencia respaldada por GPU, especialmente para modelos más grandes o respuestas largas. El sistema RAM y el ancho de banda de la memoria se convierten en los límites clave.
Si solo tiene CPU, elija un modelo pequeño, cuantificación conservadora y contexto modesto. Si planea utilizar un LLM local todos los días para codificar o mantener conversaciones largas, un sistema GPU o Apple Silicon generalmente le resultará mucho mejor.
¿Qué significan Q4, Q5, Q6 y Q8?
Estas etiquetas describen variantes del modelo cuantificado. Una cuantificación más baja suele utilizar menos memoria y se adapta a más dispositivos. Una cuantización más alta normalmente preserva más calidad pero necesita más memoria. Q4 suele ser el punto de entrada, Q5 y Q6 son compensaciones diarias comunes y Q8 es útil cuando se tiene suficiente memoria y se desea reducir la pérdida de calidad.
La mejor cuantificación depende de la tarea. La escritura y el chat pueden tolerar una cuantificación más baja mejor que la codificación o el razonamiento difícil. Es posible que el trabajo de contexto largo prefiera una variante más pequeña, de modo que quede suficiente memoria para KV cache. Una recomendación debería mostrar la variante real, no sólo la familia de modelos.
¿Los LLM locales son privados y fuera de línea?
Local LLMs pueden ser más privados porque las indicaciones y los archivos pueden permanecer en su máquina después de descargar el modelo. También pueden funcionar sin conexión si los archivos de modelo y tiempo de ejecución ya están instalados. Esto es útil para notas privadas, código no publicado, viajes y flujos de trabajo donde el acceso a la nube no es confiable.
La privacidad no es automática. Aún debe confiar en la fuente del modelo, verificar la licencia, evitar exponer los servidores locales a la Internet pública y comprender si alguna herramienta conectada sincroniza registros o indicaciones. El control local reduce la dependencia de un proveedor de nube, pero no elimina la responsabilidad operativa.
Preguntas frecuentes
¿Qué herramienta debo utilizar primero? LM Studio es un buen punto de partida gráfico, Ollama es una buena línea de comandos y punto de partida local de API, y llama.cpp es potente cuando desea un control de nivel inferior.
¿Por qué mi modelo funciona lentamente? Puede ser demasiado grande, usar la descarga CPU, ejecutarse con demasiado contexto o estar limitado por el ancho de banda de la memoria en lugar del cálculo sin procesar.
¿Las descargas y los me gusta son suficientes para elegir un modelo? No. Muestran interés de la comunidad, no si el modelo se adapta a su hardware o tarea.
¿Qué debo hacer a continuación? Utilice Local LLM para ingresar su hardware y tarea, luego abra la página recomendada Hugging Face antes de descargar.