Centro del blog
Guías prácticas sobre VRAM, Mac, cuantización, modelos de programación y modelos de visión locales.
Guía de memoria de vídeo
De 6 GB, 8 GB, 12 GB, 24 GB a 48 GB, explique cómo se combinan el volumen de parámetros del modelo, la versión cuantificada, la caché KV y la sobrecarga del sistema para determinar si se puede cargar.
Leer artículochip de manzana
Explique por qué la memoria total de Mac no se puede utilizar como memoria de vídeo y cómo elegir el modelo adecuado para máquinas de 16 GB, 32 GB, 64 GB y 128 GB.
Leer artículoCuantificar
La cuantificación GGUF más común del uso de memoria, la pérdida de calidad y la compensación de velocidad ayuda a los usuarios a comprender las tres preferencias de prioridad de calidad, equilibrio y contexto largo.
Leer artículomodelo de programación
A partir de los cuatro escenarios de generación, interpretación, reconstrucción y contexto largo de código, explique por qué los propósitos de programación no pueden limitarse a considerar el tamaño del modelo y el volumen de descarga.
Leer artículomultimodal
Este artículo presenta los problemas adicionales de la memoria de gráficos, el codificador de imágenes, el contexto y el soporte de back-end de razonamiento que deben considerarse en los modelos visuales en comparación con los modelos de texto.
Leer artículoSelección de herramientas
Explique a los usuarios comunes la experiencia de instalación, la gestión de modelos, el ajuste del rendimiento y los grupos aplicables de tres métodos de ejecución locales comunes.
Leer artículo