Centre du blog
Guides pratiques sur la VRAM, le Mac, la quantification, les modèles de code et les modèles de vision locaux.
Guide de la mémoire vidéo
De 6 Go, 8 Go, 12 Go, 24 Go à 48 Go, expliquez comment le volume des paramètres du modèle, la version quantifiée, le cache KV et la surcharge du système se combinent pour déterminer s'il peut être chargé.
Lire l’articlePuce de pomme
Expliquez pourquoi la mémoire totale du Mac ne peut pas être utilisée comme mémoire vidéo et comment choisir le modèle approprié pour les machines de 16 Go, 32 Go, 64 Go et 128 Go.
Lire l’articleQuantifier
La quantification GGUF la plus courante de l'utilisation de la mémoire, de la perte de qualité et du compromis en matière de vitesse aide les utilisateurs à comprendre les trois préférences : priorité à la qualité, équilibre et contexte long.
Lire l’articlemodèle de programmation
À partir des quatre scénarios de génération de code, d'interprétation, de reconstruction et de contexte long, expliquez pourquoi les objectifs de programmation ne peuvent pas se limiter à la taille du modèle et au volume de téléchargement.
Lire l’articlemultimodal
Cet article présente les problèmes supplémentaires de mémoire graphique, d'encodeur d'image, de contexte et de prise en charge du raisonnement qui doivent être pris en compte dans les modèles visuels par rapport aux modèles textuels.
Lire l’articleSélection d'outils
Expliquez aux utilisateurs ordinaires l'expérience d'installation, la gestion des modèles, le réglage des performances et les groupes applicables de trois méthodes d'exécution locales courantes.
Lire l’article