La réponse courte : les choix LLM locaux sont des choix matériels
La plupart des questions locales de LLM reviennent finalement au matériel. Le modèle doit tenir dans la mémoire disponible, fonctionner à une vitesse utilisable et correspondre à la tâche. Un modèle excellent dans un benchmark mais inconfortable sur votre ordinateur n'est pas une bonne recommandation pour vous. Un modèle plus petit et parfaitement adapté peut être la meilleure solution au quotidien.
Cette FAQ est conçue pour les utilisateurs qui sont sur le point de télécharger un modèle et qui souhaitent d'abord des réponses claires. Il couvre VRAM, RAM, la quantification, les outils, la confidentialité, la vitesse, l'utilisation hors ligne et la différence entre les modèles techniquement chargés et les modèles agréables à utiliser.
De combien de VRAM ai-je besoin ?
Il n’existe pas de numéro unique VRAM pour chaque LLM local. 6GB à 8 Go peuvent exécuter de petits modèles quantifiés. 12GB à 16GB est plus confortable pour de nombreux flux de travail 7B et certains 14B. 24GB ouvre des modèles de codage et de raisonnement locaux plus solides. 48GB et supérieur offrent beaucoup plus de place pour les grands modèles, une quantification plus élevée et un contexte plus long.
VRAM ne concerne pas uniquement les poids des modèles. KV cache, la surcharge d'exécution, l'utilisation de l'affichage et toute autre utilisation de la mémoire GPU sont également importantes. Un contexte long augmente la pression de la mémoire. C'est pourquoi un modèle peut s'adapter à un contexte court mais échouer ou ralentir lorsque la fenêtre contextuelle est ouverte.
Puis-je exécuter un LLM local sans GPU ?
Oui, mais les attentes doivent être réalistes. Les LLM locaux uniquement CPU peuvent fonctionner pour de petits modèles, des tests, des invites occasionnelles et des tâches privées hors ligne. Ils semblent généralement plus lents que l'inférence basée sur GPU, en particulier pour les modèles plus grands ou les réponses longues. Le système RAM et la bande passante mémoire deviennent les principales limites.
Si vous ne disposez que de CPU, choisissez un petit modèle, une quantification conservatrice et un contexte modeste. Si vous prévoyez d'utiliser un LLM local tous les jours pour du codage ou de longues conversations, un système GPU ou Apple Silicon vous semblera généralement beaucoup mieux.
Que signifient Q4, Q5, Q6 et Q8 ?
Ces étiquettes décrivent des variantes de modèles quantifiés. Une quantification inférieure utilise généralement moins de mémoire et s'adapte à plus d'appareils. Une quantification plus élevée préserve généralement plus de qualité mais nécessite plus de mémoire. Q4 est souvent le point d'entrée, Q5 et Q6 sont des compromis quotidiens courants, et Q8 est utile lorsque vous disposez de suffisamment de mémoire et souhaitez réduire la perte de qualité.
La meilleure quantification dépend de la tâche. L'écriture et le chat peuvent mieux tolérer une quantification plus faible que le codage ou un raisonnement difficile. Le travail en contexte long peut préférer une variante plus petite afin qu'il reste suffisamment de mémoire pour KV cache. Une recommandation doit montrer la variante réelle, pas seulement la famille de modèles.
Les LLM locaux sont-ils privés et hors ligne ?
Les Local LLM peuvent être plus privés car les invites et les fichiers peuvent rester sur votre ordinateur une fois le modèle téléchargé. Ils peuvent également fonctionner hors ligne si les fichiers d'exécution et de modèle sont déjà installés. Ceci est utile pour les notes privées, le code non publié, les voyages et les flux de travail où l'accès au cloud n'est pas fiable.
La confidentialité n’est pas automatique. Vous devez toujours faire confiance à la source du modèle, vérifier la licence, éviter d'exposer les serveurs locaux à l'Internet public et comprendre si un outil connecté synchronise les journaux ou les invites. Le contrôle local réduit la dépendance à l'égard d'un fournisseur de cloud, mais il ne supprime pas la responsabilité opérationnelle.
FAQ
Quel outil dois-je utiliser en premier ? LM Studio est un bon point de départ graphique, Ollama est un bon point de départ en ligne de commande et local API, et llama.cpp est puissant lorsque vous souhaitez un contrôle de niveau inférieur.
Pourquoi mon modèle s'exécute-t-il lentement ? Il peut être trop volumineux, utiliser le déchargement CPU, s'exécuter avec trop de contexte ou être limité par la bande passante mémoire plutôt que par le calcul brut.
Les téléchargements et les likes sont-ils suffisants pour choisir un modèle ? Non. Ils montrent l’intérêt de la communauté, et non la question de savoir si le modèle correspond à votre matériel ou à votre tâche.
Que dois-je faire ensuite ? Utilisez Local LLM pour saisir votre matériel et votre tâche, puis ouvrez la page Hugging Face recommandée avant de télécharger.