Begin met de modelfamilie en controleer daarna het uitvoerbare bestand
Een Local LLM is niet alleen een merknaam zoals Qwen, Llama, Mistral, Gemma, DeepSeek, Phi of Yi. De naam verwijst meestal naar een modelfamilie, terwijl het bestand dat je daadwerkelijk uitvoert een instruct tune, een coding tune, een vision-variant, een GGUF-conversie of een quantized build van een community-uitgever kan zijn. Twee bestanden met dezelfde modelfamilie kunnen zich verschillend gedragen omdat ze andere prompttemplates, contextlengtes, quantization-methoden en runtime-aannames kunnen gebruiken.
Voor een aanbevelingstool is de nuttige vraag niet alleen “is dit model populair?” De betere vraag is “welke uitvoerbare variant past bij het geheugen, de snelheidsverwachting en de taak van deze gebruiker?” Hugging Face kan veel bestanden voor hetzelfde model tonen, en lokale tools kunnen slechts een deel daarvan beschikbaar maken. Local LLM moet modelidentiteit, bestandsformaat, quantization en hardwarefit daarom als afzonderlijke signalen behandelen in plaats van alles samen te voegen tot één modelnaam.
Parameteraantal is een ruwe kwaliteitsindicator, geen volledig antwoord
Parameteraantal geeft een snel beeld van de schaal. Een 1B- of 3B-model is gemakkelijker uit te voeren en kan nuttig zijn voor lichte chat, herschrijven, samenvatten en eenvoudige code-uitleg. Een 7B- of 8B-model is vaak het praktische startpunt voor sterkere dagelijkse antwoorden. Een 14B-model heeft meestal meer geheugen nodig, maar kan capabeler aanvoelen. 30B-, 70B- en grotere modellen kunnen veel beter zijn voor moeilijke redeneertaken of coding, maar ze komen terecht in het domein van veel VRAM, groot unified memory of multi-GPU.
De beperking is dat parameteraantal niet het hele verhaal vertelt. Een nieuwer 7B-model kan een ouder 13B-model in veel taken verslaan. Een coding-tuned 7B-model kan voor ontwikkeling nuttiger zijn dan een groter algemeen chatmodel. MoE-modellen voegen nog een complicatie toe omdat totale parameters en actieve parameters verschillend zijn. Daarom moeten aanbevelingen benchmarkkwaliteit, use case, actieve parameters, contextvereisten en geheugenfit combineren in plaats van simpelweg het grootste model bovenaan te zetten.
GGUF, safetensors en toolondersteuning bepalen wat je echt kunt draaien
Veel lokale desktopgebruikers zoeken naar GGUF-bestanden omdat ze goed werken met op llama.cpp gebaseerde tools en breed beschikbaar zijn op Hugging Face. GGUF verpakt modelgewichten en metadata in een formaat dat is ontworpen voor lokale inference, en Hugging Face ondersteunt het bladeren door en hosten van GGUF-bestanden. Andere repositories publiceren safetensors-gewichten, die bedoeld kunnen zijn voor Transformers, vLLM of conversie vóór lokaal desktopgebruik. Beide kunnen legitiem zijn, maar ze dienen verschillende workflows.
Dit is belangrijk voor gebruikers omdat een modelpagina aantrekkelijk kan lijken en toch onhandig kan zijn om lokaal te draaien. Ollama, LM Studio, llama.cpp, MLX, Transformers en vLLM bieden niet exact hetzelfde pad voor het laden van modellen. Een goed aanbevelingsresultaat moet naar de bronpagina verwijzen, tonen of het model een lokaal vriendelijk bestand heeft en vermijden te suggereren dat elke Hugging Face-repository even gemakkelijk op een laptop te draaien is.
Quantization verandert geheugengebruik en kwaliteit
Quantization verlaagt de precisie van modelgewichten zodat het bestand kleiner is en gemakkelijker te laden. Q8 ligt dicht bij hoge kwaliteit maar gebruikt meer geheugen. Q6 en Q5 zijn vaak een nuttige middenweg. Q4 is het gebruikelijke instappunt om grotere modellen in consumentenhardware te laten passen. Q3 en lager kunnen nuttig zijn in situaties met krap geheugen, maar de kwaliteitsafweging wordt zichtbaarder, vooral bij coding, wiskunde, toolgebruik en lange antwoorden.
De juiste quantization hangt af van zowel het model als de taak. Als de gebruiker om snelle informele chat vraagt, kan Q4 acceptabel zijn. Als ze om coding of zorgvuldig redeneren vragen, kunnen Q5, Q6 of Q8 het extra geheugen waard zijn. Als ze om lange context vragen, is het kleinste modelbestand niet genoeg; het systeem heeft nog steeds geheugen nodig voor KV cache en runtime-overhead. Local LLM moet de gekozen quantization en geheugenverdeling tonen, zodat gebruikers begrijpen waarom een aanbeveling past.
Contextlengte, vision en speciale tuning veranderen de aanbeveling
Contextlengte is modelspecifiek, maar bruikbare context is hardwarespecifiek. Een model kan een groot contextvenster adverteren, maar de KV cache groeit naarmate het gesprek of document langer wordt. Dat extra geheugen kan een model van volledige GPU-uitvoering naar gedeeltelijke CPU-offload duwen. Voor RAG, analyse van codebases of het lezen van lange documenten kan een kleiner model met meer geheugenruimte beter zijn dan een groter model dat maar net laadt.
Gespecialiseerde mogelijkheden zijn ook belangrijk. Vision-modellen hebben image encoders en multimodale ondersteuning nodig, dus een text-only model moet niet worden aanbevolen voor beeldtaken, zelfs niet als het een hoge algemene score heeft. Coding-modellen moeten anders worden geëvalueerd dan roleplay-modellen. Wiskunde- en redeneermodellen kunnen zorgvuldiger kwaliteitsdrempels nodig hebben. Het beste lokale model is daarom een match tussen modelcapaciteit, bestandsvariant, quantization, contextdoel en de hardware van de gebruiker.
FAQ
Zijn GGUF-modellen altijd beter voor lokale LLMs? Niet altijd. GGUF is erg handig voor lokale inference in llama.cpp-stijl, maar safetensors of andere formaten kunnen beter zijn voor serverworkflows, training of gespecialiseerde runtimes.
Moet ik het grootste model kiezen dat past? Niet automatisch. Als het maar net past, kunnen snelheid en contextstabiliteit slecht zijn. Een iets kleiner model met Q5 of Q6 en voldoende geheugenruimte kan in dagelijks gebruik beter aanvoelen.
Waarom bevelen verschillende tools verschillende modellen aan? Ze kunnen verschillende formaten, quantization-niveaus, GPU-backends, contextstandaarden en modelcatalogi ondersteunen. Toolondersteuning is onderdeel van de aanbeveling.
Hoe moet ik Local LLM gebruiken nadat ik dit heb gelezen? Voer je VRAM, RAM, besturingssysteem, use case en voorkeur in. De tool kan dan actuele modelvarianten rangschikken in plaats van je te dwingen modelnamen te onthouden.