Het korte antwoord: VRAM hangt af van modelgrootte, quantization en context
Er is geen enkel VRAM-getal dat voor elke Local LLM werkt. De praktische vereiste is de som van modelgewichten, KV cache, runtime-overhead en veiligheidsmarge. Een klein Q4-model kan op bescheiden hardware draaien, terwijl een groter Q8-model met lange context veel meer geheugen kan vereisen. Daarom kunnen twee gebruikers met dezelfde GPU verschillende resultaten krijgen als de één korte chat wil en de ander coding met lange context of RAG.
Als praktische vuistregel is 6GB instapniveau, 8GB bruikbaar voor kleine modellen, 12GB een comfortabelere desktopbasis, 16GB geeft meer speelruimte, 24GB is een sterke consumentenklasse en 48GB of meer opent de deur naar grotere modellen en hogere quantization. Apple Silicon unified memory is een aparte categorie omdat CPU en GPU dezelfde geheugenpool delen, maar het heeft nog steeds ruimte nodig voor macOS, apps en runtime-overhead.
Modelgewichten domineren meestal het geheugenbudget
Het grootste deel van het geheugenbudget bestaat meestal uit de modelgewichten. FP16-gewichten zijn groot, terwijl quantized GGUF-bestanden de grootte verminderen door gewichten met minder bits op te slaan. Een 7B-model in Q4 past in veel minder geheugen dan hetzelfde model in FP16 of Q8. Dit is de reden waarom quantization centraal staat in Local LLM-aanbevelingen: het verandert wat realistisch uitvoerbaar is op consumenten-GPUs.
Bestandsgrootte alleen is echter niet genoeg. Sommige modellen hebben andere architecturen, MoE-gedrag voor actieve parameters, tokenizer-instellingen en contextstandaarden. Een modelbestand dat op papier lijkt te passen, kan nog steeds krap zijn zodra de runtime geheugen reserveert. De aanbeveling moet een conservatieve marge bevatten in plaats van de bestandsgrootte als de volledige vereiste te behandelen.
KV cache groeit met de contextlengte
KV cache is het geheugen dat wordt gebruikt om attention-informatie op te slaan voor tokens die al zijn verwerkt. Het groeit met contextlengte, batch-instellingen, aantal lagen, hidden size en implementatiedetails. Daarom kan een model dat werkt bij 4K context instabiel of traag worden bij 16K, 32K of hogere context. Lange context is niet gratis alleen omdat de model card het adverteert.
Voor gebruikers betekent dit dat het juiste VRAM-doel afhangt van de workload. Eenvoudige chat kan de context gematigd houden. Coding over veel bestanden, het samenvatten van lange documenten en RAG kunnen de geheugenvereisten verhogen. Als lange context de prioriteit is, kan een kleiner of sterker quantized model beter passen dan een groter model dat bijna alle VRAM alleen al met gewichten verbruikt.
Realistische GPU-klassen voor lokale LLMs
Bij 6GB kun je kleine modellen en conservatieve context verwachten. Bij 8GB worden 3B- tot 7B Q4-modellen realistisch, maar de speelruimte is beperkt. Bij 12GB worden veel 7B- en sommige 14B quantized modellen praktischer. Bij 16GB kunnen dezelfde modellen betere quantization of meer context gebruiken. Bij 24GB worden sterke 14B- en sommige grotere quantized modellen realistisch voor dagelijks gebruik. Bij 48GB en hoger worden grotere lokale experimenten veel gemakkelijker.
Deze klassen zijn geen beloftes. Snelheid hangt af van geheugenbandbreedte, GPU-backend, CPU, RAM, drivers en inference-tool. NVIDIA CUDA-ondersteuning is meestal het breedst in lokale inference-tools. AMD kan goed werken in ondersteunde stacks, maar vraagt mogelijk meer aandacht voor backend-compatibiliteit. Apple Silicon kan unified memory effectief gebruiken, maar het bruikbare modelbudget blijft lager dan de genoemde RAM-hoeveelheid omdat het systeem dat geheugen deelt.
Wanneer gedeeltelijke offload helpt, en wanneer het schaadt
Als een model niet volledig in VRAM past, kunnen sommige tools een deel van het model naar CPU-geheugen offloaden. Dit kan ervoor zorgen dat een model laadt, maar het verlaagt vaak de snelheid omdat data tussen GPU en systeemgeheugen moet bewegen. Op discrete GPUs kunnen PCIe en CPU-geheugenbandbreedte knelpunten worden. Op Macs met unified memory is de straf anders, maar geheugenbandbreedte en systeemdruk blijven belangrijk.
Gedeeltelijke offload moet eerlijk worden gepresenteerd. Het kan nuttig zijn voor experimenten, incidentele lange antwoorden of het testen van een groter model, maar het moet niet de standaardaaanbeveling zijn voor een normale gebruiker die interactieve snelheid verwacht. Local LLM moet waar mogelijk de voorkeur geven aan volledige GPU-aanbevelingen en gedeeltelijke offload afzonderlijk labelen wanneer het model technisch uitvoerbaar is maar minder comfortabel werkt.
FAQ
Is 8GB VRAM genoeg voor een Local LLM? Ja, voor kleine en zorgvuldig quantized modellen. Het is niet genoeg voor elk model, en lange context verkleint het bruikbare bereik.
Is 12GB VRAM genoeg? Het is een redelijk startpunt voor veel 7B-modellen en sommige 14B quantized modellen, vooral met gebalanceerde instellingen.
Betekent meer VRAM altijd betere antwoorden? Niet altijd. Meer VRAM vergroot de kandidatenlijst, maar modelkwaliteit, tuning, quantization en use case bepalen nog steeds de beste aanbeveling.
Hoe kan ik mijn eigen setup inschatten? Voer je VRAM, RAM, besturingssysteem en use case in Local LLM in. De tool past regels voor modelgrootte, quantization, KV cache en marge toe op actuele modeldata.