Begin met hardware, niet met modelhype
De snelste manier om een Local LLM te kiezen is beginnen met de machine die je al hebt. Modelpopulariteit doet ertoe, maar een model dat niet kan laden of op een onbruikbare snelheid draait, helpt niet. De eerste invoerwaarden zijn VRAM, systeem-RAM, besturingssysteem, of het geheugen unified is, en of je bereid bent CPU offload te gebruiken. Pas daarna moet je modelfamilies vergelijken.
Een goede aanbevelingsflow voor een Local LLM scheidt drie vragen: kan het laden, zal het bruikbaar zijn, en is het goed voor de taak. Laden hangt af van gewichten, quantization, KV cache en runtime-overhead. Bruikbaarheid hangt af van snelheid en stabiliteit. Taakgeschiktheid hangt af van of het model is afgestemd op coderen, algemene chat, wiskunde, vision of werk met lange context.
Kies de use case voordat je het grootste model kiest
Verschillende taken belonen verschillende modellen. Een codeertaak heeft codetraining, begrip van repositories, instructieopvolging en stabiele opmaak nodig. Een schrijftaak heeft tooncontrole en coherentie over langere tekst nodig. Een vision-taak heeft een multimodale architectuur en image encoder nodig. Een wiskunde- of redeneertaak kan een modelfamilie nodig hebben die is afgestemd op stapsgewijze probleemoplossing.
Daarom kan dezelfde hardware verschillende aanbevelingen opleveren wanneer de gebruiker overschakelt van Algemeen naar Coderen of Vision. De site moet niet blind rangschikken op downloads of aantal parameters. Hij moet eerst modellen filteren die bij de hardware passen, en daarna de resterende opties rangschikken op use case en voorkeur.
Begrijp de rol van quantization
De meeste lokale gebruikers draaien quantized modellen in plaats van gewichten met volledige precisie. Quantization vermindert het geheugengebruik en maakt modellen praktisch op consumentenhardware. Q4 is vaak de optie die eerst op passen is gericht, Q5 en Q6 kunnen de kwaliteit verbeteren tegen hogere geheugenkosten, en Q8 ligt dichter bij volledige kwaliteit maar is veel zwaarder. De juiste keuze hangt af van hoeveel speelruimte overblijft na gewichten en KV cache.
De uitdrukking "wat kan ik draaien" heeft daarom niet één antwoord per model. Een model kan draaibaar zijn in Q4 maar niet in Q8, bruikbaar bij 4K-context maar niet bij 32K, of prima op volledige GPU maar traag met offload. Een nuttige aanbevelingspagina moet de geselecteerde quantization en geheugenopbouw tonen, niet alleen de modelnaam.
Mac-, Windows-, Linux- en CPU-only-opstellingen verschillen
Windows- en Linux-gebruikers met discrete GPUs denken meestal eerst in VRAM. Apple Silicon-gebruikers denken in unified memory, omdat de GPU en CPU dezelfde geheugenpool delen. CPU-only-gebruikers moeten nog conservatiever zijn, omdat systeemgeheugen groot kan zijn maar de tokensnelheid laag kan zijn. Hetzelfde getal van 32GB betekent verschillende dingen in deze opstellingen.
Een tool moet dat verschil weerspiegelen. Op Mac moet hij geheugen reserveren voor macOS en apps. Op discrete GPUs moet hij VRAM reserveren voor het scherm, framework-overhead en KV cache. Op CPU-only-machines moet hij kleine modellen aanbevelen en verwachtingen rond snelheid instellen, in plaats van te doen alsof systeem-RAM alleen alles oplost.
Een praktische beslissingsflow
Voer eerst je VRAM of unified memory in. Kies ten tweede je besturingssysteem. Kies ten derde de use case. Kies ten vierde de voorkeur: kwaliteit, gebalanceerde pasvorm of context-speelruimte. Bekijk daarna alleen de modellen die compatibel zijn. Als de resultaten te klein zijn, verhoog dan het geheugen of accepteer offload. Als de resultaten te traag zijn, geef dan de voorkeur aan kleinere full-GPU-modellen.
Deze aanpak voorkomt dat gebruikers willekeurige modelaanbevelingen van sociale media kopiëren. Een aanbeveling die werkt op een 24GB GPU kan verkeerd zijn voor een 8GB-laptop. Een model dat uitstekend is voor coderen kan onnodig zijn voor informeel schrijven. Local LLM moet deze afwegingen omzetten in een duidelijke gerangschikte lijst met Hugging Face-links naar de daadwerkelijke modelpagina's.
FAQ
Kan ik een Local LLM draaien zonder GPU? Ja, maar meestal met kleinere modellen en lagere snelheid. CPU-only is het beste voor testen, privacygevoelige notities of lichte offline taken.
Moet ik altijd het grootste model kiezen dat past? Nee. Een kleiner model dat volledig op de GPU past kan sneller en prettiger zijn dan een groter model dat maar net past.
Waarom veranderen aanbevelingen in de loop van de tijd? Hugging Face-modelbestanden, downloads, quantizations en community-releases veranderen vaak, dus gecachte modeldata moet regelmatig worden vernieuwd.