Begin met Apple unified memory, niet met GPU-namen
Op macOS is het belangrijkste hardwarenummer meestal unified memory. Apple Silicon deelt geheugen tussen de CPU, GPU, het systeem, apps en de lokale inference-runtime, dus een Mac met 16GB, 32GB, 64GB of 128GB geeft niet al dat geheugen aan modelgewichten. macOS, de browser, ontwikkeltools en de inference-backend hebben allemaal ruimte nodig. Dit verschilt van een Windows- of Linux-desktop met een discrete GPU, waar VRAM een aparte pool is.
Voor Local LLM-aanbevelingen betekent dit dat Mac-gebruikers hun geheugencijfer niet direct moeten vergelijken met PC-VRAM. Een Mac met 32GB kan zeer capabel zijn, maar heeft nog steeds geheugenmarge nodig voor KV cache en actieve apps. Een Mac met 64GB of 128GB opent de deur naar grotere modellen, hogere quantization en langere context, maar het beste resultaat hangt nog steeds af van de use case. Programmeren, schrijven, RAG, roleplay en vision-workloads kunnen verschillende modellen verkiezen.
Kies de macOS-tool die bij je workflow past
Ollama is een eenvoudig startpunt wanneer je een lokale command-line-workflow wilt of een lokale API die andere apps kunnen aanroepen. LM Studio is gebruiksvriendelijker voor gebruikers die een grafische modelbrowser, chatinterface, lokale servermodus en Apple Silicon-ondersteuning in één desktopapp willen. llama.cpp is technischer, maar het is nog steeds een van de kernengines achter veel GGUF-gebaseerde lokale inference-workflows en bevat optimalisatiepaden voor Apple Silicon via Metal en gerelateerde frameworks.
Er is niet één beste tool voor elke Mac-gebruiker. Als het doel casual chat is, kan LM Studio de snelste route zijn. Als het doel is om een lokaal model aan een andere app te koppelen, kunnen Ollama of de servermodus van LM Studio passen. Als het doel is om exacte GGUF-bestanden, contextinstellingen of low-level runtime-flags te testen, biedt llama.cpp meer controle. De modelaanbeveling moet gebruikers eerst naar een uitvoerbaar model leiden en daarna de gebruiker de interface laten kiezen die hij of zij verkiest.
MLX, Metal en GGUF zijn verschillende onderdelen van de stack
Mac-gebruikers zien MLX, Metal, GGUF en llama.cpp vaak samen besproken worden, maar ze zijn niet hetzelfde. Metal is Apple’s GPU-framework. MLX is een op Apple gericht machine learning-framework dat sommige tools gebruiken voor Apple Silicon-modellen. GGUF is een modelbestandsformaat dat vaak wordt gebruikt door inference in llama.cpp-stijl. Een model kan aantrekkelijk zijn op Hugging Face, maar toch makkelijker of moeilijker te draaien zijn afhankelijk van het format en de runtime die de gebruiker kiest.
Daarom moet Local LLM niet alleen zeggen: “dit model is goed.” Het moet laten zien of de modelvariant praktisch is voor lokaal gebruik, hoeveel geheugen deze nodig heeft en of de geselecteerde quantization voldoende headroom overlaat. Een Mac-gebruiker met 16GB unified memory geeft mogelijk de voorkeur aan een kleiner Q4- of Q5-model. Een Mac met 64GB kan grotere modellen overwegen, maar lange context en achtergrondapps beïnvloeden nog steeds de stabiliteit.
Geheugenniveaus voor macOS local LLMs
Met 8GB unified memory moet het gebruik van local LLM zeer conservatief blijven. Kleine modellen kunnen werken voor experimenten, maar het systeem heeft weinig ruimte. Met 16GB worden kleine en sommige gequantiseerde modellen in de 7B-klasse realistischer. Met 24GB of 32GB worden dagelijkse lokale chat, coding assistance en samenvatting comfortabeler. Met 64GB of 128GB worden grotere modellen, betere quantization en langere context praktisch, maar niet automatisch.
De sleutel is om te voorkomen dat je het grootste model als het beste model behandelt. Een 14B-codingmodel dat met marge past, kan beter aanvoelen dan een groter model dat het geheugen voortdurend onder druk zet. Een klein schrijfmodel kan genoeg zijn voor concepten. Een vision-model heeft extra componenten voor beeldverwerking nodig. Local LLM moet eerst filteren op hardware, daarna op use case en vervolgens op kwaliteitsvoorkeur.
Een veilige macOS-installatiestroom
Een veilige installatiestroom is eenvoudig: controleer unified memory, kies een lokale tool, begin met een model dat duidelijk past, test korte prompts en verhoog daarna pas de context of kwaliteit wanneer de baseline stabiel is. Begin niet met het grootste model op een leaderboard. Ga er niet van uit dat een model dat op een Mac met 128GB wordt getoond comfortabel zal draaien op een MacBook Air met 16GB. Houd voldoende geheugen vrij voor de rest van het systeem.
Voor ontwikkelaars moeten lokale modelservers meestal gebonden blijven aan localhost, tenzij er een bewuste reden is om ze op een netwerk beschikbaar te maken. Voor normale gebruikers is de nuttigste route om een model te kiezen via Local LLM, de Hugging Face-pagina te openen om bestanden en licentievoorwaarden te inspecteren, en het model te laden in een tool die het format ondersteunt. Dat vermindert verspilde downloads en maakt troubleshooting eenvoudiger.
FAQ
Kan een MacBook een local LLM draaien? Ja, vooral Apple Silicon-Macs, maar de modelgrootte en quantization moeten passen bij unified memory. 8GB is beperkt, 16GB is instapniveau en 32GB of meer is comfortabeler.
Is Apple unified memory hetzelfde als VRAM? Nee. Het wordt gedeeld door de CPU, GPU, macOS, apps en inference-runtime. Het kan krachtig zijn, maar het is niet allemaal beschikbaar voor modelgewichten.
Moet ik Ollama of LM Studio op Mac gebruiken? Ollama is handig voor command-line- en API-workflows. LM Studio is handig voor een grafische modelbrowser en chatinterface. llama.cpp is het beste voor geavanceerde controle.
Hoe kies ik een model? Voer je Mac-geheugen, use case en kwaliteitsvoorkeur in Local LLM in. De tool kan actuele modelvarianten filteren voordat je grote bestanden downloadt.