Bloghub

Local LLM Blog

Praktische gidsen over VRAM, Mac, quantisatie, codeermodellen en lokale vision-modellen.

Gids voor videogeheugen

Welke lokale grote modellen kunnen worden uitgevoerd met verschillende grafische geheugens?

Van 6 GB, 8 GB, 12 GB, 24 GB tot 48 GB, leg uit hoe het modelparametervolume, de gekwantiseerde versie, KV-cache en systeemoverhead worden gecombineerd om te bepalen of het kan worden geladen.

Artikel lezen

Appel chip

Welke invloed heeft Apple Unified Memory op de lokale LLM?

Leg uit waarom het totale geheugen op de Mac niet kan worden gebruikt als videogeheugen, en hoe je het geschikte model kiest voor machines van 16 GB, 32 GB, 64 GB en 128 GB.

Artikel lezen

Kwantificeer

Q4, Q5, Q6, Q8 Hoe moet ik kwantificering kiezen?

De meer algemene GGUF-kwantificering van geheugengebruik, kwaliteitsverlies en snelheidsafweging helpt gebruikers de drie voorkeuren van kwaliteitsprioriteit, balans en lange context te begrijpen.

Artikel lezen

programmeermodel

Hoe kies je een lokale LLM die geschikt is om te programmeren?

Leg aan de hand van de vier scenario's van codegeneratie, interpretatie, reconstructie en lange context uit waarom programmeerdoeleinden niet alleen naar de modelgrootte en het downloadvolume kunnen kijken.

Artikel lezen

multimodaal

Hoe kunnen we een lokaal visiemodel en een multimodaal model uitvoeren?

Dit artikel introduceert de aanvullende problemen van grafisch geheugen, afbeeldingsencoder, context en back-end-ondersteuning voor redeneren waarmee rekening moet worden gehouden in visuele modellen in vergelijking met tekstmodellen.

Artikel lezen

Gereedschap selectie

Wat zijn de verschillen tussen Ollama, LM Studio en llama.cpp?

Leg aan gewone gebruikers de installatie-ervaring, het modelbeheer, het afstemmen van de prestaties en de toepasselijke groepen van drie veelgebruikte lokale hardloopmethoden uit.

Artikel lezen

VRAM-gids

Is 6 GB VRAM genoeg voor een lokale LLM?

Wat 6GB-kaarten aankunnen, welke quantisatie logisch is en wanneer upgraden beter is.

Artikel lezen

Hardwaregids

Beste GPU voor lokale LLMs: wat telt echt

Kies een GPU voor lokale inferentie op basis van VRAM, bandbreedte, softwaresteun en modelgrootte.

Artikel lezen

Modelkeuze

Welke lokale LLM kan ik draaien?

Koppel RAM, VRAM, besturingssysteem, gebruik en kwaliteitsvoorkeur aan uitvoerbare modellen.

Artikel lezen

Modelgids

Local LLM-modellen uitgelegd: groottes, formaten en afwegingen

Een praktische gids voor Local LLM-modelfamilies, parameteraantallen, GGUF-bestanden, quantization-niveaus, contextlengte en hoe je een model kiest dat bij je hardware past.

Artikel lezen

Hardwaregids

Hoeveel VRAM heb je nodig voor een Local LLM?

Een hardwaregerichte gids voor VRAM-vereisten voor lokale LLMs, inclusief modelgewichten, quantization, KV cache, contextlengte, runtime-overhead en realistische GPU-klassen.

Artikel lezen

Windows-gids

Een LLM lokaal draaien op Windows: hardware, tools en setup

Een praktische Windows-gids voor het draaien van lokale LLMs met Ollama, LM Studio, llama.cpp, GPU-drivers, modelkeuze, VRAM-planning en veelvoorkomende stappen voor troubleshooting.

Artikel lezen

macOS-gids

Een LLM lokaal draaien op macOS: Apple Silicon, geheugen en tools

Een praktische macOS-gids voor het draaien van local LLMs op Apple Silicon, met aandacht voor unified memory, MLX, Metal, Ollama, LM Studio, llama.cpp, modelkeuze en realistische grenzen.

Artikel lezen

Linux-gids

Een LLM lokaal draaien op Linux: GPU’s, drivers, tools en installatie

Een praktische Linux-gids voor het draaien van local LLMs met NVIDIA CUDA, AMD ROCm, Ollama, LM Studio, llama.cpp, modelindelingen, VRAM-planning en serverveiligheid.

Artikel lezen

Modelgids

Beste local AI-modellen: hoe je kiest wat op jouw hardware draait

Een praktische gids voor het kiezen van de beste local AI-modellen voor chat, programmeren, schrijven, wiskunde, vision en offline gebruik, gebaseerd op hardwarefit, quantization, benchmarks en modelindeling.

Artikel lezen

Modelgids

Beste Local LLM-modellen: zo kies je de juiste

Een praktische gids voor het kiezen van de beste local LLM-modellen voor je hardware, inclusief modelgrootte, quantization, GGUF-bestanden, programmeren, schrijven, redeneren, vision en geheugenpasvorm.

Artikel lezen

Modelgids

Beste LLM om lokaal te draaien: een praktische hardware-eerst gids

Een praktische gids om de beste LLM te vinden om lokaal op je computer te draaien, gebaseerd op VRAM, RAM, besturingssysteem, modelgrootte, quantization, snelheid, privacy en use case.

Artikel lezen

Vergelijkingsgids

Local LLM vs Cloud LLM: welke moet je gebruiken?

Een praktische vergelijking van local LLMs en cloud LLMs op het gebied van privacy, kosten, snelheid, kwaliteit, hardware, offline gebruik, onderhoud en workflows uit de praktijk.

Artikel lezen

Modelgids

Local AI Modelgids: kiezen wat er op uw computer wordt uitgevoerd

Een praktische gids voor lokale AI-modellen, met aandacht voor LLM's, visiemodellen, inbedding, hardware-fit, kwantisering, privacy, tools en downloadkeuzes.

Artikel lezen

Offline AI

Offline AI: Wat kan lokaal draaien zonder de cloud?

Een praktische gids over wat offline AI lokaal kan doen, inclusief chatten, coderen, schrijven, samenvattingen, inbedding, visie, hardwarelimieten en privacy-afwegingen.

Artikel lezen

Handleiding voor beginners

Local LLM voor beginners: hardware, modellen en eerste stappen

Een beginnersvriendelijke gids voor lokale LLM's, met uitleg over hardware, VRAM, RAM, kwantisering, modelbestanden, tools, privacy en hoe u een eerste model kiest.

Artikel lezen

Installatiehandleiding

Local LLM Installatiechecklist: hardware, modellen, hulpmiddelen en veiligheid

Een praktische installatiechecklist voor het uitvoeren van een lokale LLM, met aandacht voor hardware, VRAM, RAM, modelkeuze, kwantisering, tools, lokale servers, testen en veiligheid.

Artikel lezen

Veelgestelde vragen

Local LLM Veelgestelde vragen: antwoorden voordat u een model downloadt

Duidelijke antwoorden op veelgestelde lokale LLM-vragen over VRAM, RAM, GPU keuze, kwantisering, privacy, snelheid, offline gebruik, tools en modeldownloads.

Artikel lezen

Gereedschapsgids

Cursor met Local LLM: wat werkt, wat kapot gaat en hoe u een model kiest

Een praktische gids voor het gebruik van Cursor met een lokale LLM, waarin Ollama, LM Studio, OpenAI-compatible endpoints, coderingsmodellen, hardwarelimieten, snelheid, privacy en installatiecontroles worden behandeld.

Artikel lezen

Gereedschapsgids

Lokale modellen gebruiken met Cursor.ai: instellingen, limieten en modelkeuze

Een praktische Cursor.ai lokale modelgids over OpenAI-compatible-eindpunten, Ollama, LM Studio, coderingsmodellen, hardwarelimieten, privacy, snelheid en probleemoplossing.

Artikel lezen

Modelselectie

Beste Local LLM voor Cursor: hoe u een codeermodel kiest dat daadwerkelijk helpt

Een hardware-eerste gids voor het kiezen van de beste lokale LLM voor Cursor, waarin codeerkwaliteit, context, snelheid, kwantisering, VRAM, privacy en praktische tests worden behandeld.

Artikel lezen

Gereedschapsgids

LM Studio Local LLM Handleiding: modellen, serverinstallatie, hardware en veiligheid

Een praktische LM Studio lokale LLM-gids over modeldownloads, GGUF- en MLX-keuzes, OpenAI-compatible-serverconfiguratie, hardware-aanpassing, privacy en testen.

Artikel lezen