Die Kurzantwort: VRAM hängt von Modellgröße, Quantisierung und Kontext ab
Es gibt keine einzelne VRAM Zahl, die für jedes Local LLM funktioniert. Die praktische Anforderung ist die Summe aus Modellgewichten, KV cache, Runtime-Overhead und Sicherheitsmarge. Ein kleines Q4 Modell kann auf moderater Hardware laufen, während ein größeres Q8 Modell mit langem Kontext deutlich mehr Speicher benötigen kann. Deshalb können zwei Nutzer mit derselben GPU unterschiedliche Ergebnisse erhalten, wenn einer kurzen Chat möchte und der andere Long-Context-Coding oder RAG.
Als praktische Regel gilt: 6GB ist Einstiegsklasse, 8GB ist für kleine Modelle nutzbar, 12GB ist eine komfortablere Desktop-Basis, 16GB bietet bessere Reserven, 24GB ist eine starke Consumer-Klasse, und 48GB oder mehr öffnet die Tür zu größeren Modellen und höherer Quantisierung. Apple Silicon Unified Memory ist eine eigene Kategorie, weil CPU und GPU denselben Speicherpool teilen, aber es braucht dennoch Platz für macOS, Apps und Runtime-Overhead.
Modellgewichte dominieren meist das Speicherbudget
Der größte Teil des Speicherbudgets sind normalerweise die Modellgewichte. FP16 Gewichte sind groß, während quantisierte GGUF Dateien die Größe reduzieren, indem sie Gewichte mit weniger Bits speichern. Ein 7B Modell in Q4 passt in deutlich weniger Speicher als dasselbe Modell in FP16 oder Q8. Das ist der Grund, warum Quantisierung für Local LLM Empfehlungen zentral ist: Sie verändert, was auf Consumer-GPUs realistisch ausführbar ist.
Die Dateigröße allein reicht jedoch nicht aus. Manche Modelle haben unterschiedliche Architekturen, MoE Verhalten aktiver Parameter, Tokenizer-Einstellungen und Kontext-Defaults. Eine Modelldatei, die auf dem Papier zu passen scheint, kann dennoch knapp werden, sobald die Runtime Speicher reserviert. Die Empfehlung sollte eine konservative Marge einbeziehen, statt die Dateigröße als gesamte Anforderung zu behandeln.
KV cache wächst mit der Kontextlänge
KV cache ist der Speicher, der verwendet wird, um Attention-Informationen für bereits verarbeitete Tokens zu speichern. Er wächst mit Kontextlänge, Batch-Einstellungen, Layer-Anzahl, Hidden Size und Implementierungsdetails. Deshalb kann ein Modell, das bei 4K Kontext funktioniert, bei 16K, 32K oder höherem Kontext instabil oder langsam werden. Langer Kontext ist nicht kostenlos, nur weil die Model Card ihn bewirbt.
Für Nutzer bedeutet das, dass das richtige VRAM Ziel von der Arbeitslast abhängt. Einfacher Chat kann den Kontext moderat halten. Coding über viele Dateien hinweg, das Zusammenfassen langer Dokumente und RAG können die Speicheranforderungen erhöhen. Wenn langer Kontext Priorität hat, kann ein kleineres oder stärker quantisiertes Modell besser passen als ein größeres Modell, das fast die gesamte VRAM allein mit Gewichten verbraucht.
Realistische GPU-Klassen für lokale LLMs
Bei 6GB sollten Sie kleine Modelle und konservativen Kontext erwarten. Bei 8GB werden 3B bis 7B Q4 Modelle realistisch, aber die Reserven sind begrenzt. Bei 12GB werden viele 7B und einige 14B quantisierte Modelle praktischer. Bei 16GB können dieselben Modelle bessere Quantisierung oder mehr Kontext nutzen. Bei 24GB werden starke 14B und einige größere quantisierte Modelle für den Alltag realistisch. Bei 48GB und darüber werden größere lokale Experimente deutlich einfacher.
Diese Klassen sind keine Versprechen. Geschwindigkeit hängt von Speicherbandbreite, GPU-Backend, CPU, RAM, Treibern und Inferenz-Tool ab. NVIDIA CUDA Unterstützung ist in lokalen Inferenz-Tools meist am breitesten. AMD kann in unterstützten Stacks gut funktionieren, benötigt aber möglicherweise mehr Aufmerksamkeit bei der Backend-Kompatibilität. Apple Silicon kann Unified Memory effektiv nutzen, aber das nutzbare Modellbudget ist trotzdem niedriger als die angegebene RAM Menge, weil das System diesen Speicher teilt.
Wann teilweises Offloading hilft und wann es schadet
Wenn ein Modell nicht vollständig in VRAM passt, können einige Tools Teile des Modells in CPU-Speicher auslagern. Dadurch kann ein Modell laden, aber oft sinkt die Geschwindigkeit, weil Daten zwischen GPU und Systemspeicher übertragen werden müssen. Bei diskreten GPUs können PCIe und CPU-Speicherbandbreite zu Engpässen werden. Auf Macs mit Unified Memory ist die Strafe anders, aber Speicherbandbreite und Systemlast sind weiterhin wichtig.
Teilweises Offloading sollte ehrlich dargestellt werden. Es kann für Experimente, gelegentliche lange Antworten oder das Testen eines größeren Modells nützlich sein, sollte aber nicht die Standardempfehlung für normale Nutzer sein, die interaktive Geschwindigkeit erwarten. Local LLM sollte nach Möglichkeit Full-GPU-Empfehlungen bevorzugen und teilweises Offloading separat kennzeichnen, wenn das Modell technisch ausführbar, aber weniger komfortabel ist.
FAQ
Reichen 8GB VRAM für ein Local LLM? Ja, für kleine und sorgfältig quantisierte Modelle. Es reicht nicht für jedes Modell, und langer Kontext reduziert den nutzbaren Bereich.
Reichen 12GB VRAM? Das ist ein vernünftiger Ausgangspunkt für viele 7B Modelle und einige 14B quantisierte Modelle, besonders mit ausgewogenen Einstellungen.
Bedeutet mehr VRAM immer bessere Antworten? Nicht immer. Mehr VRAM erweitert die Kandidatenliste, aber Modellqualität, Tuning, Quantisierung und Anwendungsfall bestimmen weiterhin die beste Empfehlung.
Wie kann ich mein eigenes Setup einschätzen? Geben Sie Ihre VRAM, RAM, Ihr Betriebssystem und Ihren Anwendungsfall in Local LLM ein. Das Tool wendet Modellgröße, Quantisierung, KV cache und Margenregeln auf aktuelle Modelldaten an.