Die beste GPU ist die mit genügend nutzbarem Speicher für deine Zielmodelle
Für lokale LLMs ist VRAM in der Regel wichtiger als reine Gaming-Leistung. Eine schnelle GPU mit zu wenig VRAM stößt schnell an die Speichergrenze, während eine etwas ältere Karte mit mehr VRAM größere quantisierte Modelle möglicherweise komfortabler ausführen kann. Die erste Frage ist nicht, welche GPU den höchsten Benchmark-Wert hat. Die erste Frage ist, welche Modellgröße, Quantisierungsstufe und Kontextlänge du jeden Tag nutzen möchtest.
Als praktische Regel gilt: 8GB ist die Einstiegsklasse, 12GB ist die minimale komfortable Desktop-Stufe, 16GB bietet besseren Spielraum, 24GB ist die starke Consumer-Stufe, und ab 48GB werden größere lokale Experimente deutlich einfacher. Apple Unified Memory ist eine eigene Kategorie, weil CPU und GPU denselben Speicherpool teilen, aber die gleiche Idee gilt weiterhin: Verfügbarer Speicher und Bandbreite setzen die tatsächliche Grenze.
Einstiegsklasse: 8GB bis 12GB GPUs
8GB- und 12GB-GPUs können für kleine und mittelgroße Modelle nützlich sein, insbesondere für 3B-, 7B- und einige 14B-Modelle in niedrigerer Quantisierung. Eine RTX 3060 12GB bleibt attraktiv, weil die VRAM-Menge für ihre Preisklasse großzügig ist. Sie ist vielleicht nicht die neueste Karte, aber 12GB bieten mehr Spielraum als viele 8GB-Karten, wenn das Ziel lokale Inferenz statt Gaming ist.
Der Kompromiss liegt bei Geschwindigkeit und zukünftigem Spielraum. Neuere GPUs können bessere Kernel, Bandbreite und Effizienz haben, aber wenn sie mit weniger Speicher ausgeliefert werden, können sie für große lokale Modelle trotzdem schlechter sein. Für Nutzer, die hauptsächlich einfachen Chat, Zusammenfassungen und leichte Coding-Hilfe möchten, kann diese Stufe funktionieren. Für große Coding-Modelle oder langen Kontext wird sie einschränkend.
Sweet Spot: 16GB bis 24GB GPUs
16GB ist eine starke praktische Stufe, weil sie mehr 14B-Modelle ermöglicht und Nutzern mehr Kontextspielraum lässt. 24GB ist der wichtigste Consumer-Meilenstein, weil diese Menge viele größere quantisierte Modelle, Varianten mit besserer Qualität und anspruchsvollere Coding-Anwendungsfälle bewältigen kann. Deshalb sind Karten wie NVIDIA GPUs der 24GB-Klasse in lokalen LLM-Communities beliebt.
Die beste Wahl in dieser Stufe hängt von Preis, Stromverbrauch, Risiko auf dem Gebrauchtmarkt und Softwareunterstützung ab. NVIDIA hat meist die breiteste Kompatibilität für lokale Inferenz. AMD kann in manchen Stacks gut funktionieren, erfordert aber möglicherweise mehr Aufmerksamkeit bei der Backend-Unterstützung. Für eine öffentliche Empfehlungsseite sollte die Oberfläche Nutzer zuerst nach VRAM und Systemtyp fragen und den GPU-Namen dann als optionale Verfeinerung nutzen, statt jeden Nutzer zu zwingen, genaue Hardwaredetails zu kennen.
High-End: 48GB und Multi-GPU-Setups
48GB und größere Setups sind für Nutzer gedacht, die größere Modelle, höhere Quantisierung, längeren Kontext oder mehr Experimentiermöglichkeiten möchten. Diese Stufe ist nachsichtiger, weil die Modellgewichte und der KV cache nicht sofort das gesamte Speicherbudget verbrauchen. Außerdem wird es einfacher, mehrere Modellfamilien zu vergleichen, ohne ständig auf winzige quantisierte Dateien ausweichen zu müssen.
Multi-GPU-Setups sind komplexer. Sie können bei großen Modellen helfen, aber die Leistung hängt von Backend-Unterstützung, Interconnect, Layer-Splitting und Speicherbalance ab. Eine einfache Web-Empfehlung sollte nicht versprechen, dass sich zwei GPUs automatisch wie ein großer perfekter Speicherpool verhalten. Sie sollte Multi-GPU-Ergebnisse als fortgeschritten und mit begrenzter Sicherheit beschreiben, sofern die Backend-Daten nicht spezifisch sind.
Was ist außer VRAM wichtig?
Speicherbandbreite beeinflusst die Token-Geschwindigkeit, weil die Inferenz wiederholt Modellgewichte liest. Softwareunterstützung beeinflusst, ob das Modell überhaupt läuft. Treiberreife, CUDA- oder ROCm-Unterstützung, Metal auf Apple Silicon, Inferenz-Backend, Quantisierungsdateiformat und CPU/RAM-Balance sind alle wichtig. Eine GPU wird nicht isoliert ausgewählt; sie befindet sich in einem vollständigen lokalen Inferenz-Stack.
Deshalb sollte die Seite zur besten GPU nicht zu einem generischen Kaufratgeber für Grafikkarten werden. Sie sollte GPU-Klassen lokalen LLM-Ergebnissen zuordnen: welche Modellgrößen passen, welche Quantisierungen realistisch sind, welche Anwendungsfälle komfortabel sind und wann der Nutzer ein kleineres Modell wählen sollte, statt mehr Hardware zu kaufen.
FAQ
Ist NVIDIA besser für lokale LLMs? Für viele Nutzer ja, weil CUDA-Unterstützung breit verfügbar ist und viele Inferenzprojekte zuerst für NVIDIA optimieren.
Sind 24GB VRAM genug? Es ist eine starke Consumer-Stufe und reicht für viele quantisierte lokale Modelle, aber nicht für jedes Modell in Frontier-Größe.
Sollte ich eine GPU nur nach Parameteranzahl kaufen? Nein. Prüfe Quantisierung, Kontextlänge, Bandbreite, Backend-Unterstützung und Speicherreserven.