Beginne mit der Hardware, nicht mit dem Modell-Hype
Der schnellste Weg, einen Local LLM auszuwählen, besteht darin, mit dem Rechner zu beginnen, den du bereits hast. Die Beliebtheit eines Modells ist wichtig, aber ein Modell, das nicht geladen werden kann oder mit unbrauchbarer Geschwindigkeit läuft, hilft nicht weiter. Die ersten Eingaben sind VRAM, System-RAM, Betriebssystem, ob der Speicher vereinheitlicht ist und ob du bereit bist, CPU-Offload zu verwenden. Erst danach solltest du Modellfamilien vergleichen.
Ein guter Empfehlungsablauf für Local LLM trennt drei Fragen: Kann es geladen werden, wird es nutzbar sein, und ist es für die Aufgabe geeignet. Das Laden hängt von Gewichten, Quantisierung, KV cache und Laufzeit-Overhead ab. Die Nutzbarkeit hängt von Geschwindigkeit und Stabilität ab. Die Eignung für die Aufgabe hängt davon ab, ob das Modell für Coding, allgemeinen Chat, Mathematik, Vision oder Arbeit mit langem Kontext abgestimmt ist.
Wähle den Anwendungsfall, bevor du das größte Modell wählst
Unterschiedliche Aufgaben belohnen unterschiedliche Modelle. Eine Coding-Aufgabe benötigt Code-Training, Verständnis von Repositories, Befolgung von Anweisungen und stabile Formatierung. Eine Schreibaufgabe benötigt Tonkontrolle und Kohärenz über längere Texte. Eine Vision-Aufgabe benötigt eine multimodale Architektur und einen Bild-Encoder. Eine Mathematik- oder Reasoning-Aufgabe benötigt möglicherweise eine Modellfamilie, die für schrittweises Problemlösen abgestimmt ist.
Deshalb kann dieselbe Hardware unterschiedliche Empfehlungen liefern, wenn der Nutzer von Allgemein zu Coding oder Vision wechselt. Die Website sollte nicht blind nach Downloads oder Parameteranzahl ranken. Sie sollte zuerst Modelle filtern, die zur Hardware passen, und dann die verbleibenden Optionen nach Anwendungsfall und Präferenz ranken.
Verstehe die Rolle der Quantisierung
Die meisten lokalen Nutzer führen quantisierte Modelle statt Gewichten in voller Präzision aus. Quantisierung reduziert den Speicherbedarf und macht Modelle auf Consumer-Hardware praktikabel. Q4 ist oft die Option, die zuerst auf Passform abzielt, Q5 und Q6 können die Qualität bei höheren Speicherkosten verbessern, und Q8 liegt näher an voller Qualität, ist aber deutlich schwerer. Die richtige Wahl hängt davon ab, wie viel Spielraum nach Gewichten und KV cache übrig bleibt.
Die Frage "was kann ich ausführen" hat daher nicht eine einzige Antwort pro Modell. Ein Modell kann in Q4 ausführbar sein, aber nicht in Q8, bei 4K Kontext nutzbar sein, aber nicht bei 32K, oder auf voller GPU gut laufen, aber mit Offload langsam sein. Eine nützliche Empfehlungsseite sollte die ausgewählte Quantisierung und Speicheraufschlüsselung zeigen, nicht nur den Modellnamen.
Mac, Windows, Linux und CPU-only-Setups unterscheiden sich
Windows- und Linux-Nutzer mit diskreten GPUs denken normalerweise zuerst an VRAM. Apple Silicon-Nutzer denken in vereinheitlichtem Speicher, weil GPU und CPU denselben Speicherpool teilen. CPU-only-Nutzer müssen noch konservativer sein, weil der Systemspeicher zwar groß sein kann, die Token-Geschwindigkeit aber niedrig sein kann. Dieselbe 32GB-Zahl bedeutet in diesen Setups unterschiedliche Dinge.
Ein Tool sollte diesen Unterschied widerspiegeln. Auf Mac sollte es Speicher für macOS und Apps reservieren. Auf diskreten GPUs sollte es VRAM für das Display, Framework-Overhead und KV cache reservieren. Auf CPU-only-Maschinen sollte es kleine Modelle empfehlen und Erwartungen an die Geschwindigkeit setzen, statt vorzutäuschen, dass System-RAM allein alles löst.
Ein praktischer Entscheidungsablauf
Gib zuerst deinen VRAM oder vereinheitlichten Speicher ein. Wähle zweitens dein Betriebssystem. Wähle drittens den Anwendungsfall. Wähle viertens die Präferenz: Qualität, ausgewogene Passform oder Kontext-Spielraum. Prüfe dann nur die Modelle, die kompatibel sind. Wenn die Ergebnisse zu klein sind, erhöhe den Speicher oder akzeptiere Offload. Wenn die Ergebnisse zu langsam sind, bevorzuge kleinere Full-GPU-Modelle.
Dieser Ansatz hält Nutzer davon ab, zufällige Modellempfehlungen aus sozialen Medien zu kopieren. Eine Empfehlung, die auf einer 24GB GPU funktioniert, kann für einen 8GB-Laptop falsch sein. Ein Modell, das hervorragend für Coding ist, kann für gelegentliches Schreiben unnötig sein. Local LLM sollte diese Abwägungen in eine klare, gerankte Liste mit Hugging Face-Links zu den tatsächlichen Modellseiten umwandeln.
FAQ
Kann ich einen Local LLM ohne GPU ausführen? Ja, aber normalerweise mit kleineren Modellen und geringerer Geschwindigkeit. CPU-only eignet sich am besten für Tests, datenschutzsensible Notizen oder leichte Offline-Aufgaben.
Sollte ich immer das größte Modell wählen, das passt? Nein. Ein kleineres Modell mit Full-GPU-Passform kann schneller und angenehmer sein als ein größeres Modell, das gerade so passt.
Warum ändern sich Empfehlungen im Laufe der Zeit? Hugging Face-Modelldateien, Downloads, Quantisierungen und Community-Releases ändern sich häufig, daher sollten zwischengespeicherte Modelldaten regelmäßig aktualisiert werden.