Krótka odpowiedź: lokalne wybory LLM to wybory sprzętowe
Większość lokalnych pytań LLM ostatecznie wraca do sprzętu. Model musi mieścić się w dostępnej pamięci, działać z użyteczną szybkością i odpowiadać zadaniu. Model, który jest doskonały w teście porównawczym, ale niewygodny na Twoim komputerze, nie jest dla Ciebie dobrą rekomendacją. Lepszym rozwiązaniem na co dzień może być mniejszy, w pełni dopasowany model.
To FAQ jest przeznaczone dla użytkowników, którzy zamierzają pobrać model i chcą najpierw uzyskać proste odpowiedzi. Obejmuje VRAM, RAM, kwantyzację, narzędzia, prywatność, szybkość, użycie w trybie offline oraz różnicę między modelami, które ładują się technicznie, a modelami, które są przyjemne w użyciu.
Ile VRAM potrzebuję?
Nie ma jednego numeru VRAM dla każdego lokalnego LLM. 6GB do 8 GB może obsługiwać małe modele skwantowane. 12GB do 16GB jest wygodniejsze w przypadku wielu przepływów pracy 7B i niektórych 14B. 24GB otwiera silniejsze lokalne modele kodowania i rozumowania. 48GB i nowsze zapewniają znacznie więcej miejsca na duże modele, wyższą kwantyzację i dłuższy kontekst.
VRAM nie dotyczy tylko ciężarków modeli. KV cache, obciążenie środowiska wykonawczego, wykorzystanie wyświetlacza i inne wykorzystanie pamięci GPU również mają znaczenie. Długi kontekst zwiększa obciążenie pamięci. Z tego powodu model może zmieścić się przy krótkim ustawieniu kontekstu, ale zawieść lub zwolnić po otwarciu okna kontekstu.
Czy mogę uruchomić lokalny LLM bez GPU?
Tak, ale oczekiwania powinny być realistyczne. CPU-tylko lokalne LLM mogą działać w przypadku małych modeli, testowania, sporadycznych monitów i prywatnych zadań offline. Zwykle wydają się wolniejsze niż wnioskowanie oparte na GPU, szczególnie w przypadku większych modeli lub długich odpowiedzi. System RAM i przepustowość pamięci stają się kluczowymi ograniczeniami.
Jeśli masz tylko CPU, wybierz mały model, konserwatywną kwantyzację i skromny kontekst. Jeśli planujesz codziennie używać lokalnego LLM do kodowania lub długich rozmów, system GPU lub Apple Silicon będzie zwykle czuł się znacznie lepiej.
Co oznaczają Q4, Q5, Q6 i Q8?
Etykiety te opisują skwantowane warianty modelu. Niższa kwantyzacja zwykle zużywa mniej pamięci i pasuje do większej liczby urządzeń. Wyższa kwantyzacja zwykle pozwala zachować wyższą jakość, ale wymaga więcej pamięci. Q4 jest często punktem wejścia, Q5 i Q6 są częstymi codziennymi kompromisami, a Q8 jest przydatny, gdy masz wystarczającą ilość pamięci i chcesz mniejszej utraty jakości.
Najlepsza kwantyzacja zależy od zadania. Pisanie i czatowanie mogą lepiej tolerować niższą kwantyzację niż kodowanie lub trudne rozumowanie. Praca w długim kontekście może preferować mniejszy wariant, aby pozostało wystarczająco dużo pamięci na KV cache. Rekomendacja powinna pokazywać rzeczywisty wariant, a nie tylko rodzinę modeli.
Czy lokalne LLM są prywatne i offline?
Local LLMs mogą być bardziej prywatne, ponieważ monity i pliki mogą pozostać na komputerze po pobraniu modelu. Mogą także pracować w trybie offline, jeśli są już zainstalowane pliki środowiska wykonawczego i modelu. Jest to przydatne w przypadku prywatnych notatek, niepublikowanego kodu, podróży i przepływów pracy, w których dostęp do chmury jest zawodny.
Prywatność nie jest automatyczna. Nadal musisz zaufać źródłu modelu, sprawdzić licencję, unikać udostępniania lokalnych serwerów publicznemu Internetowi i zrozumieć, czy jakiekolwiek podłączone narzędzie synchronizuje dzienniki lub monity. Kontrola lokalna zmniejsza zależność od dostawcy chmury, ale nie usuwa odpowiedzialności operacyjnej.
Często zadawane pytania
Którego narzędzia powinienem użyć jako pierwszego? LM Studio to dobry graficzny punkt wyjścia, Ollama to dobry punkt wyjścia z wiersza poleceń i lokalny API, a llama.cpp jest przydatny, gdy chcesz mieć kontrolę na niższym poziomie.
Dlaczego mój model działa wolno? Może być za duży, używać odciążenia CPU, działać ze zbyt dużym kontekstem lub być ograniczony przepustowością pamięci, a nie surowymi obliczeniami.
Czy pobrania i polubienia wystarczą, aby wybrać model? Nie. Pokazują zainteresowanie społeczności, a nie to, czy model pasuje do Twojego sprzętu lub zadania.
Co powinienem zrobić dalej? Użyj Local LLM, aby wprowadzić swój sprzęt i zadanie, a następnie otwórz zalecaną stronę Hugging Face przed pobraniem.