Zacznij od rodziny modelu, a potem sprawdź plik możliwy do uruchomienia
Local LLM to nie tylko nazwa marki, taka jak Qwen, Llama, Mistral, Gemma, DeepSeek, Phi czy Yi. Nazwa zwykle wskazuje rodzinę modelu, natomiast plik, który faktycznie uruchamiasz, może być wersją instruct, wersją do kodowania, wariantem vision, konwersją GGUF albo skwantyzowaną kompilacją przygotowaną przez społecznościowego wydawcę. Dwa pliki z tej samej rodziny modeli mogą zachowywać się inaczej, ponieważ mogą używać różnych szablonów promptów, długości kontekstu, metod kwantyzacji i założeń środowiska uruchomieniowego.
Dla narzędzia rekomendacyjnego użyteczne pytanie brzmi nie tylko: „czy ten model jest popularny?”. Lepsze pytanie to: „który uruchamialny wariant pasuje do pamięci użytkownika, oczekiwań dotyczących szybkości i zadania?”. Hugging Face może pokazywać wiele plików dla tego samego modelu, a narzędzia lokalne mogą udostępniać tylko część z nich. Local LLM powinien więc traktować tożsamość modelu, format pliku, kwantyzację i dopasowanie do sprzętu jako osobne sygnały, zamiast sprowadzać wszystko do jednej nazwy modelu.
Liczba parametrów to przybliżony sygnał jakości, a nie pełna odpowiedź
Liczba parametrów daje szybkie wyobrażenie o skali. Model 1B lub 3B jest łatwiejszy do uruchomienia i może być użyteczny do lekkiego czatu, przeredagowywania, streszczania oraz prostego wyjaśniania kodu. Model 7B lub 8B często stanowi praktyczny punkt wejścia do mocniejszych odpowiedzi na co dzień. Model 14B zwykle wymaga więcej pamięci, ale może sprawiać wrażenie bardziej kompetentnego. Modele 30B, 70B i większe mogą być znacznie lepsze do trudnego rozumowania lub kodowania, ale wchodzą już w obszar wysokiego VRAM, dużej pamięci zunifikowanej albo konfiguracji multi-GPU.
Ograniczenie polega na tym, że liczba parametrów nie mówi wszystkiego. Nowszy model 7B może pokonać starszy model 13B w wielu zadaniach. Model 7B dostrojony do kodowania może być bardziej użyteczny w developmentcie niż większy ogólny model czatowy. Modele MoE dodają kolejną komplikację, ponieważ całkowita liczba parametrów i liczba parametrów aktywnych to różne rzeczy. Dlatego rekomendacje powinny łączyć jakość benchmarków, przypadek użycia, aktywne parametry, wymagania kontekstowe i dopasowanie pamięci, zamiast po prostu umieszczać największy model na pierwszym miejscu.
GGUF, safetensors i wsparcie narzędzi decydują o tym, co faktycznie uruchomisz
Wielu użytkowników lokalnych komputerów szuka plików GGUF, ponieważ dobrze działają z narzędziami opartymi na llama.cpp i są szeroko dostępne na Hugging Face. GGUF pakuje wagi modelu i metadane w formacie zaprojektowanym do lokalnej inferencji, a Hugging Face obsługuje przeglądanie i hostowanie plików GGUF. Inne repozytoria publikują wagi safetensors, które mogą być przeznaczone dla Transformers, vLLM albo do konwersji przed lokalnym użyciem na komputerze. Oba podejścia mogą być prawidłowe, ale obsługują różne przepływy pracy.
Ma to znaczenie dla użytkowników, ponieważ strona modelu może wyglądać atrakcyjnie, a jednocześnie model nadal może być niewygodny do uruchomienia lokalnie. Ollama, LM Studio, llama.cpp, MLX, Transformers i vLLM nie udostępniają dokładnie tej samej ścieżki ładowania modelu. Dobry wynik rekomendacji powinien prowadzić do strony źródłowej, pokazywać, czy model ma plik przyjazny dla uruchamiania lokalnego, i unikać sugerowania, że każde repozytorium Hugging Face jest równie łatwe do uruchomienia na laptopie.
Kwantyzacja zmienia użycie pamięci i jakość
Kwantyzacja zmniejsza precyzję wag modelu, dzięki czemu plik jest mniejszy i łatwiejszy do załadowania. Q8 jest blisko wysokiej jakości, ale zużywa więcej pamięci. Q6 i Q5 często są użytecznym kompromisem. Q4 to powszechny punkt wejścia do zmieszczenia większych modeli na sprzęcie konsumenckim. Q3 i niższe poziomy mogą być użyteczne przy bardzo ograniczonej pamięci, ale kompromis jakościowy staje się bardziej widoczny, szczególnie przy kodowaniu, matematyce, użyciu narzędzi i długich odpowiedziach.
Właściwa kwantyzacja zależy zarówno od modelu, jak i od zadania. Jeśli użytkownik chce szybkiego, swobodnego czatu, Q4 może być akceptowalne. Jeśli chodzi o kodowanie lub ostrożne rozumowanie, Q5, Q6 albo Q8 mogą być warte dodatkowej pamięci. Jeśli użytkownik potrzebuje długiego kontekstu, najmniejszy plik modelu nie wystarczy; system nadal potrzebuje pamięci na KV cache i narzut środowiska uruchomieniowego. Local LLM powinien pokazywać wybraną kwantyzację oraz podział użycia pamięci, aby użytkownicy rozumieli, dlaczego rekomendacja pasuje.
Długość kontekstu, vision i specjalne dostrojenie zmieniają rekomendację
Długość kontekstu jest zależna od modelu, ale użyteczny kontekst jest zależny od sprzętu. Model może reklamować duże okno kontekstu, a mimo to KV cache rośnie wraz z wydłużaniem się rozmowy lub dokumentu. Ta dodatkowa pamięć może przesunąć model z pełnego wykonywania na GPU do częściowego offloadu na CPU. W przypadku RAG, analizy bazy kodu lub czytania długich dokumentów mniejszy model z większym zapasem pamięci może być lepszy niż większy model, który ledwo się ładuje.
Specjalizowane możliwości też mają znaczenie. Modele vision potrzebują enkoderów obrazów i obsługi multimodalnej, więc model wyłącznie tekstowy nie powinien być rekomendowany do zadań obrazowych, nawet jeśli ma wysoki wynik ogólny. Modele do kodowania należy oceniać inaczej niż modele do roleplay. Modele matematyczne i rozumowania mogą wymagać ostrożniejszych progów jakości. Najlepszy model lokalny jest więc dopasowaniem między możliwościami modelu, wariantem pliku, kwantyzacją, docelowym kontekstem i sprzętem użytkownika.
FAQ
Czy modele GGUF zawsze są lepsze dla Local LLM? Nie zawsze. GGUF jest bardzo wygodny do lokalnej inferencji w stylu llama.cpp, ale safetensors lub inne formaty mogą być lepsze dla przepływów serwerowych, trenowania albo wyspecjalizowanych środowisk uruchomieniowych.
Czy powinienem wybrać największy model, który się mieści? Nie automatycznie. Jeśli mieści się ledwo, szybkość i stabilność kontekstu mogą być słabe. Nieco mniejszy model z Q5 lub Q6 i wystarczającym zapasem pamięci może sprawiać lepsze wrażenie w codziennym użyciu.
Dlaczego różne narzędzia rekomendują różne modele? Mogą obsługiwać różne formaty, poziomy kwantyzacji, backendy GPU, domyślne ustawienia kontekstu i katalogi modeli. Wsparcie narzędzia jest częścią rekomendacji.
Jak używać Local LLM po przeczytaniu tego tekstu? Wprowadź swój VRAM, RAM, system operacyjny, przypadek użycia i preferencję. Narzędzie może wtedy uszeregować aktualne warianty modeli, zamiast zmuszać cię do zapamiętywania nazw modeli.