Zacznij od sprzętu, nie od szumu wokół modeli
Najszybszym sposobem wyboru lokalnego Local LLM jest rozpoczęcie od komputera, który już masz. Popularność modelu ma znaczenie, ale model, którego nie da się załadować albo który działa z nieużywalną prędkością, nie jest pomocny. Pierwsze dane wejściowe to VRAM, systemowa RAM, system operacyjny, to, czy pamięć jest zunifikowana, oraz to, czy jesteś gotów używać CPU offload. Dopiero potem należy porównywać rodziny modeli.
Dobry proces rekomendacji Local LLM rozdziela trzy pytania: czy da się go załadować, czy będzie używalny i czy jest dobry do danego zadania. Ładowanie zależy od wag, kwantyzacji, KV cache i narzutu środowiska uruchomieniowego. Używalność zależy od szybkości i stabilności. Dopasowanie do zadania zależy od tego, czy model jest dostrojony do kodowania, ogólnego czatu, matematyki, wizji lub pracy z długim kontekstem.
Wybierz przypadek użycia przed wyborem największego modelu
Różne zadania premiują różne modele. Zadanie programistyczne wymaga treningu na kodzie, rozumienia repozytoriów, wykonywania instrukcji i stabilnego formatowania. Zadanie pisarskie wymaga kontroli tonu i spójności dłuższej formy. Zadanie wizyjne wymaga architektury multimodalnej i enkodera obrazu. Zadanie matematyczne lub rozumowania może wymagać rodziny modeli dostrojonej do rozwiązywania problemów krok po kroku.
Dlatego ten sam sprzęt może dawać różne rekomendacje, gdy użytkownik przełącza się z Ogólne na Kodowanie lub Wizja. Strona nie powinna ślepo tworzyć rankingu według liczby pobrań lub liczby parametrów. Powinna najpierw odfiltrować modele pasujące do sprzętu, a następnie uszeregować pozostałe opcje według przypadku użycia i preferencji.
Zrozum rolę kwantyzacji
Większość lokalnych użytkowników uruchamia modele kwantyzowane zamiast wag o pełnej precyzji. Kwantyzacja zmniejsza użycie pamięci i sprawia, że modele stają się praktyczne na sprzęcie konsumenckim. Q4 jest często opcją nastawioną przede wszystkim na dopasowanie, Q5 i Q6 mogą poprawić jakość kosztem większej ilości pamięci, a Q8 jest bliżej pełnej jakości, ale jest znacznie cięższe. Właściwy wybór zależy od tego, ile zapasu pozostaje po wagach i KV cache.
Fraza "co mogę uruchomić" nie ma więc jednej odpowiedzi dla każdego modelu. Model może dać się uruchomić w Q4, ale nie w Q8, być używalny przy kontekście 4K, ale nie 32K, albo działać dobrze w całości na GPU, lecz wolno z offload. Użyteczna strona rekomendacji powinna pokazywać wybraną kwantyzację i rozbicie pamięci, a nie tylko nazwę modelu.
Mac, Windows, Linux i konfiguracje tylko z CPU różnią się
Użytkownicy Windows i Linux z dedykowanymi GPU zwykle myślą najpierw o VRAM. Użytkownicy Apple Silicon myślą o pamięci zunifikowanej, ponieważ GPU i CPU współdzielą tę samą pulę pamięci. Użytkownicy korzystający wyłącznie z CPU muszą być jeszcze bardziej konserwatywni, ponieważ pamięć systemowa może być duża, ale szybkość generowania tokenów może być niska. Ta sama wartość 32GB oznacza różne rzeczy w tych konfiguracjach.
Narzędzie powinno odzwierciedlać tę różnicę. Na Mac powinno rezerwować pamięć dla macOS i aplikacji. Na dedykowanych GPU powinno rezerwować VRAM dla wyświetlania, narzutu frameworka i KV cache. Na maszynach tylko z CPU powinno rekomendować małe modele i ustawiać oczekiwania dotyczące szybkości, zamiast udawać, że sama systemowa RAM rozwiązuje wszystko.
Praktyczny proces decyzyjny
Najpierw wpisz swoją VRAM lub pamięć zunifikowaną. Następnie wybierz system operacyjny. Potem wybierz przypadek użycia. Następnie wybierz preferencję: jakość, zrównoważone dopasowanie albo zapas kontekstu. Potem przejrzyj tylko modele, które są kompatybilne. Jeśli wyniki są zbyt małe, zwiększ pamięć lub zaakceptuj offload. Jeśli wyniki są zbyt wolne, preferuj mniejsze modele działające w całości na GPU.
Takie podejście powstrzymuje użytkowników przed kopiowaniem losowych rekomendacji modeli z mediów społecznościowych. Rekomendacja działająca na GPU 24GB może być błędna dla laptopa 8GB. Model, który jest świetny do kodowania, może być niepotrzebny do swobodnego pisania. Local LLM powinno zamieniać te kompromisy w przejrzystą, uszeregowaną listę z linkami Hugging Face do rzeczywistych stron modeli.
FAQ
Czy mogę uruchomić Local LLM bez GPU? Tak, ale zwykle z mniejszymi modelami i niższą szybkością. Tryb tylko z CPU najlepiej nadaje się do testowania, notatek wrażliwych na prywatność lub lekkich zadań offline.
Czy zawsze powinienem wybierać największy model, który się mieści? Nie. Mniejszy model mieszczący się w całości na GPU może być szybszy i przyjemniejszy w użyciu niż większy model, który ledwo się mieści.
Dlaczego rekomendacje zmieniają się w czasie? Pliki modeli Hugging Face, pobrania, kwantyzacje i wydania społeczności zmieniają się często, więc buforowane dane modeli powinny być regularnie odświeżane.