Krótka odpowiedź: VRAM zależy od rozmiaru modelu, kwantyzacji i kontekstu
Nie istnieje jedna wartość VRAM, która działa dla każdego lokalnego LLM. Praktyczne wymaganie to suma wag modelu, KV cache, narzutu środowiska uruchomieniowego i marginesu bezpieczeństwa. Mały model Q4 może działać na skromnym sprzęcie, podczas gdy większy model Q8 z długim kontekstem może wymagać znacznie więcej pamięci. Dlatego dwóch użytkowników z tym samym GPU może uzyskać różne wyniki, jeśli jeden chce krótkiego czatu, a drugi kodowania z długim kontekstem lub RAG.
Jako praktyczną zasadę można przyjąć, że 6GB to poziom wejściowy, 8GB jest użyteczne dla małych modeli, 12GB to wygodniejsza bazowa wartość dla komputera stacjonarnego, 16GB daje lepszy zapas, 24GB to mocna klasa konsumencka, a 48GB lub więcej otwiera drzwi do większych modeli i wyższej kwantyzacji. Pamięć zunifikowana Apple Silicon to osobna kategoria, ponieważ CPU i GPU współdzielą tę samą pulę pamięci, ale nadal trzeba zostawić miejsce dla macOS, aplikacji i narzutu środowiska uruchomieniowego.
Wagi modelu zwykle dominują w budżecie pamięci
Największą częścią budżetu pamięci są zwykle wagi modelu. Wagi FP16 są duże, podczas gdy skwantyzowane pliki GGUF zmniejszają rozmiar, zapisując wagi z użyciem mniejszej liczby bitów. Model 7B w Q4 może zmieścić się w znacznie mniejszej pamięci niż ten sam model w FP16 lub Q8. To powód, dla którego kwantyzacja jest kluczowa w rekomendacjach Local LLM: zmienia to, co realistycznie da się uruchomić na konsumenckich GPU.
Sam rozmiar pliku jednak nie wystarcza. Niektóre modele mają różne architektury, zachowanie aktywnych parametrów MoE, ustawienia tokenizerów i domyślne wartości kontekstu. Plik modelu, który na papierze wydaje się pasować, może nadal być na granicy, gdy środowisko uruchomieniowe zarezerwuje pamięć. Rekomendacja powinna uwzględniać konserwatywny margines, zamiast traktować rozmiar pliku jako całe wymaganie.
KV cache rośnie wraz z długością kontekstu
KV cache to pamięć używana do przechowywania informacji attention dla tokenów już przetworzonych. Rośnie wraz z długością kontekstu, ustawieniami batch, liczbą warstw, rozmiarem ukrytym i szczegółami implementacji. Dlatego model, który działa przy kontekście 4K, może stać się niestabilny lub wolny przy 16K, 32K albo wyższym kontekście. Długi kontekst nie jest darmowy tylko dlatego, że karta modelu go reklamuje.
Dla użytkowników oznacza to, że właściwy cel VRAM zależy od obciążenia. Prosty czat może utrzymać umiarkowany kontekst. Kodowanie obejmujące wiele plików, streszczanie długich dokumentów i RAG mogą podnieść wymagania pamięciowe. Jeśli priorytetem jest długi kontekst, mniejszy albo silniej skwantyzowany model może być lepszym wyborem niż większy model, który zużywa niemal cały VRAM samymi wagami.
Realistyczne klasy GPU dla lokalnych LLM
Przy 6GB należy oczekiwać małych modeli i zachowawczego kontekstu. Przy 8GB modele 3B do 7B Q4 stają się realistyczne, ale zapas jest ograniczony. Przy 12GB wiele modeli 7B i niektóre skwantyzowane modele 14B stają się bardziej praktyczne. Przy 16GB te same modele mogą używać lepszej kwantyzacji lub większego kontekstu. Przy 24GB mocne modele 14B i niektóre większe modele skwantyzowane stają się realistyczne do codziennego użycia. Przy 48GB i więcej większe lokalne eksperymenty stają się znacznie łatwiejsze.
Te klasy nie są obietnicami. Szybkość zależy od przepustowości pamięci, backendu GPU, CPU, RAM, sterowników i narzędzia inferencyjnego. Wsparcie NVIDIA CUDA jest zwykle najszersze w lokalnych narzędziach inferencyjnych. AMD może działać dobrze w obsługiwanych stosach, ale może wymagać większej uwagi względem kompatybilności backendu. Apple Silicon może efektywnie używać pamięci zunifikowanej, ale użyteczny budżet modelu nadal jest niższy niż deklarowana ilość RAM, ponieważ system współdzieli tę pamięć.
Kiedy częściowy offload pomaga, a kiedy szkodzi
Jeśli model nie mieści się w całości w VRAM, niektóre narzędzia mogą przenieść część modelu do pamięci CPU. Może to pozwolić modelowi się załadować, ale często zmniejsza szybkość, ponieważ dane muszą przemieszczać się między GPU a pamięcią systemową. Na dyskretnych GPU wąskimi gardłami mogą stać się PCIe i przepustowość pamięci CPU. Na Macach z pamięcią zunifikowaną kara jest inna, ale przepustowość pamięci i obciążenie systemu nadal mają znaczenie.
Częściowy offload powinien być przedstawiany uczciwie. Może być użyteczny do eksperymentów, okazjonalnych długich odpowiedzi lub testowania większego modelu, ale nie powinien być domyślną rekomendacją dla zwykłego użytkownika, który oczekuje interaktywnej szybkości. Local LLM powinien preferować rekomendacje pełnego uruchomienia na GPU, gdy to możliwe, i osobno oznaczać częściowy offload, gdy model jest technicznie uruchamialny, ale mniej wygodny.
FAQ
Czy 8GB VRAM wystarczy do lokalnego LLM? Tak, dla małych i ostrożnie skwantyzowanych modeli. Nie wystarczy dla każdego modelu, a długi kontekst zmniejszy użyteczny zakres.
Czy 12GB VRAM wystarczy? To rozsądny punkt startowy dla wielu modeli 7B i niektórych skwantyzowanych modeli 14B, szczególnie przy zbalansowanych ustawieniach.
Czy więcej VRAM zawsze oznacza lepsze odpowiedzi? Nie zawsze. Więcej VRAM poszerza zbiór kandydatów, ale jakość modelu, dostrojenie, kwantyzacja i przypadek użycia nadal decydują o najlepszej rekomendacji.
Jak oszacować własną konfigurację? Wprowadź swój VRAM, RAM, system operacyjny i przypadek użycia do Local LLM. Narzędzie stosuje reguły rozmiaru modelu, kwantyzacji, KV cache i marginesu do aktualnych danych modeli.