Inizia dall'hardware, non dall'entusiasmo per il modello
Il modo più rapido per scegliere un Local LLM è partire dalla macchina che hai già. La popolarità del modello conta, ma un modello che non può essere caricato o che funziona a una velocità inutilizzabile non è utile. I primi input sono VRAM, RAM di sistema, sistema operativo, se la memoria è unificata e se sei disposto a usare l'offload su CPU. Solo dopo dovresti confrontare le famiglie di modelli.
Un buon flusso di raccomandazione per Local LLM separa tre domande: può essere caricato, sarà utilizzabile ed è adatto al compito. Il caricamento dipende da pesi, quantizzazione, KV cache e overhead del runtime. L'usabilità dipende da velocità e stabilità. L'idoneità al compito dipende dal fatto che il modello sia ottimizzato per coding, chat generale, matematica, visione o lavoro con contesto lungo.
Scegli il caso d'uso prima di scegliere il modello più grande
Compiti diversi premiano modelli diversi. Un compito di coding richiede addestramento sul codice, comprensione dei repository, capacità di seguire istruzioni e formattazione stabile. Un compito di scrittura richiede controllo del tono e coerenza nei testi lunghi. Un compito di visione richiede un'architettura multimodale e un encoder di immagini. Un compito di matematica o ragionamento può richiedere una famiglia di modelli ottimizzata per la risoluzione passo dopo passo dei problemi.
Ecco perché lo stesso hardware può produrre raccomandazioni diverse quando l'utente passa da Generale a Coding o Visione. Il sito non dovrebbe classificare alla cieca in base ai download o al numero di parametri. Dovrebbe prima filtrare i modelli adatti all'hardware, poi classificare le opzioni rimanenti in base al caso d'uso e alla preferenza.
Comprendi il ruolo della quantizzazione
La maggior parte degli utenti locali esegue modelli quantizzati anziché pesi a precisione completa. La quantizzazione riduce l'uso di memoria e rende i modelli pratici su hardware consumer. Q4 è spesso l'opzione orientata prima di tutto alla compatibilità, Q5 e Q6 possono migliorare la qualità con un maggiore costo in memoria, e Q8 è più vicino alla qualità completa ma molto più pesante. La scelta giusta dipende da quanto margine rimane dopo pesi e KV cache.
La frase "cosa posso eseguire" quindi non ha una sola risposta per modello. Un modello può essere eseguibile in Q4 ma non in Q8, utilizzabile con contesto 4K ma non 32K, oppure andare bene interamente su GPU ma essere lento con offload. Una pagina di raccomandazione utile dovrebbe mostrare la quantizzazione selezionata e la ripartizione della memoria, non solo il nome del modello.
Mac, Windows, Linux e configurazioni solo CPU sono diversi
Gli utenti Windows e Linux con GPU discrete di solito ragionano prima in termini di VRAM. Gli utenti Apple Silicon ragionano in termini di memoria unificata, perché GPU e CPU condividono lo stesso pool di memoria. Gli utenti solo CPU devono essere ancora più conservativi perché la memoria di sistema può essere ampia ma la velocità in token può essere bassa. Lo stesso valore di 32GB significa cose diverse in queste configurazioni.
Uno strumento dovrebbe riflettere questa differenza. Su Mac, dovrebbe riservare memoria per macOS e app. Su GPU discrete, dovrebbe riservare VRAM per il display, l'overhead del framework e la KV cache. Su macchine solo CPU, dovrebbe raccomandare modelli piccoli e definire le aspettative sulla velocità invece di fingere che la sola RAM di sistema risolva tutto.
Un flusso decisionale pratico
Per prima cosa, inserisci la tua VRAM o memoria unificata. Secondo, scegli il sistema operativo. Terzo, scegli il caso d'uso. Quarto, scegli la preferenza: qualità, compatibilità bilanciata o margine di contesto. Poi esamina solo i modelli compatibili. Se i risultati sono troppo piccoli, aumenta la memoria o accetta l'offload. Se i risultati sono troppo lenti, preferisci modelli più piccoli interamente su GPU.
Questo approccio evita che gli utenti copino raccomandazioni casuali di modelli dai social media. Una raccomandazione che funziona su una GPU da 24GB può essere sbagliata per un laptop da 8GB. Un modello eccellente per il coding può essere non necessario per la scrittura occasionale. Local LLM dovrebbe trasformare questi compromessi in un elenco classificato chiaro con link Hugging Face alle pagine effettive dei modelli.
FAQ
Posso eseguire un Local LLM senza GPU? Sì, ma di solito con modelli più piccoli e velocità inferiore. Solo CPU è ideale per test, note sensibili alla privacy o attività offline leggere.
Dovrei sempre scegliere il modello più grande che entra in memoria? No. Un modello più piccolo che entra interamente su GPU può essere più veloce e più piacevole di un modello più grande che entra a malapena.
Perché le raccomandazioni cambiano nel tempo? I file dei modelli Hugging Face, i download, le quantizzazioni e le release della community cambiano spesso, quindi i dati dei modelli in cache dovrebbero aggiornarsi regolarmente.