Parti dalla famiglia del modello, poi controlla il file eseguibile
Un Local LLM non è solo un nome di marca come Qwen, Llama, Mistral, Gemma, DeepSeek, Phi o Yi. Il nome di solito indica una famiglia di modelli, mentre il file che esegui davvero può essere una versione instruct, una versione per il coding, una variante vision, una conversione GGUF o una build quantizzata realizzata da un publisher della community. Due file della stessa famiglia di modelli possono comportarsi in modo diverso perché possono usare template di prompt, lunghezze di contesto, metodi di quantizzazione e presupposti di runtime differenti.
Per uno strumento di raccomandazione, la domanda utile non è solo “questo modello è popolare?”. La domanda migliore è “quale variante eseguibile si adatta alla memoria, alle aspettative di velocità e al compito di questo utente?”. Hugging Face può mostrare molti file per lo stesso modello, e gli strumenti locali possono esporne solo alcuni. Local LLM dovrebbe quindi trattare identità del modello, formato del file, quantizzazione e compatibilità con l’hardware come segnali separati, invece di ridurre tutto a un unico nome di modello.
Il numero di parametri è un indicatore approssimativo di qualità, non una risposta completa
Il numero di parametri offre una rapida idea della scala. Un modello 1B o 3B è più facile da eseguire e può essere utile per chat leggere, riscrittura, riassunti e semplici spiegazioni di codice. Un modello 7B o 8B è spesso il punto di ingresso pratico per risposte quotidiane più solide. Un modello 14B di solito richiede più memoria, ma può sembrare più capace. I modelli 30B, 70B e più grandi possono essere molto migliori per ragionamento difficile o coding, ma entrano nel territorio di alta VRAM, grande memoria unificata o multi-GPU.
Il limite è che il numero di parametri non racconta tutta la storia. Un modello 7B più recente può superare un vecchio modello 13B in molti compiti. Un modello 7B ottimizzato per il coding può essere più utile per lo sviluppo rispetto a un modello chat generico più grande. I modelli MoE aggiungono un’altra complicazione perché i parametri totali e i parametri attivi sono diversi. Per questo le raccomandazioni dovrebbero combinare qualità nei benchmark, caso d’uso, parametri attivi, requisiti di contesto e compatibilità con la memoria, invece di classificare semplicemente per primo il modello più grande.
GGUF, safetensors e supporto degli strumenti decidono cosa puoi davvero eseguire
Molti utenti desktop locali cercano file GGUF perché funzionano bene con strumenti basati su llama.cpp e sono ampiamente disponibili su Hugging Face. GGUF impacchetta pesi e metadati del modello in un formato progettato per l’inferenza locale, e Hugging Face supporta la consultazione e l’hosting di file GGUF. Altri repository pubblicano pesi safetensors, che possono essere destinati a Transformers, vLLM o alla conversione prima dell’uso desktop locale. Entrambi possono essere legittimi, ma servono workflow diversi.
Questo è importante per gli utenti perché una pagina modello può sembrare interessante pur essendo scomoda da eseguire localmente. Ollama, LM Studio, llama.cpp, MLX, Transformers e vLLM non espongono esattamente lo stesso percorso di caricamento del modello. Un buon risultato di raccomandazione dovrebbe collegare alla pagina sorgente, mostrare se il modello ha un file adatto all’uso locale ed evitare di suggerire che ogni repository Hugging Face sia ugualmente facile da eseguire su un laptop.
La quantizzazione modifica uso della memoria e qualità
La quantizzazione riduce la precisione dei pesi del modello, così il file è più piccolo e più facile da caricare. Q8 è vicino all’alta qualità ma usa più memoria. Q6 e Q5 sono spesso un utile compromesso. Q4 è il punto di ingresso comune per far entrare modelli più grandi nell’hardware consumer. Q3 e livelli inferiori possono essere utili in situazioni di memoria limitata, ma il compromesso sulla qualità diventa più visibile, soprattutto per coding, matematica, uso di strumenti e risposte lunghe.
La quantizzazione giusta dipende sia dal modello sia dal compito. Se l’utente chiede una chat informale veloce, Q4 può essere accettabile. Se chiede coding o ragionamento accurato, Q5, Q6 o Q8 possono valere la memoria extra. Se chiede contesto lungo, il file del modello più piccolo non basta; il sistema ha comunque bisogno di memoria per KV cache e overhead di runtime. Local LLM dovrebbe mostrare la quantizzazione selezionata e la scomposizione della memoria, così gli utenti capiscono perché una raccomandazione è adatta.
Lunghezza del contesto, vision e tuning speciali cambiano la raccomandazione
La lunghezza del contesto è specifica del modello, ma il contesto utilizzabile è specifico dell’hardware. Un modello può pubblicizzare una finestra di contesto ampia, eppure la KV cache cresce man mano che la conversazione o il documento si allungano. Quella memoria extra può spostare un modello dall’esecuzione completa su GPU a un offload parziale su CPU. Per RAG, analisi di codebase o lettura di documenti lunghi, un modello più piccolo con più margine di memoria può essere migliore di un modello più grande che si carica a malapena.
Anche le capacità specializzate contano. I modelli vision hanno bisogno di encoder di immagini e supporto multimodale, quindi un modello solo testo non dovrebbe essere raccomandato per attività con immagini anche se ha un punteggio generale elevato. I modelli di coding dovrebbero essere valutati diversamente dai modelli per roleplay. I modelli di matematica e ragionamento possono richiedere soglie di qualità più attente. Il miglior modello locale è quindi una corrispondenza tra capacità del modello, variante del file, quantizzazione, obiettivo di contesto e hardware dell’utente.
FAQ
I modelli GGUF sono sempre migliori per i Local LLM? Non sempre. GGUF è molto comodo per l’inferenza locale in stile llama.cpp, ma safetensors o altri formati possono essere migliori per workflow server, training o runtime specializzati.
Dovrei scegliere il modello più grande che entra in memoria? Non automaticamente. Se entra a malapena, velocità e stabilità del contesto possono essere scarse. Un modello leggermente più piccolo con Q5 o Q6 e abbastanza margine di memoria può risultare migliore nell’uso quotidiano.
Perché strumenti diversi raccomandano modelli diversi? Possono supportare formati, livelli di quantizzazione, backend GPU, impostazioni predefinite del contesto e cataloghi di modelli diversi. Il supporto dello strumento fa parte della raccomandazione.
Come dovrei usare Local LLM dopo aver letto questo? Inserisci VRAM, RAM, sistema operativo, caso d’uso e preferenze. Lo strumento può quindi classificare le varianti di modello attuali invece di costringerti a memorizzare nomi di modelli.