La risposta breve: la VRAM dipende da dimensione del modello, quantizzazione e contesto
Non esiste un singolo numero di VRAM valido per ogni Local LLM. Il requisito pratico è la somma di pesi del modello, KV cache, overhead di runtime e margine di sicurezza. Un piccolo modello Q4 può funzionare su hardware modesto, mentre un modello Q8 più grande con contesto lungo può richiedere molta più memoria. Per questo due utenti con la stessa GPU possono ottenere risultati diversi se uno vuole una chat breve e l’altro vuole coding a contesto lungo o RAG.
Come regola pratica, 6GB sono il livello di ingresso, 8GB sono utilizzabili per modelli piccoli, 12GB sono una base desktop più comoda, 16GB offrono più margine, 24GB sono una fascia consumer solida e 48GB o più aprono la porta a modelli più grandi e quantizzazione più alta. La memoria unificata Apple Silicon è una categoria a parte perché CPU e GPU condividono lo stesso pool di memoria, ma serve comunque spazio per macOS, app e overhead di runtime.
I pesi del modello di solito dominano il budget di memoria
La parte più grande del budget di memoria è di solito costituita dai pesi del modello. I pesi FP16 sono grandi, mentre i file GGUF quantizzati riducono la dimensione archiviando i pesi con meno bit. Un modello 7B in Q4 può entrare in molta meno memoria rispetto allo stesso modello in FP16 o Q8. Questo è il motivo per cui la quantizzazione è centrale nelle raccomandazioni Local LLM: cambia ciò che è realisticamente eseguibile su GPU consumer.
Tuttavia, la dimensione del file da sola non basta. Alcuni modelli hanno architetture diverse, comportamento dei parametri attivi MoE, impostazioni del tokenizer e valori predefiniti di contesto. Un file modello che sembra entrare sulla carta può comunque essere al limite una volta che il runtime riserva memoria. La raccomandazione dovrebbe includere un margine conservativo invece di trattare la dimensione del file come l’intero requisito.
La KV cache cresce con la lunghezza del contesto
La KV cache è la memoria usata per archiviare le informazioni di attenzione dei token già elaborati. Cresce con lunghezza del contesto, impostazioni di batch, numero di layer, hidden size e dettagli di implementazione. Per questo un modello che funziona a contesto 4K può diventare instabile o lento a contesto 16K, 32K o superiore. Il contesto lungo non è gratuito solo perché la model card lo pubblicizza.
Per gli utenti, questo significa che il giusto obiettivo di VRAM dipende dal carico di lavoro. Una chat semplice può mantenere il contesto moderato. Coding su molti file, riassunti di documenti lunghi e RAG possono aumentare i requisiti di memoria. Se il contesto lungo è la priorità, un modello più piccolo o più fortemente quantizzato può essere più adatto di un modello più grande che consuma quasi tutta la VRAM solo con i pesi.
Fasce GPU realistiche per Local LLM
Con 6GB, aspettati modelli piccoli e contesto conservativo. Con 8GB, modelli 3B fino a 7B Q4 diventano realistici, ma il margine è limitato. Con 12GB, molti modelli 7B e alcuni modelli 14B quantizzati diventano più pratici. Con 16GB, gli stessi modelli possono usare una quantizzazione migliore o più contesto. Con 24GB, modelli 14B solidi e alcuni modelli quantizzati più grandi diventano realistici per l’uso quotidiano. Con 48GB e oltre, esperimenti locali più grandi diventano molto più facili.
Queste fasce non sono promesse. La velocità dipende da larghezza di banda della memoria, backend GPU, CPU, RAM, driver e strumento di inferenza. Il supporto NVIDIA CUDA è di solito il più ampio negli strumenti di inferenza locale. AMD può funzionare bene negli stack supportati, ma può richiedere più attenzione alla compatibilità del backend. Apple Silicon può usare efficacemente la memoria unificata, ma il budget di modello utilizzabile è comunque inferiore alla quantità di RAM dichiarata perché il sistema condivide quella memoria.
Quando l’offload parziale aiuta e quando danneggia
Se un modello non entra completamente in VRAM, alcuni strumenti possono scaricare parte del modello nella memoria CPU. Questo può permettere il caricamento del modello, ma spesso riduce la velocità perché i dati devono spostarsi tra GPU e memoria di sistema. Sulle GPU discrete, PCIe e la larghezza di banda della memoria CPU possono diventare colli di bottiglia. Sui Mac con memoria unificata, la penalità è diversa, ma larghezza di banda della memoria e pressione di sistema contano comunque.
L’offload parziale dovrebbe essere presentato in modo onesto. Può essere utile per sperimentazione, risposte lunghe occasionali o test di un modello più grande, ma non dovrebbe essere la raccomandazione predefinita per un utente normale che si aspetta velocità interattiva. Local LLM dovrebbe preferire raccomandazioni full-GPU quando possibile ed etichettare separatamente l’offload parziale quando il modello è tecnicamente eseguibile ma meno comodo.
FAQ
8GB di VRAM bastano per un Local LLM? Sì, per modelli piccoli e accuratamente quantizzati. Non bastano per ogni modello, e il contesto lungo ridurrà l’intervallo utilizzabile.
12GB di VRAM bastano? Sono un punto di partenza ragionevole per molti modelli 7B e alcuni modelli 14B quantizzati, soprattutto con impostazioni bilanciate.
Più VRAM significa sempre risposte migliori? Non sempre. Più VRAM amplia l’insieme dei candidati, ma qualità del modello, tuning, quantizzazione e caso d’uso determinano ancora la migliore raccomandazione.
Come posso stimare la mia configurazione? Inserisci VRAM, RAM, sistema operativo e caso d’uso in Local LLM. Lo strumento applica regole su dimensione del modello, quantizzazione, KV cache e margine ai dati aggiornati dei modelli.