La risposta breve: le scelte LLM locali sono scelte hardware
La maggior parte delle domande LLM locali alla fine ritornano all'hardware. Il modello deve rientrare nella memoria disponibile, funzionare a una velocità utilizzabile e corrispondere all'attività. Un modello eccellente in un benchmark ma scomodo sul tuo computer non è una buona raccomandazione per te. Un modello più piccolo che si adatti perfettamente potrebbe essere la risposta quotidiana migliore.
Queste domande frequenti sono progettate per gli utenti che stanno per scaricare un modello e desiderano prima risposte semplici. Copre VRAM, RAM, quantizzazione, strumenti, privacy, velocità, utilizzo offline e la differenza tra modelli che si caricano tecnicamente e modelli piacevoli da usare.
Di quanto VRAM ho bisogno?
Non esiste un unico numero VRAM per ogni LLM locale. 6GB a 8 GB può eseguire piccoli modelli quantizzati. Da 12GB a 16GB è più comodo per molti flussi di lavoro 7B e alcuni 14B. 24GB apre modelli di codifica e ragionamento locali più forti. 48GB e versioni successive offrono molto più spazio per modelli di grandi dimensioni, quantizzazione più elevata e contesto più lungo.
VRAM non riguarda solo i pesi dei modelli. Anche KV cache, il sovraccarico di runtime, l'utilizzo della visualizzazione e altro utilizzo della memoria GPU sono importanti. Il contesto lungo aumenta la pressione della memoria. Questo è il motivo per cui un modello può adattarsi a un'impostazione di contesto breve ma fallire o rallentare quando viene visualizzata la finestra di contesto.
Posso eseguire un LLM locale senza un GPU?
Sì, ma le aspettative dovrebbero essere realistiche. CPU-solo i LLM locali possono funzionare per modelli di piccole dimensioni, test, richieste occasionali e attività offline private. Di solito sembrano più lenti dell'inferenza supportata da GPU, soprattutto per modelli più grandi o risposte lunghe. Il sistema RAM e la larghezza di banda della memoria diventano i limiti principali.
Se hai solo CPU, scegli un modello piccolo, una quantizzazione conservativa e un contesto modesto. Se prevedi di utilizzare un LLM locale ogni giorno per programmare o lunghe conversazioni, un sistema GPU o Apple Silicon di solito si sentirà molto meglio.
Cosa significano Q4, Q5, Q6 e Q8?
Queste etichette descrivono varianti del modello quantizzato. Una quantizzazione inferiore solitamente utilizza meno memoria e si adatta a più dispositivi. Una quantizzazione più elevata solitamente preserva una maggiore qualità ma richiede più memoria. Q4 è spesso il punto di ingresso, Q5 e Q6 sono compromessi quotidiani comuni e Q8 è utile quando si dispone di memoria sufficiente e si desidera una minore perdita di qualità.
La migliore quantizzazione dipende dall'attività. La scrittura e la chat possono tollerare una quantizzazione inferiore meglio della codifica o del ragionamento difficile. Il lavoro a contesto lungo potrebbe preferire una variante più piccola in modo che sia rimasta memoria sufficiente per KV cache. Una raccomandazione dovrebbe mostrare la variante effettiva, non solo la famiglia del modello.
I LLM locali sono privati e offline?
Local LLMs può essere più privato perché i prompt e i file possono rimanere sul computer dopo il download del modello. Possono anche funzionare offline se i file di runtime e di modello sono già installati. Ciò è utile per note private, codice non pubblicato, viaggi e flussi di lavoro in cui l'accesso al cloud non è affidabile.
La privacy non è automatica. È comunque necessario fidarsi dell'origine del modello, controllare la licenza, evitare di esporre i server locali alla rete Internet pubblica e capire se qualche strumento connesso sincronizza i registri o i prompt. Il controllo locale riduce la dipendenza da un fornitore di servizi cloud, ma non elimina la responsabilità operativa.
Domande frequenti
Quale strumento dovrei usare per primo? LM Studio è un buon punto di partenza grafico, Ollama è una buona riga di comando e un buon punto di partenza API locale e llama.cpp è potente quando si desidera un controllo di livello inferiore.
Perché il mio modello funziona lentamente? Potrebbe essere troppo grande, utilizzare l'offload CPU, essere eseguito con troppo contesto o limitato dalla larghezza di banda della memoria anziché dal calcolo non elaborato.
I download e i Mi piace sono sufficienti per scegliere un modello? No. Mostrano l'interesse della comunità, non se il modello si adatta al tuo hardware o al tuo compito.
Cosa devo fare dopo? Utilizza Local LLM per inserire l'hardware e l'attività, quindi apri la pagina Hugging Face consigliata prima del download.