Hub del blog
Guide pratiche su VRAM, Mac, quantizzazione, modelli di coding e modelli vision locali.
Guida alla memoria video
Da 6 GB, 8 GB, 12 GB, da 24 GB a 48 GB, spiegare come il volume dei parametri del modello, la versione quantizzata, la cache KV e l'overhead del sistema si combinano per determinare se può essere caricato.
Leggi articoloPatatina di mela
Spiega perché la memoria totale del Mac non può essere utilizzata come memoria video e come scegliere il modello adatto per macchine da 16 GB, 32 GB, 64 GB e 128 GB.
Leggi articoloQuantificare
La quantificazione GGUF più comune dell'utilizzo della memoria, della perdita di qualità e del compromesso di velocità aiuta gli utenti a comprendere le tre preferenze di priorità di qualità, equilibrio e contesto lungo.
Leggi articolomodello di programmazione
Dai quattro scenari di generazione, interpretazione, ricostruzione e contesto lungo del codice, spiega perché gli scopi della programmazione non possono limitarsi a guardare alle dimensioni del modello e al volume di download.
Leggi articolomultimodale
Questo articolo introduce i problemi aggiuntivi relativi alla memoria grafica, al codificatore di immagini, al contesto e al supporto back-end del ragionamento che devono essere considerati nei modelli visivi rispetto ai modelli di testo.
Leggi articoloSelezione dello strumento
Spiega agli utenti ordinari l'esperienza di installazione, la gestione del modello, l'ottimizzazione delle prestazioni e i gruppi applicabili di tre metodi di esecuzione locali comuni.
Leggi articolo