Jawaban singkat: VRAM bergantung pada ukuran model, kuantisasi, dan konteks
Tidak ada satu angka VRAM yang berlaku untuk setiap Local LLM. Kebutuhan praktis adalah jumlah dari bobot model, KV cache, overhead runtime, dan margin keamanan. Model Q4 kecil dapat berjalan di hardware sederhana, sementara model Q8 yang lebih besar dengan konteks panjang dapat membutuhkan jauh lebih banyak memori. Inilah mengapa dua pengguna dengan GPU yang sama bisa mendapatkan hasil berbeda jika satu menginginkan chat pendek dan yang lain menginginkan coding konteks panjang atau RAG.
Sebagai aturan praktis, 6GB adalah level pemula, 8GB dapat digunakan untuk model kecil, 12GB adalah baseline desktop yang lebih nyaman, 16GB memberi headroom lebih baik, 24GB adalah tier konsumen yang kuat, dan 48GB atau lebih membuka jalan untuk model yang lebih besar dan kuantisasi lebih tinggi. Unified memory Apple Silicon adalah kategori terpisah karena CPU dan GPU berbagi pool memori yang sama, tetapi tetap membutuhkan ruang untuk macOS, aplikasi, dan overhead runtime.
Bobot model biasanya mendominasi anggaran memori
Bagian terbesar dari anggaran memori biasanya adalah bobot model. Bobot FP16 berukuran besar, sementara file GGUF terkuantisasi mengurangi ukuran dengan menyimpan bobot menggunakan lebih sedikit bit. Model 7B dalam Q4 dapat masuk ke memori yang jauh lebih kecil dibanding model yang sama dalam FP16 atau Q8. Inilah alasan kuantisasi menjadi pusat rekomendasi Local LLM: kuantisasi mengubah apa yang realistis dijalankan di GPU konsumen.
Namun, ukuran file saja tidak cukup. Beberapa model memiliki arsitektur berbeda, perilaku parameter aktif MoE, pengaturan tokenizer, dan default konteks. File model yang tampak muat di atas kertas mungkin tetap sempit setelah runtime mencadangkan memori. Rekomendasi harus menyertakan margin konservatif, bukan memperlakukan ukuran file sebagai seluruh kebutuhan.
KV cache bertambah seiring panjang konteks
KV cache adalah memori yang digunakan untuk menyimpan informasi attention untuk token yang sudah diproses. KV cache bertambah bersama panjang konteks, pengaturan batch, jumlah layer, hidden size, dan detail implementasi. Inilah mengapa model yang berjalan pada konteks 4K bisa menjadi tidak stabil atau lambat pada konteks 16K, 32K, atau lebih tinggi. Konteks panjang tidak gratis hanya karena model card mengiklankannya.
Bagi pengguna, ini berarti target VRAM yang tepat bergantung pada workload. Chat sederhana dapat menjaga konteks tetap moderat. Coding lintas banyak file, meringkas dokumen panjang, dan RAG dapat mendorong kebutuhan memori lebih tinggi. Jika konteks panjang adalah prioritas, model yang lebih kecil atau lebih kuat dikuantisasi mungkin lebih cocok daripada model lebih besar yang menghabiskan hampir semua VRAM hanya untuk bobot.
Tier GPU realistis untuk Local LLM
Pada 6GB, harapkan model kecil dan konteks konservatif. Pada 8GB, model 3B hingga 7B Q4 menjadi realistis, tetapi headroom terbatas. Pada 12GB, banyak model 7B dan beberapa model 14B terkuantisasi menjadi lebih praktis. Pada 16GB, model yang sama dapat menggunakan kuantisasi lebih baik atau konteks lebih banyak. Pada 24GB, model 14B yang kuat dan beberapa model terkuantisasi yang lebih besar menjadi realistis untuk penggunaan harian. Pada 48GB ke atas, eksperimen lokal yang lebih besar menjadi jauh lebih mudah.
Tier ini bukan janji. Kecepatan bergantung pada bandwidth memori, backend GPU, CPU, RAM, driver, dan tool inference. Dukungan NVIDIA CUDA biasanya paling luas di tool inference lokal. AMD dapat bekerja dengan baik di stack yang didukung tetapi mungkin membutuhkan lebih banyak perhatian pada kompatibilitas backend. Apple Silicon dapat menggunakan unified memory secara efektif, tetapi anggaran model yang dapat digunakan tetap lebih rendah daripada jumlah RAM headline karena sistem berbagi memori tersebut.
Kapan partial offload membantu, dan kapan merugikan
Jika model tidak sepenuhnya muat di VRAM, beberapa tool dapat melakukan offload sebagian model ke memori CPU. Ini dapat membuat model berhasil dimuat, tetapi sering mengurangi kecepatan karena data harus berpindah antara GPU dan memori sistem. Pada GPU diskrit, PCIe dan bandwidth memori CPU dapat menjadi bottleneck. Pada Mac dengan unified memory, penalti berbeda, tetapi bandwidth memori dan tekanan sistem tetap penting.
Partial offload harus disajikan secara jujur. Ini dapat berguna untuk eksperimen, jawaban panjang sesekali, atau menguji model yang lebih besar, tetapi tidak boleh menjadi rekomendasi default untuk pengguna normal yang mengharapkan kecepatan interaktif. Local LLM harus memprioritaskan rekomendasi full-GPU bila memungkinkan dan memberi label partial offload secara terpisah ketika model secara teknis dapat dijalankan tetapi kurang nyaman.
FAQ
Apakah VRAM 8GB cukup untuk Local LLM? Ya, untuk model kecil dan terkuantisasi dengan hati-hati. Ini tidak cukup untuk setiap model, dan konteks panjang akan mengurangi rentang yang dapat digunakan.
Apakah VRAM 12GB cukup? Ini adalah titik awal yang masuk akal untuk banyak model 7B dan beberapa model 14B terkuantisasi, terutama dengan pengaturan seimbang.
Apakah lebih banyak VRAM selalu berarti jawaban yang lebih baik? Tidak selalu. Lebih banyak VRAM memperluas kandidat, tetapi kualitas model, tuning, kuantisasi, dan use case tetap menentukan rekomendasi terbaik.
Bagaimana cara memperkirakan setup saya sendiri? Masukkan VRAM, RAM, sistem operasi, dan use case Anda ke Local LLM. Tool menerapkan ukuran model, kuantisasi, KV cache, dan aturan margin pada data model terkini.