GPU terbaik adalah yang memiliki memori usable yang cukup untuk model target Anda
Untuk Local LLM, VRAM biasanya lebih penting daripada performa gaming mentah. GPU yang cepat dengan VRAM terlalu sedikit akan cepat mencapai batas memori, sementara kartu yang sedikit lebih lama dengan VRAM lebih besar mungkin dapat menjalankan model quantized yang lebih besar dengan lebih nyaman. Pertanyaan pertama bukan GPU mana yang memiliki skor benchmark tertinggi. Pertanyaan pertama adalah ukuran model, tingkat quantization, dan panjang context apa yang ingin Anda gunakan setiap hari.
Sebagai aturan praktis, 8GB adalah level pemula, 12GB adalah tingkat desktop minimum yang nyaman, 16GB memberikan headroom yang lebih baik, 24GB adalah tingkat konsumen yang kuat, dan 48GB atau lebih adalah titik ketika eksperimen lokal yang lebih besar menjadi jauh lebih mudah. Memori terpadu Apple adalah kategori terpisah karena CPU dan GPU berbagi pool yang sama, tetapi ide yang sama tetap berlaku: memori dan bandwidth yang tersedia menentukan batas sebenarnya.
Level pemula: GPU 8GB hingga 12GB
GPU 8GB dan 12GB dapat berguna untuk model kecil dan menengah, terutama model 3B, 7B, dan beberapa model 14B dalam quantization yang lebih rendah. RTX 3060 12GB tetap menarik karena jumlah VRAM-nya besar untuk kelas harganya. Kartu ini mungkin bukan yang terbaru, tetapi 12GB memberi ruang lebih banyak daripada banyak kartu 8GB ketika tujuannya adalah inference lokal, bukan gaming.
Komprominya adalah kecepatan dan headroom untuk masa depan. GPU yang lebih baru mungkin memiliki kernel, bandwidth, dan efisiensi yang lebih baik, tetapi jika dikirim dengan memori lebih sedikit, mereka tetap bisa lebih buruk untuk model lokal yang besar. Untuk pengguna yang terutama menginginkan chat sederhana, ringkasan, dan bantuan coding ringan, tingkat ini bisa bekerja. Untuk model coding besar atau context panjang, tingkat ini menjadi terbatas.
Sweet spot: GPU 16GB hingga 24GB
16GB adalah tingkat praktis yang kuat karena membuka lebih banyak model 14B dan memungkinkan pengguna mempertahankan lebih banyak headroom context. 24GB adalah tonggak konsumen paling penting karena dapat menangani banyak model quantized yang lebih besar, varian kualitas yang lebih baik, dan use case coding yang lebih berat. Inilah mengapa kartu seperti GPU NVIDIA kelas 24GB populer di komunitas Local LLM.
Pilihan terbaik di tingkat ini bergantung pada harga, daya, risiko pasar bekas, dan dukungan software. NVIDIA biasanya memiliki kompatibilitas inference lokal yang paling luas. AMD dapat bekerja dengan baik di beberapa stack, tetapi mungkin memerlukan perhatian lebih terhadap dukungan backend. Untuk situs rekomendasi publik, antarmuka sebaiknya meminta VRAM dan tipe sistem pengguna terlebih dahulu, lalu menggunakan nama GPU sebagai penyempurnaan opsional, alih-alih memaksa setiap pengguna mengetahui detail hardware yang tepat.
High end: Setup 48GB dan multi-GPU
Setup 48GB dan lebih besar ditujukan untuk pengguna yang menginginkan model lebih besar, quantization lebih tinggi, context lebih panjang, atau eksperimen yang lebih banyak. Tingkat ini lebih toleran karena bobot model dan KV cache tidak langsung menghabiskan seluruh anggaran memori. Ini juga memudahkan perbandingan beberapa keluarga model tanpa terus-menerus turun ke file quantized yang sangat kecil.
Setup multi-GPU lebih kompleks. Setup ini dapat membantu untuk model besar, tetapi performa bergantung pada dukungan backend, interconnect, pembagian layer, dan keseimbangan memori. Rekomendasi web sederhana sebaiknya menghindari janji bahwa dua GPU secara otomatis berperilaku seperti satu pool memori besar yang sempurna. Rekomendasi tersebut sebaiknya menggambarkan hasil multi-GPU sebagai tingkat lanjut dan dengan confidence terbatas kecuali data backend-nya spesifik.
Apa yang penting selain VRAM?
Memory bandwidth memengaruhi kecepatan token karena inference berulang kali membaca bobot model. Dukungan software memengaruhi apakah model dapat berjalan sama sekali. Kematangan driver, dukungan CUDA atau ROCm, Metal di Apple Silicon, backend inference, format file quantization, dan keseimbangan CPU/RAM semuanya penting. GPU tidak dipilih secara terisolasi; GPU berada di dalam stack inference lokal yang lengkap.
Inilah mengapa halaman GPU terbaik tidak sebaiknya menjadi panduan membeli kartu grafis generik. Halaman tersebut sebaiknya memetakan kelas GPU ke hasil Local LLM: ukuran model apa yang muat, quantization apa yang realistis, use case apa yang nyaman, dan kapan pengguna sebaiknya memilih model yang lebih kecil alih-alih membeli lebih banyak hardware.
FAQ
Apakah NVIDIA lebih baik untuk Local LLM? Bagi banyak pengguna, ya, karena dukungan CUDA luas dan banyak proyek inference mengoptimalkan untuk NVIDIA terlebih dahulu.
Apakah VRAM 24GB cukup? Itu adalah tingkat konsumen yang kuat dan cukup untuk banyak model lokal quantized, tetapi tidak untuk setiap model berukuran frontier.
Haruskah saya membeli GPU hanya berdasarkan jumlah parameter? Tidak. Periksa quantization, panjang context, bandwidth, dukungan backend, dan headroom memori.