Jawaban singkatnya: pilihan LLM lokal adalah pilihan perangkat keras
Sebagian besar pertanyaan LLM lokal pada akhirnya kembali ke perangkat keras. Model harus sesuai dengan memori yang tersedia, berjalan pada kecepatan yang dapat digunakan, dan sesuai dengan tugas. Model yang unggul dalam benchmark tetapi tidak nyaman di komputer Anda bukanlah rekomendasi yang baik untuk Anda. Model yang lebih kecil dan pas mungkin merupakan jawaban harian yang lebih baik.
FAQ ini dirancang untuk pengguna yang akan mengunduh model dan menginginkan jawaban yang jelas terlebih dahulu. Ini mencakup VRAM, RAM, kuantisasi, alat, privasi, kecepatan, penggunaan offline, dan perbedaan antara model yang dimuat secara teknis dan model yang menyenangkan untuk digunakan.
Berapa banyak VRAM yang saya perlukan?
Tidak ada satu nomor VRAM untuk setiap LLM lokal. 6GB hingga 8GB dapat menjalankan model terkuantisasi kecil. 12GB hingga 16GB lebih nyaman untuk banyak alur kerja 7B dan beberapa 14B. 24GB membuka model pengkodean dan penalaran lokal yang lebih kuat. 48GB dan yang lebih baru memberikan lebih banyak ruang untuk model besar, kuantisasi lebih tinggi, dan konteks lebih panjang.
VRAM tidak hanya untuk anak timbangan model. KV cache, overhead runtime, penggunaan tampilan, dan penggunaan memori GPU lainnya juga penting. Konteks yang panjang meningkatkan tekanan memori. Inilah sebabnya mengapa suatu model mungkin cocok pada pengaturan konteks pendek namun gagal atau melambat ketika jendela konteks dimunculkan.
Bisakah saya menjalankan LLM lokal tanpa GPU?
Ya, tapi ekspektasi harus realistis. CPU-hanya LLM lokal yang dapat berfungsi untuk model kecil, pengujian, permintaan sesekali, dan tugas offline pribadi. Biasanya terasa lebih lambat dibandingkan inferensi yang didukung GPU, terutama untuk model yang lebih besar atau respons yang panjang. Sistem RAM dan bandwidth memori menjadi batasan utama.
Jika Anda hanya memiliki CPU, pilih model kecil, kuantisasi konservatif, dan konteks sederhana. Jika Anda berencana menggunakan LLM lokal setiap hari untuk coding atau percakapan panjang, sistem GPU atau Apple Silicon biasanya akan terasa jauh lebih baik.
Apa yang dimaksud dengan Q4, Q5, Q6, dan Q8?
Label ini menjelaskan varian model terkuantisasi. Kuantisasi yang lebih rendah biasanya menggunakan lebih sedikit memori dan memuat lebih banyak perangkat. Kuantisasi yang lebih tinggi biasanya mempertahankan kualitas yang lebih baik tetapi membutuhkan lebih banyak memori. Q4 sering kali menjadi titik masuk, Q5 dan Q6 merupakan pengorbanan harian yang umum, dan Q8 berguna ketika Anda memiliki cukup memori dan menginginkan lebih sedikit kehilangan kualitas.
Kuantisasi terbaik bergantung pada tugasnya. Menulis dan mengobrol mungkin lebih tahan terhadap kuantisasi yang lebih rendah daripada pengkodean atau penalaran yang sulit. Pekerjaan konteks panjang mungkin lebih memilih varian yang lebih kecil sehingga ada cukup memori tersisa untuk KV cache. Rekomendasi harus menunjukkan varian sebenarnya, bukan hanya model keluarga.
Apakah LLM lokal bersifat pribadi dan offline?
Local LLMs bisa lebih pribadi karena perintah dan file dapat tetap ada di mesin Anda setelah model diunduh. Mereka juga dapat bekerja secara offline jika file runtime dan model sudah diinstal. Ini berguna untuk catatan pribadi, kode yang tidak dipublikasikan, perjalanan, dan alur kerja di mana akses cloud tidak dapat diandalkan.
Privasi tidak otomatis. Anda masih perlu memercayai sumber model, memeriksa lisensi, menghindari memaparkan server lokal ke internet publik, dan memahami apakah ada alat yang terhubung yang menyinkronkan log atau perintah. Kontrol lokal mengurangi ketergantungan pada penyedia cloud, namun tidak menghilangkan tanggung jawab operasional.
Pertanyaan Umum
Alat mana yang harus saya gunakan pertama kali? LM Studio adalah titik awal grafis yang bagus, Ollama adalah baris perintah yang baik dan titik awal API lokal, dan llama.cpp sangat berguna ketika Anda menginginkan kontrol tingkat rendah.
Mengapa model saya berjalan lambat? Mungkin terlalu besar, menggunakan offload CPU, berjalan dengan terlalu banyak konteks, atau dibatasi oleh bandwidth memori daripada komputasi mentah.
Apakah unduhan dan suka cukup untuk memilih model? Tidak. Model tersebut menunjukkan minat komunitas, bukan apakah model tersebut sesuai dengan perangkat keras atau tugas Anda.
Apa yang harus saya lakukan selanjutnya? Gunakan Local LLM untuk memasukkan perangkat keras dan tugas Anda, lalu buka halaman Hugging Face yang direkomendasikan sebelum mengunduh.