Mulailah dari hardware, bukan hype model
Cara tercepat untuk memilih Local LLM adalah memulai dari mesin yang sudah Anda miliki. Popularitas model memang penting, tetapi model yang tidak bisa dimuat atau berjalan pada kecepatan yang tidak dapat digunakan tidaklah membantu. Input pertama adalah VRAM, RAM sistem, sistem operasi, apakah memorinya unified, dan apakah Anda bersedia menggunakan CPU offload. Baru setelah itu Anda sebaiknya membandingkan keluarga model.
Alur rekomendasi Local LLM yang baik memisahkan tiga pertanyaan: apakah model bisa dimuat, apakah akan nyaman digunakan, dan apakah model cocok untuk tugasnya. Pemuatan bergantung pada weights, quantization, KV cache, dan overhead runtime. Kegunaan bergantung pada kecepatan dan stabilitas. Kesesuaian tugas bergantung pada apakah model di-tuning untuk coding, chat umum, matematika, vision, atau pekerjaan long-context.
Pilih use case sebelum memilih model terbesar
Tugas yang berbeda memberi keuntungan pada model yang berbeda. Tugas coding membutuhkan pelatihan kode, pemahaman repository, kemampuan mengikuti instruksi, dan formatting yang stabil. Tugas menulis membutuhkan kontrol nada dan koherensi long-form. Tugas vision membutuhkan arsitektur multimodal dan image encoder. Tugas matematika atau reasoning mungkin membutuhkan keluarga model yang di-tuning untuk pemecahan masalah langkah demi langkah.
Inilah mengapa hardware yang sama dapat menghasilkan rekomendasi berbeda ketika pengguna beralih dari General ke Coding atau Vision. Situs tidak boleh sekadar memberi peringkat berdasarkan downloads atau jumlah parameter. Situs harus terlebih dahulu memfilter model yang cocok dengan hardware, lalu memberi peringkat pada opsi yang tersisa berdasarkan use case dan preferensi.
Pahami peran quantization
Sebagian besar pengguna lokal menjalankan model quantized alih-alih weights full precision. Quantization mengurangi penggunaan memori dan membuat model praktis di hardware konsumen. Q4 sering menjadi opsi yang mengutamakan kecocokan, Q5 dan Q6 dapat meningkatkan kualitas dengan biaya memori lebih besar, dan Q8 lebih dekat ke kualitas penuh tetapi jauh lebih berat. Pilihan yang tepat bergantung pada seberapa banyak headroom yang tersisa setelah weights dan KV cache.
Frasa "apa yang bisa saya jalankan" karena itu tidak memiliki satu jawaban untuk setiap model. Sebuah model mungkin dapat dijalankan dalam Q4 tetapi tidak Q8, dapat digunakan pada konteks 4K tetapi tidak 32K, atau baik-baik saja pada full GPU tetapi lambat dengan offload. Halaman rekomendasi yang berguna harus menampilkan quantization yang dipilih dan rincian memori, bukan hanya nama model.
Setup Mac, Windows, Linux, dan CPU-only berbeda
Pengguna Windows dan Linux dengan GPU diskret biasanya memikirkan VRAM terlebih dahulu. Pengguna Apple Silicon memikirkan unified memory, karena GPU dan CPU berbagi pool memori yang sama. Pengguna CPU-only perlu lebih konservatif lagi karena memori sistem mungkin besar tetapi kecepatan token bisa rendah. Angka 32GB yang sama memiliki arti berbeda di berbagai setup ini.
Sebuah tool harus mencerminkan perbedaan itu. Di Mac, tool harus menyisihkan memori untuk macOS dan aplikasi. Pada GPU diskret, tool harus menyisihkan VRAM untuk display, overhead framework, dan KV cache. Pada mesin CPU-only, tool harus merekomendasikan model kecil dan menetapkan ekspektasi seputar kecepatan, alih-alih berpura-pura bahwa RAM sistem saja menyelesaikan semuanya.
Alur keputusan yang praktis
Pertama, masukkan VRAM atau unified memory Anda. Kedua, pilih sistem operasi Anda. Ketiga, pilih use case. Keempat, pilih preferensi: kualitas, kecocokan seimbang, atau context headroom. Lalu tinjau hanya model yang kompatibel. Jika hasilnya terlalu kecil, tingkatkan memori atau terima offload. Jika hasilnya terlalu lambat, prioritaskan model full-GPU yang lebih kecil.
Pendekatan ini mencegah pengguna menyalin rekomendasi model acak dari media sosial. Rekomendasi yang berfungsi pada GPU 24GB mungkin salah untuk laptop 8GB. Model yang sangat baik untuk coding mungkin tidak diperlukan untuk penulisan kasual. Local LLM harus mengubah tradeoff ini menjadi daftar peringkat yang jelas dengan tautan Hugging Face ke halaman model yang sebenarnya.
FAQ
Bisakah saya menjalankan Local LLM tanpa GPU? Ya, tetapi biasanya dengan model yang lebih kecil dan kecepatan lebih rendah. CPU-only paling cocok untuk pengujian, catatan yang sensitif terhadap privasi, atau tugas offline ringan.
Apakah saya harus selalu memilih model terbesar yang muat? Tidak. Model yang lebih kecil dengan kecocokan full-GPU bisa lebih cepat dan lebih nyaman daripada model yang lebih besar yang nyaris tidak muat.
Mengapa rekomendasi berubah dari waktu ke waktu? File model Hugging Face, downloads, quantizations, dan rilis komunitas sering berubah, jadi data model yang di-cache harus diperbarui secara berkala.