Mulai dari keluarga model, lalu periksa file yang dapat dijalankan
Local LLM bukan sekadar nama merek seperti Qwen, Llama, Mistral, Gemma, DeepSeek, Phi, atau Yi. Nama tersebut biasanya mengacu pada keluarga model, sementara file yang benar-benar Anda jalankan bisa berupa instruct tune, coding tune, varian vision, konversi GGUF, atau build terkuantisasi yang dibuat oleh publisher komunitas. Dua file dengan keluarga model yang sama dapat berperilaku berbeda karena mungkin menggunakan prompt template, panjang konteks, metode kuantisasi, dan asumsi runtime yang berbeda.
Untuk tool rekomendasi, pertanyaan yang berguna bukan hanya “apakah model ini populer?” Pertanyaan yang lebih baik adalah “varian yang dapat dijalankan mana yang sesuai dengan memori, ekspektasi kecepatan, dan tugas pengguna ini?” Hugging Face dapat menampilkan banyak file untuk model yang sama, dan tool lokal mungkin hanya menampilkan sebagian di antaranya. Karena itu, Local LLM harus memperlakukan identitas model, format file, kuantisasi, dan kecocokan hardware sebagai sinyal terpisah, bukan menggabungkan semuanya menjadi satu nama model.
Jumlah parameter adalah sinyal kualitas kasar, bukan jawaban lengkap
Jumlah parameter memberi gambaran cepat tentang skala. Model 1B atau 3B lebih mudah dijalankan dan dapat berguna untuk chat ringan, penulisan ulang, peringkasan, dan penjelasan kode sederhana. Model 7B atau 8B sering menjadi titik masuk praktis untuk jawaban harian yang lebih kuat. Model 14B biasanya membutuhkan lebih banyak memori tetapi bisa terasa lebih mampu. Model 30B, 70B, dan yang lebih besar bisa jauh lebih baik untuk reasoning atau coding yang sulit, tetapi masuk ke wilayah VRAM tinggi, unified memory besar, atau multi-GPU.
Keterbatasannya adalah jumlah parameter tidak menceritakan semuanya. Model 7B yang lebih baru dapat mengalahkan model 13B yang lebih lama dalam banyak tugas. Model 7B yang di-tune untuk coding dapat lebih berguna untuk pengembangan dibanding model chat umum yang lebih besar. Model MoE menambah kerumitan lain karena total parameter dan parameter aktif berbeda. Karena itu rekomendasi harus menggabungkan kualitas benchmark, use case, parameter aktif, kebutuhan konteks, dan kecocokan memori, bukan sekadar memberi peringkat model terbesar terlebih dahulu.
GGUF, safetensors, dan dukungan tool menentukan apa yang benar-benar bisa Anda jalankan
Banyak pengguna desktop lokal mencari file GGUF karena bekerja dengan baik dengan tool berbasis llama.cpp dan tersedia luas di Hugging Face. GGUF mengemas bobot model dan metadata dalam format yang dirancang untuk inference lokal, dan Hugging Face mendukung penelusuran serta hosting file GGUF. Repository lain menerbitkan bobot safetensors, yang mungkin ditujukan untuk Transformers, vLLM, atau konversi sebelum penggunaan desktop lokal. Keduanya bisa sah, tetapi melayani workflow yang berbeda.
Ini penting bagi pengguna karena halaman model bisa terlihat menarik tetapi tetap tidak praktis untuk dijalankan secara lokal. Ollama, LM Studio, llama.cpp, MLX, Transformers, dan vLLM tidak menyediakan jalur pemuatan model yang sama persis. Hasil rekomendasi yang baik harus menautkan ke halaman sumber, menunjukkan apakah model memiliki file yang ramah lokal, dan menghindari kesan bahwa setiap repository Hugging Face sama mudahnya untuk dijalankan di laptop.
Kuantisasi mengubah penggunaan memori dan kualitas
Kuantisasi mengurangi presisi bobot model sehingga file menjadi lebih kecil dan lebih mudah dimuat. Q8 mendekati kualitas tinggi tetapi menggunakan lebih banyak memori. Q6 dan Q5 sering menjadi titik tengah yang berguna. Q4 adalah titik masuk umum untuk memasukkan model yang lebih besar ke hardware konsumen. Q3 dan yang lebih rendah dapat berguna dalam situasi memori yang ketat, tetapi tradeoff kualitas menjadi lebih terlihat, terutama untuk coding, matematika, penggunaan tool, dan jawaban panjang.
Kuantisasi yang tepat bergantung pada model dan tugas. Jika pengguna meminta chat santai yang cepat, Q4 mungkin dapat diterima. Jika mereka meminta coding atau reasoning yang cermat, Q5, Q6, atau Q8 mungkin sepadan dengan memori tambahan. Jika mereka meminta konteks panjang, file model terkecil saja tidak cukup; sistem tetap membutuhkan memori untuk KV cache dan overhead runtime. Local LLM harus menampilkan kuantisasi yang dipilih dan rincian memori agar pengguna memahami mengapa sebuah rekomendasi cocok.
Panjang konteks, vision, dan tuning khusus mengubah rekomendasi
Panjang konteks bersifat spesifik untuk model, tetapi konteks yang dapat digunakan bersifat spesifik untuk hardware. Sebuah model mungkin mengiklankan context window besar, tetapi KV cache bertambah seiring percakapan atau dokumen menjadi lebih panjang. Memori tambahan itu dapat mendorong model dari eksekusi penuh di GPU menjadi partial CPU offload. Untuk RAG, analisis codebase, atau membaca dokumen panjang, model yang lebih kecil dengan ruang memori lebih longgar bisa lebih baik daripada model lebih besar yang nyaris hanya bisa dimuat.
Kapabilitas khusus juga penting. Model vision membutuhkan image encoder dan dukungan multimodal, sehingga model text-only tidak boleh direkomendasikan untuk tugas gambar meskipun memiliki skor umum yang tinggi. Model coding harus dievaluasi secara berbeda dari model roleplay. Model matematika dan reasoning mungkin membutuhkan ambang kualitas yang lebih hati-hati. Karena itu, model lokal terbaik adalah kecocokan antara kapabilitas model, varian file, kuantisasi, target konteks, dan hardware pengguna.
FAQ
Apakah model GGUF selalu lebih baik untuk Local LLM? Tidak selalu. GGUF sangat praktis untuk inference lokal bergaya llama.cpp, tetapi safetensors atau format lain bisa lebih baik untuk workflow server, training, atau runtime khusus.
Haruskah saya memilih model terbesar yang muat? Tidak otomatis. Jika nyaris muat, kecepatan dan stabilitas konteks bisa buruk. Model yang sedikit lebih kecil dengan Q5 atau Q6 dan ruang memori yang cukup dapat terasa lebih baik dalam penggunaan harian.
Mengapa tool berbeda merekomendasikan model yang berbeda? Mereka mungkin mendukung format, tingkat kuantisasi, backend GPU, default konteks, dan katalog model yang berbeda. Dukungan tool adalah bagian dari rekomendasi.
Bagaimana saya harus menggunakan Local LLM setelah membaca ini? Masukkan VRAM, RAM, sistem operasi, use case, dan preferensi Anda. Tool kemudian dapat memberi peringkat varian model terkini, bukan memaksa Anda menghafal nama model.