Mulailah dengan memori terpadu Apple, bukan nama GPU
Di macOS, angka hardware paling penting biasanya adalah memori terpadu. Apple Silicon berbagi memori antara CPU, GPU, sistem, aplikasi, dan runtime inferensi lokal, jadi Mac 16GB, 32GB, 64GB, atau 128GB tidak memberikan seluruh memori tersebut untuk bobot model. macOS, browser, tools developer, dan backend inferensi semuanya membutuhkan ruang. Ini berbeda dari desktop Windows atau Linux dengan GPU diskrit, di mana VRAM adalah pool terpisah.
Untuk rekomendasi Local LLM, ini berarti pengguna Mac tidak boleh membandingkan angka memori mereka secara langsung dengan VRAM PC. Mac 32GB bisa sangat mumpuni, tetapi tetap membutuhkan margin memori untuk KV cache dan aplikasi aktif. Mac 64GB atau 128GB membuka peluang untuk model yang lebih besar, quantization yang lebih tinggi, dan konteks yang lebih panjang, tetapi hasil terbaik tetap bergantung pada use case. Beban kerja coding, menulis, RAG, roleplay, dan vision dapat lebih cocok dengan model yang berbeda.
Pilih tool macOS yang sesuai dengan workflow Anda
Ollama adalah titik awal yang sederhana ketika Anda menginginkan workflow command-line lokal atau API lokal yang bisa dipanggil aplikasi lain. LM Studio lebih ramah bagi pengguna yang menginginkan browser model grafis, antarmuka chat, mode server lokal, dan dukungan Apple Silicon dalam satu aplikasi desktop. llama.cpp lebih teknis, tetapi masih menjadi salah satu engine inti di balik banyak workflow inferensi lokal berbasis GGUF dan mencakup jalur optimasi Apple Silicon melalui Metal serta framework terkait.
Tidak ada satu tool terbaik untuk setiap pengguna Mac. Jika tujuannya adalah chat kasual, LM Studio mungkin menjadi jalur tercepat. Jika tujuannya adalah menghubungkan model lokal ke aplikasi lain, Ollama atau mode server LM Studio mungkin cocok. Jika tujuannya adalah menguji file GGUF tertentu, pengaturan konteks, atau flag runtime level rendah, llama.cpp memberikan lebih banyak kontrol. Rekomendasi model harus mengarahkan pengguna ke model yang dapat dijalankan terlebih dahulu, lalu membiarkan pengguna memilih antarmuka yang mereka sukai.
MLX, Metal, dan GGUF adalah bagian stack yang berbeda
Pengguna Mac sering melihat MLX, Metal, GGUF, dan llama.cpp dibahas bersama, tetapi semuanya bukan hal yang sama. Metal adalah framework GPU Apple. MLX adalah framework machine learning berorientasi Apple yang digunakan beberapa tool untuk model Apple Silicon. GGUF adalah format file model yang umum digunakan oleh inferensi bergaya llama.cpp. Sebuah model bisa terlihat menarik di Hugging Face tetapi tetap lebih mudah atau lebih sulit dijalankan tergantung format dan runtime yang dipilih pengguna.
Inilah mengapa Local LLM tidak boleh hanya mengatakan “model ini bagus.” Local LLM harus menunjukkan apakah varian model tersebut praktis untuk penggunaan lokal, berapa banyak memori yang dibutuhkan, dan apakah quantization yang dipilih menyisakan headroom yang cukup. Pengguna Mac dengan memori terpadu 16GB mungkin lebih cocok memilih model Q4 atau Q5 yang lebih kecil. Mac 64GB dapat mempertimbangkan model yang lebih besar, tetapi konteks panjang dan aplikasi latar belakang tetap memengaruhi stabilitas.
Tingkatan memori untuk local LLM di macOS
Dengan memori terpadu 8GB, penggunaan local LLM harus tetap sangat konservatif. Model kecil bisa digunakan untuk eksperimen, tetapi sistem memiliki ruang yang terbatas. Dengan 16GB, model kecil dan sebagian model quantized kelas 7B menjadi lebih realistis. Dengan 24GB atau 32GB, chat lokal harian, bantuan coding, dan peringkasan menjadi lebih nyaman. Dengan 64GB atau 128GB, model yang lebih besar, quantization yang lebih baik, dan konteks yang lebih panjang menjadi praktis, meskipun tidak otomatis.
Kuncinya adalah menghindari anggapan bahwa model terbesar adalah model terbaik. Model coding 14B yang muat dengan margin dapat terasa lebih baik daripada model yang lebih besar tetapi terus menekan memori. Model menulis kecil bisa cukup untuk draf. Model vision membutuhkan komponen pemrosesan gambar tambahan. Local LLM harus memfilter berdasarkan hardware terlebih dahulu, lalu use case, lalu preferensi kualitas.
Alur setup macOS yang aman
Alur setup yang aman itu sederhana: periksa memori terpadu, pilih tool lokal, mulai dengan model yang jelas muat, uji prompt pendek, lalu tingkatkan konteks atau kualitas hanya setelah baseline stabil. Jangan mulai dengan model terbesar di leaderboard. Jangan berasumsi bahwa model yang ditampilkan di Mac 128GB akan nyaman di MacBook Air 16GB. Sisakan memori yang cukup untuk bagian sistem lainnya.
Untuk developer, server model lokal biasanya sebaiknya tetap diikat ke localhost kecuali ada alasan yang disengaja untuk mengeksposnya di jaringan. Untuk pengguna biasa, jalur paling berguna adalah memilih model melalui Local LLM, membuka halaman Hugging Face untuk memeriksa file dan ketentuan lisensi, lalu memuat model di tool yang mendukung format tersebut. Ini mengurangi unduhan yang sia-sia dan membuat troubleshooting lebih mudah.
FAQ
Bisakah MacBook menjalankan local LLM? Ya, terutama Mac Apple Silicon, tetapi ukuran model dan quantization harus sesuai dengan memori terpadu. 8GB terbatas, 16GB adalah level awal, dan 32GB atau lebih lebih nyaman.
Apakah memori terpadu Apple sama dengan VRAM? Tidak. Memori ini dibagi oleh CPU, GPU, macOS, aplikasi, dan runtime inferensi. Memori ini bisa sangat kuat, tetapi tidak semuanya tersedia untuk bobot model.
Haruskah saya menggunakan Ollama atau LM Studio di Mac? Ollama nyaman untuk workflow command-line dan API. LM Studio nyaman untuk browser model grafis dan antarmuka chat. llama.cpp paling cocok untuk kontrol tingkat lanjut.
Bagaimana cara memilih model? Masukkan memori Mac, use case, dan preferensi kualitas Anda di Local LLM. Tool tersebut dapat memfilter varian model terkini sebelum Anda mengunduh file besar.