GPU adlarıyla değil, Apple unified memory ile başlayın
macOS’te en önemli donanım değeri genellikle unified memory miktarıdır. Apple Silicon belleği CPU, GPU, sistem, uygulamalar ve yerel çıkarım çalışma zamanı arasında paylaşır; bu nedenle 16GB, 32GB, 64GB veya 128GB bir Mac, bu belleğin tamamını model ağırlıklarına ayırmaz. macOS, tarayıcı, geliştirici araçları ve çıkarım backend’i de alana ihtiyaç duyar. Bu, VRAM’in ayrı bir havuz olduğu ayrık GPU’lu bir Windows veya Linux masaüstünden farklıdır.
local LLM önerileri için bu, Mac kullanıcılarının bellek değerlerini PC VRAM ile doğrudan karşılaştırmaması gerektiği anlamına gelir. 32GB bir Mac oldukça yetenekli olabilir, ancak yine de KV cache ve aktif uygulamalar için bellek payı bırakması gerekir. 64GB veya 128GB bir Mac daha büyük modellere, daha yüksek quantization seviyelerine ve daha uzun context’e kapı açar; yine de en iyi sonuç kullanım senaryosuna bağlıdır. Kodlama, yazma, RAG, roleplay ve vision iş yükleri farklı modelleri tercih edebilir.
İş akışınıza uyan macOS aracını seçin
Yerel komut satırı iş akışı veya diğer uygulamaların çağırabileceği yerel bir API istediğinizde Ollama basit bir başlangıç noktasıdır. LM Studio, grafik model tarayıcısı, sohbet arayüzü, yerel sunucu modu ve Apple Silicon desteğini tek bir masaüstü uygulamasında isteyen kullanıcılar için daha kullanıcı dostudur. llama.cpp daha tekniktir, ancak birçok GGUF tabanlı yerel çıkarım iş akışının arkasındaki temel motorlardan biri olmaya devam eder ve Metal ile ilgili framework’ler üzerinden Apple Silicon optimizasyon yolları içerir.
Her Mac kullanıcısı için tek bir en iyi araç yoktur. Amaç gündelik sohbetse, LM Studio en hızlı yol olabilir. Amaç yerel bir modeli başka bir uygulamaya bağlamaksa, Ollama veya LM Studio sunucu modu uygun olabilir. Amaç belirli GGUF dosyalarını, context ayarlarını veya düşük seviye çalışma zamanı bayraklarını test etmekse, llama.cpp daha fazla kontrol sağlar. Model önerisi önce kullanıcıları çalıştırılabilir bir modele yönlendirmeli, ardından kullanıcının tercih ettiği arayüzü seçmesine izin vermelidir.
MLX, Metal ve GGUF yığının farklı parçalarıdır
Mac kullanıcıları MLX, Metal, GGUF ve llama.cpp’nin birlikte tartışıldığını sıkça görür, ancak bunlar aynı şey değildir. Metal, Apple’ın GPU framework’üdür. MLX, bazı araçların Apple Silicon modelleri için kullandığı Apple odaklı bir makine öğrenimi framework’üdür. GGUF, llama.cpp tarzı çıkarımda yaygın olarak kullanılan bir model dosya formatıdır. Bir model Hugging Face üzerinde cazip görünebilir, ancak kullanıcının seçtiği format ve çalışma zamanına bağlı olarak çalıştırması daha kolay veya daha zor olabilir.
Bu nedenle Local LLM yalnızca “bu model iyi” dememelidir. Model varyantının yerel kullanım için pratik olup olmadığını, ne kadar bellek gerektirdiğini ve seçilen quantization seviyesinin yeterli pay bırakıp bırakmadığını göstermelidir. 16GB unified memory’ye sahip bir Mac kullanıcısı daha küçük bir Q4 veya Q5 modeli tercih edebilir. 64GB bir Mac daha büyük modelleri değerlendirebilir, ancak uzun context ve arka plan uygulamaları yine de kararlılığı etkiler.
macOS local LLM’ler için bellek kademeleri
8GB unified memory ile local LLM kullanımı çok muhafazakâr kalmalıdır. Küçük modeller deneme için çalışabilir, ancak sistemin çok az boş alanı vardır. 16GB ile küçük ve bazı 7B sınıfı quantized modeller daha gerçekçi hale gelir. 24GB veya 32GB ile günlük yerel sohbet, kodlama yardımı ve özetleme daha rahat hale gelir. 64GB veya 128GB ile daha büyük modeller, daha iyi quantization ve daha uzun context pratik hale gelir, ancak bu otomatik değildir.
Önemli olan en büyük modeli en iyi model gibi görmemektir. Yeterli payla sığan bir 14B kodlama modeli, belleği sürekli zorlayan daha büyük bir modelden daha iyi hissettirebilir. Küçük bir yazma modeli taslaklar için yeterli olabilir. Bir vision modeli ekstra görüntü işleme bileşenlerine ihtiyaç duyar. Local LLM önce donanıma, sonra kullanım senaryosuna, ardından kalite tercihine göre filtreleme yapmalıdır.
Güvenli bir macOS kurulum akışı
Güvenli bir kurulum akışı basittir: unified memory miktarını kontrol edin, yerel bir araç seçin, açıkça sığan bir modelle başlayın, kısa prompt’ları test edin, ardından context veya kaliteyi yalnızca temel seviye kararlı olduktan sonra artırın. Bir leaderboard’daki en büyük modelle başlamayın. 128GB bir Mac’te gösterilen bir modelin 16GB MacBook Air üzerinde rahat çalışacağını varsaymayın. Sistemin geri kalanı için yeterli belleği boş bırakın.
Geliştiriciler için, yerel model sunucuları bir ağda açığa çıkarmak için bilinçli bir neden olmadıkça genellikle localhost’a bağlı kalmalıdır. Normal kullanıcılar için en kullanışlı yol, Local LLM üzerinden bir model seçmek, dosyaları ve lisans koşullarını incelemek için Hugging Face sayfasını açmak ve modeli formatı destekleyen bir araçta yüklemektir. Bu, boşa indirmeleri azaltır ve sorun gidermeyi kolaylaştırır.
SSS
Bir MacBook local LLM çalıştırabilir mi? Evet, özellikle Apple Silicon Mac’ler çalıştırabilir, ancak model boyutu ve quantization unified memory ile uyumlu olmalıdır. 8GB sınırlıdır, 16GB giriş seviyesidir ve 32GB veya üzeri daha rahattır.
Apple unified memory, VRAM ile aynı şey mi? Hayır. CPU, GPU, macOS, uygulamalar ve çıkarım çalışma zamanı tarafından paylaşılır. Güçlü olabilir, ancak tamamı model ağırlıkları için kullanılabilir değildir.
Mac’te Ollama mı yoksa LM Studio mu kullanmalıyım? Ollama komut satırı ve API iş akışları için kullanışlıdır. LM Studio grafik model tarayıcısı ve sohbet arayüzü için kullanışlıdır. llama.cpp gelişmiş kontrol için en iyisidir.
Bir modeli nasıl seçmeliyim? Mac belleğinizi, kullanım senaryonuzu ve kalite tercihinizi Local LLM’e girin. Araç, büyük dosyaları indirmeden önce mevcut model varyantlarını filtreleyebilir.