Önce model ailesiyle başlayın, ardından çalıştırılabilir dosyayı kontrol edin
Bir local LLM yalnızca Qwen, Llama, Mistral, Gemma, DeepSeek, Phi veya Yi gibi bir marka adı değildir. Ad genellikle bir model ailesini işaret eder; gerçekten çalıştırdığınız dosya ise bir instruct tune, coding tune, vision varyantı, GGUF dönüşümü veya topluluk tarafından yayımlanmış quantized build olabilir. Aynı model ailesine sahip iki dosya, farklı prompt template’leri, context uzunlukları, quantization yöntemleri ve runtime varsayımları kullanabildiği için farklı davranabilir.
Bir öneri aracı için yararlı soru yalnızca “bu model popüler mi?” değildir. Daha iyi soru şudur: “Hangi çalıştırılabilir varyant bu kullanıcının bellek kapasitesine, hız beklentisine ve görevine uyuyor?” Hugging Face aynı model için birçok dosya gösterebilir ve yerel araçlar bunların yalnızca bir kısmını sunabilir. Bu nedenle Local LLM, her şeyi tek bir model adına indirgemek yerine model kimliğini, dosya formatını, quantization’ı ve donanım uyumunu ayrı sinyaller olarak ele almalıdır.
Parametre sayısı kaba bir kalite sinyalidir, tam cevap değildir
Parametre sayısı ölçeği hızlıca anlamayı sağlar. 1B veya 3B bir model daha kolay çalışır ve hafif sohbet, yeniden yazma, özetleme ve basit kod açıklama için yararlı olabilir. 7B veya 8B bir model genellikle daha güçlü günlük yanıtlar için pratik başlangıç noktasıdır. 14B bir model genellikle daha fazla bellek ister ama daha yetenekli hissettirebilir. 30B, 70B ve daha büyük modeller zor akıl yürütme veya kodlama için çok daha iyi olabilir, ancak yüksek VRAM, büyük unified memory veya multi-GPU alanına girerler.
Sınırlama şudur: Parametre sayısı tüm hikâyeyi anlatmaz. Daha yeni bir 7B model, birçok görevde eski bir 13B modeli geçebilir. Coding-tuned bir 7B model, geliştirme için daha büyük bir genel sohbet modelinden daha yararlı olabilir. MoE modelleri başka bir karmaşıklık ekler çünkü toplam parametreler ve aktif parametreler farklıdır. Bu yüzden öneriler, en büyük modeli en üste koymak yerine benchmark kalitesini, kullanım senaryosunu, aktif parametreleri, context gereksinimlerini ve bellek uyumunu birleştirmelidir.
GGUF, safetensors ve araç desteği gerçekten ne çalıştırabileceğinizi belirler
Birçok yerel masaüstü kullanıcısı GGUF dosyalarını arar çünkü bunlar llama.cpp tabanlı araçlarla iyi çalışır ve Hugging Face üzerinde yaygın olarak bulunur. GGUF, model ağırlıklarını ve metadata’yı yerel inference için tasarlanmış bir formatta paketler; Hugging Face de GGUF dosyalarını gezmeyi ve barındırmayı destekler. Diğer depolar safetensors ağırlıkları yayımlar; bunlar Transformers, vLLM veya yerel masaüstü kullanımı öncesi dönüştürme için amaçlanmış olabilir. İkisi de geçerli olabilir, ancak farklı workflow’lara hizmet eder.
Bu kullanıcılar için önemlidir çünkü bir model sayfası çekici görünebilir ama yerelde çalıştırması hâlâ zahmetli olabilir. Ollama, LM Studio, llama.cpp, MLX, Transformers ve vLLM tamamen aynı model yükleme yolunu sunmaz. İyi bir öneri sonucu kaynak sayfaya yönlendirmeli, modelin local-friendly bir dosyası olup olmadığını göstermeli ve her Hugging Face deposunun bir laptop’ta eşit derecede kolay çalıştırılabileceğini ima etmekten kaçınmalıdır.
Quantization bellek kullanımını ve kaliteyi değiştirir
Quantization, model ağırlıklarının precision’ını azaltarak dosyayı daha küçük ve yüklemesi daha kolay hâle getirir. Q8 yüksek kaliteye yakındır ancak daha fazla bellek kullanır. Q6 ve Q5 çoğu zaman kullanışlı bir orta noktadır. Q4, daha büyük modelleri tüketici donanımına sığdırmak için yaygın başlangıç noktasıdır. Q3 ve altı dar bellek durumlarında yararlı olabilir, ancak özellikle kodlama, matematik, araç kullanımı ve uzun yanıtlar için kalite ödünleşimi daha görünür hâle gelir.
Doğru quantization hem modele hem de göreve bağlıdır. Kullanıcı hızlı ve gündelik sohbet istiyorsa Q4 kabul edilebilir olabilir. Kodlama veya dikkatli akıl yürütme istiyorsa Q5, Q6 veya Q8 ekstra belleğe değebilir. Uzun context istiyorsa en küçük model dosyası tek başına yeterli değildir; sistemin KV cache ve runtime overhead için de belleğe ihtiyacı vardır. Local LLM, seçilen quantization’ı ve bellek dökümünü göstermelidir ki kullanıcılar bir önerinin neden uygun olduğunu anlayabilsin.
Context uzunluğu, vision ve özel tuning öneriyi değiştirir
Context uzunluğu modele özeldir, ancak kullanılabilir context donanıma bağlıdır. Bir model büyük bir context window duyurabilir; yine de konuşma veya belge uzadıkça KV cache büyür. Bu ek bellek, bir modeli tam GPU çalıştırmadan kısmi CPU offload’a itebilir. RAG, codebase analizi veya uzun belge okuma için daha fazla bellek payına sahip daha küçük bir model, zar zor yüklenen daha büyük bir modelden daha iyi olabilir.
Özelleşmiş yetenekler de önemlidir. Vision modelleri image encoder’lara ve multimodal desteğe ihtiyaç duyar; bu yüzden yalnızca metin modeli, genel puanı yüksek olsa bile görüntü görevleri için önerilmemelidir. Coding modelleri roleplay modellerinden farklı değerlendirilmelidir. Matematik ve akıl yürütme modelleri daha dikkatli kalite eşiklerine ihtiyaç duyabilir. Bu nedenle en iyi yerel model; model yeteneği, dosya varyantı, quantization, context hedefi ve kullanıcının donanımı arasındaki eşleşmedir.
SSS
GGUF modelleri local LLM’ler için her zaman daha mı iyidir? Her zaman değil. GGUF, llama.cpp tarzı yerel inference için çok kullanışlıdır, ancak safetensors veya diğer formatlar sunucu workflow’ları, eğitim veya özel runtime’lar için daha iyi olabilir.
Sığan en büyük modeli mi seçmeliyim? Otomatik olarak hayır. Zar zor sığıyorsa hız ve context kararlılığı kötü olabilir. Q5 veya Q6 ile biraz daha küçük ve yeterli bellek payına sahip bir model günlük kullanımda daha iyi hissettirebilir.
Farklı araçlar neden farklı modeller öneriyor? Farklı formatları, quantization seviyelerini, GPU backend’lerini, context varsayılanlarını ve model kataloglarını destekliyor olabilirler. Araç desteği önerinin bir parçasıdır.
Bunu okuduktan sonra Local LLM’i nasıl kullanmalıyım? VRAM, RAM, işletim sistemi, kullanım senaryosu ve tercihinizi girin. Araç daha sonra sizi model adlarını ezberlemeye zorlamak yerine güncel model varyantlarını sıralayabilir.