Liderlik tablosuyla değil, bilgisayarınızla başlayın
Yerel olarak çalıştırılacak en iyi LLM, herkese açık bir benchmark’ta en üst sıradaki modelden ibaret değildir. Yerel çıkarımın katı bir kısıtı vardır: model, makinenizde yüklenmeli ve kullanılabilir bir hızda yanıt vermelidir. 8GB VRAM’li bir dizüstü bilgisayar, 24GB VRAM’li bir masaüstü ve 64GB birleşik belleğe sahip bir Mac aynı yanıtı almamalıdır. Donanım, kalite sıralaması başlamadan önce aday kümesini değiştirir.
Bu, bir cloud LLM seçmek ile yerel bir model seçmek arasındaki temel farktır. Cloud modeller altyapıyı bir API arkasında gizler. Yerel modeller ise ödünleşimi doğrudan ortaya koyar: ağırlıklar, quantization, KV cache, bağlam uzunluğu, GPU arka ucu, bellek bant genişliği ve çalışma zamanı ek yükü. En iyi öneri önce ne çalıştırabileceğinizi sorarak başlar, ardından ne yapmak istediğinizi sorar.
6GB ile 8GB VRAM için küçük ve kararlı kalın
6GB veya 8GB GPU, local LLM’ler için hâlâ yararlı olabilir, ancak beklentiler gerçekçi olmalıdır. Küçük modeller ve dikkatle quantize edilmiş 3B, 4B, 7B veya 8B varyantları pratik bölgedir. Daha büyük küçük modellerin sığması için Q4 gerekebilir; daha küçük olanlar için Q5 veya Q6 mümkün olabilir. Uzun bağlam ve vision modelleri konfor alanını hızla aşabilir.
Bu makineler için en iyi local LLM genellikle yeterli pay bırakarak tamamen GPU üzerinde çalışan modeldir. Listedeki en büyük model olmayabilir. Duyarlı, kararlı ve göreve uygun olmalıdır. Kodlama için, kodlama odaklı daha küçük bir model parçacıklar ve açıklamalar konusunda yardımcı olabilir. Yazım için, küçük bir instruction modeli taslaklar ve yeniden yazımlar için yeterli olabilir.
12GB ile 24GB VRAM için kalite ve payı dengeleyin
12GB GPU, birçok 7B modeli ve bazı quantize edilmiş 14B varyantları için daha rahat bir başlangıç noktasıdır. 16GB GPU, bağlam ve daha yüksek quantization için daha iyi alan sağlar. 24GB GPU, daha iyi kodlama, yazım ve reasoning modellerinin daha pratik hale geldiği güçlü bir tüketici seviyesidir. Bu aralık, birçok aday sığabildiği için öneri kalitesinin daha fazla önem kazanmaya başladığı yerdir.
Bu seviyede yerel olarak çalıştırılacak en iyi LLM, kullanım senaryosuna büyük ölçüde bağlıdır. Kodlama, kod için ayarlanmış ve dosyalar için yeterli bağlama sahip bir modeli tercih edebilir. Genel yazım, akıcılık ve hıza öncelik verebilir. Reasoning daha güçlü kalite sinyallerine ihtiyaç duyabilir. Vision görevleri multimodal destek gerektirir. Aynı GPU birkaç farklı en iyi seçimi destekleyebildiğinde, bir araç tek bir evrensel yanıt göstermemelidir.
Apple Silicon ve büyük belleğe sahip makineler için kapasiteyi akıllıca kullanın
Apple Silicon Mac’ler birleşik bellek kullanır; bu nedenle CPU, GPU, işletim sistemi ve uygulamalar aynı havuzu paylaşır. 32GB, 64GB veya 128GB Mac, local LLM çalışmaları için güçlü olabilir, ancak belleğin tamamı model ağırlıkları için kullanılabilir değildir. Daha büyük birleşik bellek daha büyük modellere, daha yüksek quantization’a veya daha uzun bağlama olanak tanır, ancak en iyi öneri yine de güvenlik payı gerektirir.
Büyük belleğe sahip masaüstleri ve iş istasyonlarında aynı sorun farklı bir biçimde bulunur. Daha fazla kapasite aday listesini genişletir, ancak bu en büyük modelin her zaman en iyisi olduğu anlamına gelmez. Hız, aktif parametreler, bağlam hedefi, model ayarı ve araç desteği hâlâ önemlidir. Doğru yanıt, kararlı bir çalışma zamanı yapılandırması içinde en iyi kullanılabilir kaliteyi veren modeldir.
Gizlilik, çevrimdışı kullanım ve bakımı göz ardı etmeyin
Bir LLM’yi yerel olarak çalıştırmak, prompt’ları makinenizde tutabilir ve model dosyaları indirildikten sonra çevrimdışı çalışabilir. Bu, özel notlar, hassas taslaklar, seyahat, geliştirme deneyleri ve her prompt’un bir cloud API’ye gönderilmesini istemeyen kullanıcılar için değerlidir. Ancak yerel olmak otomatik olarak risksiz olmak anlamına gelmez. Kullanıcıların yine de lisansları, model kökenini, araç ayarlarını ve yerel sunucu erişimini incelemesi gerekir.
Bakım da seçimin bir parçasıdır. Cloud modeller sessizce güncellenebilir ve yerel donanım olmadan ölçeklenebilirken, yerel modeller indirmeler, depolama, sürücü uyumluluğu ve ara sıra sorun giderme gerektirir. Bu nedenle en iyi local LLM yalnızca bir kalite seçimi değildir; aynı zamanda bir sahiplik seçimidir. Cloud rahatlığını yerel kontrolle takas edersiniz.
SSS
8GB VRAM üzerinde yerel olarak çalıştırılacak en iyi LLM nedir? Genellikle temkinli bağlam ayarına sahip küçük veya quantize edilmiş 3B ile 8B arası bir modeldir. Kesin yanıt görevinize bağlıdır.
24GB GPU iyi local LLM’ler için yeterli mi? Evet. Güçlü quantize edilmiş modeller için en kullanışlı tüketici seviyelerinden biridir; ancak çok büyük modeller hâlâ daha fazla bellek gerektirir.
Local LLM’leri yalnızca CPU üzerinde çalıştırmalı mıyım? Çalıştırabilirsiniz, ancak küçük modeller seçin ve daha yavaş çıktı bekleyin. Yalnızca CPU kurulumları, yüksek hızlı günlük işlerden çok test için daha uygundur.
Bilgisayarım için en iyi yanıtı nasıl bulabilirim? VRAM, RAM, işletim sistemi, kullanım senaryosu ve tercihinizle Local LLM kullanın. Sıralamadan önce güncel model varyantlarını filtreler.