Model abartısıyla değil, donanımla başlayın
Bir local LLM seçmenin en hızlı yolu, zaten sahip olduğunuz makineyle başlamaktır. Model popülerliği önemlidir, ancak yüklenemeyen veya kullanılamaz hızda çalışan bir model yardımcı olmaz. İlk girdiler VRAM, sistem RAM, işletim sistemi, belleğin unified olup olmadığı ve CPU offload kullanmaya istekli olup olmadığınızdır. Ancak bundan sonra model ailelerini karşılaştırmalısınız.
İyi bir local LLM öneri akışı üç soruyu ayırır: yüklenebilir mi, kullanılabilir olacak mı ve görev için iyi mi. Yükleme; ağırlıklara, quantization, KV cache ve çalışma zamanı ek yüküne bağlıdır. Kullanılabilirlik hız ve kararlılığa bağlıdır. Göreve uygunluk, modelin kodlama, genel sohbet, matematik, vision veya uzun bağlamlı çalışma için ayarlanıp ayarlanmadığına bağlıdır.
En büyük modeli seçmeden önce kullanım senaryosunu seçin
Farklı görevler farklı modelleri ödüllendirir. Bir kodlama görevi kod eğitimi, repository anlama, talimat izleme ve kararlı biçimlendirme gerektirir. Bir yazma görevi ton kontrolü ve uzun biçimli tutarlılık gerektirir. Bir vision görevi multimodal bir mimari ve görüntü kodlayıcı gerektirir. Bir matematik veya akıl yürütme görevi, adım adım problem çözme için ayarlanmış bir model ailesi gerektirebilir.
Bu nedenle aynı donanım, kullanıcı General’dan Coding veya Vision’a geçtiğinde farklı öneriler üretebilir. Site indirme sayılarına veya parametre sayısına körü körüne göre sıralama yapmamalıdır. Önce donanıma uyan modelleri filtrelemeli, ardından kalan seçenekleri kullanım senaryosu ve tercihe göre sıralamalıdır.
Quantization rolünü anlayın
Çoğu yerel kullanıcı, tam hassasiyetli ağırlıklar yerine quantized modeller çalıştırır. Quantization bellek kullanımını azaltır ve modelleri tüketici donanımında pratik hale getirir. Q4 genellikle önce uyum seçeneğidir, Q5 ve Q6 daha fazla bellek maliyetiyle kaliteyi artırabilir, Q8 ise tam kaliteye daha yakındır ama çok daha ağırdır. Doğru seçim, ağırlıklar ve KV cache sonrasında ne kadar pay kaldığına bağlıdır.
Bu nedenle "ne çalıştırabilirim" ifadesinin model başına tek bir cevabı yoktur. Bir model Q4’te çalıştırılabilir ama Q8’de çalıştırılamayabilir, 4K bağlamda kullanılabilir ama 32K’da kullanılamayabilir veya full GPU’da iyi olup offload ile yavaş olabilir. Yararlı bir öneri sayfası yalnızca model adını değil, seçilen quantization ve bellek dökümünü de göstermelidir.
Mac, Windows, Linux ve CPU-only kurulumlar farklıdır
Ayrık GPU’lara sahip Windows ve Linux kullanıcıları genellikle önce VRAM’i düşünür. Apple Silicon kullanıcıları unified memory açısından düşünür, çünkü GPU ve CPU aynı bellek havuzunu paylaşır. CPU-only kullanıcıların daha da muhafazakâr olması gerekir çünkü sistem belleği büyük olabilir ancak token hızı düşük olabilir. Aynı 32GB sayısı bu kurulumlar arasında farklı şeyler ifade eder.
Bir araç bu farkı yansıtmalıdır. Mac’te macOS ve uygulamalar için bellek ayırmalıdır. Ayrık GPU’larda ekran, framework ek yükü ve KV cache için VRAM ayırmalıdır. CPU-only makinelerde küçük modeller önermeli ve yalnızca sistem RAM’in her şeyi çözdüğünü varsaymak yerine hız konusunda beklentileri belirlemelidir.
Pratik bir karar akışı
Önce VRAM veya unified memory değerinizi girin. İkinci olarak işletim sisteminizi seçin. Üçüncü olarak kullanım senaryosunu seçin. Dördüncü olarak tercihi seçin: kalite, dengeli uyum veya bağlam payı. Ardından yalnızca uyumlu modelleri inceleyin. Sonuçlar çok küçükse belleği artırın veya offload kabul edin. Sonuçlar çok yavaşsa daha küçük full-GPU modelleri tercih edin.
Bu yaklaşım, kullanıcıların sosyal medyadan rastgele model önerilerini kopyalamasını engeller. 24GB GPU’da çalışan bir öneri, 8GB bir laptop için yanlış olabilir. Kodlama için mükemmel olan bir model, gündelik yazma için gereksiz olabilir. Local LLM bu ödünleşimleri, gerçek model sayfaları için Hugging Face bağlantılarıyla birlikte net bir sıralı listeye dönüştürmelidir.
SSS
GPU olmadan local LLM çalıştırabilir miyim? Evet, ancak genellikle daha küçük modeller ve daha düşük hızla. CPU-only; test, gizliliğe duyarlı notlar veya hafif çevrimdışı görevler için en iyisidir.
Her zaman sığan en büyük modeli mi seçmeliyim? Hayır. Full-GPU uyumuna sahip daha küçük bir model, zar zor sığan daha büyük bir modelden daha hızlı ve daha keyifli olabilir.
Öneriler zamanla neden değişir? Hugging Face model dosyaları, indirmeler, quantization’lar ve topluluk sürümleri sık sık değişir, bu nedenle cached model verileri düzenli olarak yenilenmelidir.