Kısa cevap: Yerel LLM seçimleri donanım seçimleridir
Yerel LLM sorularının çoğu sonunda donanıma geri döner. Modelin mevcut belleğe sığması, kullanılabilir bir hızda çalışması ve göreve uygun olması gerekir. Karşılaştırmada mükemmel olan ancak bilgisayarınızda rahatsız edici olan bir model sizin için iyi bir öneri değildir. Tam olarak uyan daha küçük bir model daha iyi bir günlük cevap olabilir.
Bu SSS, bir model indirmek üzere olan ve önce basit yanıtlar isteyen kullanıcılar için tasarlanmıştır. VRAM, RAM, niceleme, araçlar, gizlilik, hız, çevrimdışı kullanım ve teknik olarak yüklenen modeller ile kullanımı keyifli modeller arasındaki farkı kapsar.
Ne kadar VRAM'a ihtiyacım var?
Her yerel LLM için tek bir VRAM numarası yoktur. 6GB - 8GB, küçük nicelenmiş modelleri çalıştırabilir. 12GB ile 16GB arası, birçok 7B ve bazı 14B iş akışları için daha rahattır. 24GB daha güçlü yerel kodlama ve akıl yürütme modellerinin önünü açar. 48GB ve üzeri, büyük modeller, daha yüksek niceleme ve daha uzun bağlam için çok daha fazla alan sağlar.
VRAM yalnızca model ağırlıkları için değildir. KV cache, çalışma zamanı yükü, görüntü kullanımı ve diğer GPU bellek kullanımı da önemlidir. Uzun bağlam hafıza baskısını artırır. Bu nedenle bir model kısa bir bağlam ayarına sığabilir ancak bağlam penceresi yükseltildiğinde başarısız olabilir veya yavaşlayabilir.
GPU olmadan yerel bir LLM çalıştırabilir miyim?
Evet ama beklentiler gerçekçi olmalı. CPU-yalnızca yerel LLM'ler küçük modeller, testler, ara sıra yapılan istemler ve özel çevrimdışı görevler için çalışabilir. Özellikle daha büyük modeller veya uzun yanıtlar için genellikle GPU destekli çıkarımlardan daha yavaş hissederler. Sistem RAM ve bellek bant genişliği temel sınırlar haline gelir.
Yalnızca CPU'ye sahipseniz, küçük bir model, ölçülü niceleme ve mütevazı bir bağlam seçin. Kodlama veya uzun konuşmalar için her gün yerel bir Yüksek Lisans kullanmayı planlıyorsanız, GPU veya Apple Silicon sistemi genellikle çok daha iyi hissedecektir.
Q4, Q5, Q6 ve Q8 ne anlama geliyor?
Bu etiketler nicelenmiş model çeşitlerini açıklar. Daha düşük niceleme genellikle daha az bellek kullanır ve daha fazla cihaza uyar. Daha yüksek niceleme genellikle daha fazla kaliteyi korur ancak daha fazla belleğe ihtiyaç duyar. Q4 genellikle giriş noktasıdır, Q5 ve Q6 yaygın günlük değiş tokuşlardır ve Q8, yeterli belleğe sahip olduğunuzda ve daha az kalite kaybı istediğinizde kullanışlıdır.
En iyi niceleme göreve bağlıdır. Yazma ve sohbet, daha düşük nicelemeyi kodlama veya zor akıl yürütmeye göre daha iyi tolere edebilir. Uzun bağlamlı çalışma daha küçük bir değişkeni tercih edebilir, böylece KV cache için yeterli bellek kalır. Bir öneri yalnızca model ailesini değil, gerçek varyantı da göstermelidir.
Yerel LLM'ler özel ve çevrimdışı mı?
Local LLMs daha özel olabilir çünkü istemler ve dosyalar model indirildikten sonra makinenizde kalabilir. Çalışma zamanı ve model dosyaları zaten yüklüyse çevrimdışı da çalışabilirler. Bu, bulut erişiminin güvenilir olmadığı özel notlar, yayınlanmamış kodlar, seyahatler ve iş akışları için kullanışlıdır.
Gizlilik otomatik değildir. Yine de model kaynağına güvenmeniz, lisansı kontrol etmeniz, yerel sunucuları genel internete maruz bırakmaktan kaçınmanız ve bağlı herhangi bir aracın günlükleri veya istemleri senkronize edip etmediğini anlamanız gerekir. Yerel kontrol, bulut sağlayıcıya olan bağımlılığı azaltır ancak operasyonel sorumluluğu ortadan kaldırmaz.
SSS
İlk önce hangi aracı kullanmalıyım? LM Studio iyi bir grafiksel başlangıç noktasıdır, Ollama iyi bir komut satırı ve yerel API başlangıç noktasıdır ve llama.cpp daha düşük düzeyde kontrol istediğinizde güçlüdür.
Modelim neden yavaş çalışıyor? Çok büyük olabilir, CPU boşaltmayı kullanıyor olabilir, çok fazla bağlamla çalışıyor olabilir veya ham hesaplama yerine bellek bant genişliğiyle sınırlı olabilir.
İndirmeler ve beğeniler bir model seçmek için yeterli mi? Hayır. Modelin donanımınıza veya görevinize uygun olup olmadığına değil, topluluğun ilgisini gösterirler.
Bundan sonra ne yapmalıyım? Donanımınızı ve görevinizi girmek için Local LLM kullanın, ardından indirmeden önce önerilen Hugging Face sayfasını açın.