Rastgele bir indirmeyle değil, bir kontrol listesiyle başlayın
Yerel bir LLM kurulumu, modelleri indirmeden önce birkaç karar verdiğinizde en iyi sonucu verir. Yaygın hata modu basittir: Kullanıcı popüler bir model görür, büyük bir dosya indirir, ardından bunun zar zor uyduğunu, yavaş çalıştığını veya yüklediği araç tarafından desteklenmediğini keşfeder. Bir kontrol listesi bu israfı önler.
Doğru sıralama, önce donanım, ikinci olarak görev, üçüncü olarak çalışma zamanı, dördüncü olarak model değişkeni ve son olarak güvenliktir. Modelin boyutuna donanım karar verir. Görev, sohbete, kodlamaya, vizyona, yerleştirmelere veya uzun bağlama ihtiyacınız olup olmadığına karar verir. Çalışma zamanı hangi dosya formatlarının ve API'lerin uygun olduğuna karar verir. Güvenlik, yerel sunucunun localhost'da mı kalacağına yoksa başka bir cihaza mı açık kalacağına karar verir.
1. Adım: donanım sınırlarınızı kaydedin
VRAM, sistem RAM, işletim sisteminizi ve ayrı bir GPU veya Apple Silicon birleşik bellek kullanıp kullanmadığınızı not edin. NVIDIA ve AMD kartları için VRAM genellikle ilk sabit sınırdır. Apple Silicon için toplam bellek CPU, GPU, macOS, uygulamalar, model ve KV cache tarafından paylaşılır. Yalnızca CPU kurulumları için, RAM ve bellek bant genişliği GPU boyutundan daha önemlidir.
Her gigabaytı model ağırlıkları için kullanmayı planlamayın. İşletim sistemi, tarayıcı, düzenleyici, çalışma zamanı yükü, KV cache ve diğer uygulamalar için yer bırakın. Bir model yalnızca diğer her şey kapalıyken uyuyorsa, muhtemelen iyi bir günlük model değildir. Local LLM tavsiyeleri, kullanılabilir tavan boşluğuna uygun modelleri tercih etmelidir.
Adım 2: ilk çalışma zamanını seçin
Yeni başlayanlar her şeyi yüklemek yerine önce bir araç seçmelidir. Grafiksel model bir tarayıcı, bir sohbet arayüzü ve uygulamadan başlatabileceğiniz yerel bir sunucu istiyorsanız LM Studio rahattır. Basit komutları, model etiketlerini ve yerel bir API'yi seviyorsanız Ollama güçlü bir seçimdir. llama.cpp esnek ve güçlüdür ancak komut satırı seçeneklerinin ve model dosyalarının daha iyi anlaşılmasını gerektirir.
Geliştirici iş akışları genellikle OpenAI-compatible endpoints'den yararlanır. Ollama, OpenAI-compatible API desteğini ortaya çıkarır ve LM Studio, yerel bir OpenAI-compatible server çalıştırabilir. Bu önemlidir çünkü birçok kodlama aracı, komut dosyası ve istemci, daha az kod değişikliğiyle bulut uç noktasından yerel bir local base URL'e geçiş yapabilir.
3. Adım: Bir model çeşidi seçin ve test edin
Birçok alternatifi karşılaştırmadan önce donanımınıza tam olarak uyan bir model seçin. 6GB ila 8 GB VRAM için, küçük bir modelle ve Q4 veya Q5 nicemlemeyle başlayın. 12GB - 16GB için, 7B ve 14B modellerini orta düzey bağlamla karşılaştırın. 24GB ve üzeri için daha güçlü kodlama ve akıl yürütme modelleri gerçekçi hale gelir. Büyük Apple Silicon sistemlerinde daha büyük modeller mümkündür ancak bellek hâlâ paylaşılmaktadır.
Gerçek kullanım durumunuzla eşleşen istemlerle test edin. Bir yazma modeli, gerçek notlarınızı yeniden yazmalı ve özetlemelidir. Bir kodlama modeli bir hatayı açıklamalı, küçük bir işlevi düzenlemeli ve proje talimatlarını takip etmelidir. Bir görüş modeli, gerçekten önemsediğiniz bir ekran görüntüsünü veya görüntüyü incelemelidir. Kurulumu yalnızca tek bir genel sohbet istemine göre yargılamayın.
4. Adım: Hızı, bağlamı ve kararlılığı doğrulayın
Yüklenen bir model otomatik olarak kullanışlı değildir. Çıkış hızının kullanılabilir olup olmadığını, bağlam uzunluğunun yeterli olup olmadığını, bellek basıncının sabit kalıp kalmadığını ve birkaç komuttan sonra çalışma zamanının çöküp çökmediğini kontrol edin. Model yoğun CPU boşaltmayı kullanıyorsa, model teknik olarak çalışsa bile token hızı keskin bir şekilde düşebilir.
Küçük bir test günlüğü tutun: model adı, niceleme, bağlam ayarı, çalışma zamanı, bellek tahmini ve rahat olup olmadığı. Bu, aynı başarısız indirme işlemlerinin tekrarlanmasını önler. Ayrıca yükseltmeleri daha net hale getirir: Q4 modeli çalışıyorsa ancak kalitesi zayıfsa, doğrudan mevcut en büyük dosyaya geçmek yerine Q5 veya daha küçük, daha yüksek kaliteli bir modeli deneyin.
Adım 5: Yerel sunucuyu güvende tutun
Kişisel bir masaüstü için, kasıtlı olarak ağ erişimine ihtiyaç duymadığınız ve kimlik doğrulamayı anlamadığınız sürece, yerel model sunucularını localhost'ye bağlı tutun. Yerel bir API sunucusu, yanlış ağdan erişilebiliyorsa istemleri, dosyaları veya model erişimini açığa çıkarabilir. Bu özellikle kodlama araçları için OpenAI-compatible endpoints test edilirken önemlidir.
Kurulumun tamamlanmasını çağırmadan önce model sayfasını, lisansı, dosya kaynağını, sunucu bağlamayı ve araç yapılandırmasını onaylayın. Daha sonra çalışma ayarlarını kaydedin. Local LLM model listesinin daraltılmasına yardımcı olabilir, ancak iyi bir kurulum kontrol listesi bu öneriyi istikrarlı bir günlük iş akışına dönüştürür.
SSS
En kolay yerel LLM kurulumu nedir? Yeni başlayanların çoğu için LM Studio veya Ollama artı küçük ve uyumlu bir model en hızlı yoldur.
Uygun olan en büyük modelle mi başlamalıyım? Hayır. Rahatça oturan ve kullanılabilir hızda çalışan bir modelle başlayın, ardından kaliteyi adım adım artırın.
OpenAI-compatible local server'a ihtiyacım var mı? Her zaman değil, ancak yerel modelleri zaten OpenAI tarzı APIs bekleyen kodlama araçlarına, komut dosyalarına ve uygulamalara bağlarken yardımcı olur.
Kurulumumun iyi olduğunu nasıl bilebilirim? Güvenilir bir şekilde yüklenmeli, gerçek görevinize yanıt vermeli, belleği sabit tutmalı ve günlük kullanım için yeterince hızlı kalmalıdır.