Yerel bir LLM, kendinizin çalıştırdığı bir modeldir
Yerel Yüksek Lisans, tamamen bir bulut hizmeti tarafından barındırılmak yerine kendi bilgisayarınızda çalışan geniş bir dil modelidir. Bir modeli indirir veya yerel bir araç aracılığıyla kurarsınız, ardından makinenizdeki bir çalışma zamanına istemler gönderirsiniz. Avantajı, daha fazla kontrol, olası çevrimdışı kullanım ve cihazınızdan ayrılan istemlerin daha az olmasıdır.
Buradaki değiş tokuş, donanım sınırlamalarından sorumlu olmanızdır. Bulut sohbet uygulamaları model boyutunu, GPU belleğini, bağlam penceresini ve çalışma zamanı ayrıntılarını gizler. Local LLMs bu ayrıntıları açığa çıkarır. Yeni başlayanların ilk günden her konuda uzmanlaşmasına gerek yok, ancak iyi çalışamayan bir modeli indirmekten kaçınmak için basit bir yola ihtiyaçları var.
Yeni başlayanların anlaması gereken dört sayı
İlk sayı VRAM, ayrık bir GPU üzerindeki bellektir. Genellikle NVIDIA veya AMD masaüstü kartları için en önemli olanıdır. İkincisi, CPU kullanımı ve kısmi boşaltma için önemli olan RAM sistemidir. Üçüncüsü, Apple Silicon üzerindeki birleşik bellektir; burada CPU ve GPU aynı bellek havuzunu paylaşır. Dördüncüsü, modelin konuşma sırasında hafızasında ne kadar metin tutabileceğini kontrol eden bağlam uzunluğudur.
Daha fazla bellek, daha büyük modelleri, daha yüksek nicelemeyi veya daha uzun bağlamı denemenize olanak tanır. Ancak model ağırlıkları için mevcut her gigabaytı kullanmamalısınız. KV cache, çalışma zamanı yükü, işletim sistemi, tarayıcılar, düzenleyiciler ve diğer uygulamaların da alana ihtiyacı vardır. Yeni başlayanlara uygun bir öneri boşluk bırakmalıdır.
Model isimleri yeterli değil
Yeni başlayan biri Llama, Qwen, Mistral, Gemma, DeepSeek, Phi veya Mixtral gibi isimleri görebilir ve bu ismin tam cevap olduğunu varsayabilir. Değil. Her ailenin farklı boyutları, talimatlara göre ayarlanmış versiyonları, kodlama versiyonları, görsel versiyonları ve birçok nicelenmiş dosyası olabilir. Bir 7B Q4 dosyası ve bir 32B Q8 dosyası çok farklı yerel indirmelerdir.
Bu nedenle Local LLM somut değişkenlere odaklanır. Öneri modeli, seçilen dosyayı veya nicelemeyi, bellek tahminini, uyum tipini ve Hugging Face sayfasına bir bağlantıyı içermelidir. Bu, yeni başlayanlara yüzlerce dosyayı tahmin etmeden arama sonucundan gerçek indirmeye kadar bir yol sağlar.
Her şeyi optimize etmeden önce ilk aracı seçin
Yeni başlayanlar kurulum sürtünmesini azaltan bir araçla başlamalıdır. LM Studio grafiksel model tarayıcı ve sohbet arayüzü istediğinizde kullanışlıdır. Ollama, hızlı model çalıştırmaları, yerel API iş akışları ve komut satırı kullanımı için popülerdir. llama.cpp güçlü ve esnektir ancak kullanıcının daha fazla çalışma zamanı ayrıntısını anlamasını ister. Apple Silicon'de MLX tabanlı iş akışları da yararlı olabilir.
İlk hedef makineden saniyede her jetonu sıkıştırmak değil. İlk hedef uyumlu bir model çalıştırmak, gerçek sorular sormak ve neyin hızlı veya yavaş olduğunu öğrenmektir. Bu işe yaradığında kullanıcılar nicelemeyi, bağlam uzunluğunu ve daha güçlü modelleri karşılaştırabilir.
Başlangıç seviyesindeki yaygın hatalar
İlk hata, en akıllı göründüğü için en büyük modeli indirmektir. İkincisi nicelemeyi ve dosya boyutunu göz ardı etmektir. Üçüncüsü bağlamı çok yükseğe ayarlamak ve belleğin tükenmesidir. Dördüncüsü, yalnızca CPU performansının bulut sohbeti gibi hissedeceğini varsaymaktır. Beşincisi, erişim kontrollerini anlamadan ağdaki yerel bir sunucuyu açığa çıkarmaktır.
Daha güvenli bir başlangıç yolu muhafazakardır: donanım profilinizi seçin, görevi seçin, tam olarak uyan bir modelle başlayın, orta düzeyde bağlam kullanın ve yalnızca deneyim istikrarlı olduğunda yukarı çıkın. İki model benzer puanlara sahipse, tamamen GPU üzerinde veya birleşik bellekte rahatça çalışan model genellikle daha iyi bir ilk tercihtir.
SSS
Yerel bir Yüksek Lisans için GPU'ye ihtiyacım var mı? Her zaman değil. Küçük modeller CPU üzerinde çalışabilir, ancak GPU veya Apple Silicon genellikle çok daha iyi bir deneyim sunar.
Yeni başlayanların ne kadar VRAM'a ihtiyacı var? 8GB küçük modelleri çalıştırabilir, 12GB - 16GB arası daha rahattır ve 24GB daha güçlü seçenekler açar.
İlk modelim ne olmalı? En büyük modeli kovalamak yerine, donanımınıza tam olarak uyan küçük bir talimat modeli veya kodlama modeli seçin.
Yanlış indirmeyi nasıl önleyebilirim? VRAM, RAM, işletim sistemi, kullanım durumu ve tercihe göre filtrelemek için Local LLM kullanın, ardından yüklemeden önce bağlantılı model sayfasını açın.