Kısa cevap: VRAM model boyutuna, quantization’a ve context’e bağlıdır
Her local LLM için geçerli tek bir VRAM sayısı yoktur. Pratik gereksinim; model ağırlıkları, KV cache, runtime overhead ve güvenlik payının toplamıdır. Küçük bir Q4 model mütevazı donanımda çalışabilirken, uzun context’e sahip daha büyük bir Q8 model çok daha fazla bellek gerektirebilir. Bu yüzden aynı GPU’ya sahip iki kullanıcı, biri kısa sohbet diğeri uzun-context kodlama veya RAG istediğinde farklı sonuçlar alabilir.
Pratik bir kural olarak 6GB giriş seviyesidir, 8GB küçük modeller için kullanılabilir, 12GB daha rahat bir masaüstü başlangıç noktasıdır, 16GB daha iyi pay sağlar, 24GB güçlü bir tüketici seviyesidir ve 48GB veya üzeri daha büyük modellere ve daha yüksek quantization’a kapı açar. Apple Silicon unified memory ayrı bir kategoridir çünkü CPU ve GPU aynı bellek havuzunu paylaşır; yine de macOS, uygulamalar ve runtime overhead için alan gerekir.
Model ağırlıkları genellikle bellek bütçesine hâkimdir
Bellek bütçesinin en büyük kısmı genellikle model ağırlıklarıdır. FP16 ağırlıkları büyüktür; quantized GGUF dosyaları ise ağırlıkları daha az bit ile saklayarak boyutu azaltır. Q4 formatındaki bir 7B model, aynı modelin FP16 veya Q8 hâline göre çok daha az belleğe sığabilir. Quantization’ın local LLM önerilerinde merkezi olmasının nedeni budur: Tüketici GPU’larında gerçekçi olarak neyin çalıştırılabileceğini değiştirir.
Ancak dosya boyutu tek başına yeterli değildir. Bazı modellerin farklı mimarileri, MoE aktif parametre davranışları, tokenizer ayarları ve context varsayılanları vardır. Kâğıt üzerinde sığıyor görünen bir model dosyası, runtime bellek ayırdığında yine de sınırda kalabilir. Öneri, dosya boyutunu tüm gereksinim olarak görmek yerine muhafazakâr bir pay içermelidir.
KV cache context uzunluğuyla büyür
KV cache, daha önce işlenmiş token’lar için attention bilgisini saklamak üzere kullanılan bellektir. Context uzunluğu, batch ayarları, layer sayısı, hidden size ve implementasyon ayrıntılarıyla büyür. Bu yüzden 4K context’te çalışan bir model, 16K, 32K veya daha yüksek context’te kararsız ya da yavaş hâle gelebilir. Model card bunu duyuruyor diye uzun context bedava değildir.
Kullanıcılar için bu, doğru VRAM hedefinin iş yüküne bağlı olduğu anlamına gelir. Basit sohbet context’i orta düzeyde tutabilir. Birçok dosyada kodlama, uzun belgeleri özetleme ve RAG bellek gereksinimlerini yukarı çekebilir. Uzun context öncelikse, daha küçük veya daha güçlü quantized bir model, yalnızca ağırlıklarıyla neredeyse tüm VRAM’i tüketen daha büyük bir modelden daha uygun olabilir.
Local LLM’ler için gerçekçi GPU seviyeleri
6GB seviyesinde küçük modeller ve muhafazakâr context bekleyin. 8GB seviyesinde 3B ile 7B Q4 modeller gerçekçi hâle gelir, ancak pay sınırlıdır. 12GB seviyesinde birçok 7B ve bazı 14B quantized modeller daha pratik olur. 16GB seviyesinde aynı modeller daha iyi quantization veya daha fazla context kullanabilir. 24GB seviyesinde güçlü 14B ve bazı daha büyük quantized modeller günlük kullanım için gerçekçi hâle gelir. 48GB ve üzerinde daha büyük yerel denemeler çok daha kolaylaşır.
Bu seviyeler garanti değildir. Hız; memory bandwidth, GPU backend, CPU, RAM, driver’lar ve inference aracına bağlıdır. NVIDIA CUDA desteği genellikle local inference araçlarında en geniş kapsama sahiptir. AMD desteklenen stack’lerde iyi çalışabilir, ancak backend uyumluluğuna daha fazla dikkat gerektirebilir. Apple Silicon unified memory’yi etkili kullanabilir, fakat kullanılabilir model bütçesi yine de görünen RAM miktarından düşüktür çünkü sistem bu belleği paylaşır.
Kısmi offload ne zaman yardımcı olur, ne zaman zarar verir
Bir model VRAM’e tamamen sığmazsa bazı araçlar modelin bir kısmını CPU belleğine offload edebilir. Bu, modelin yüklenmesini sağlayabilir; ancak veri GPU ile sistem belleği arasında taşınmak zorunda kaldığı için çoğu zaman hızı düşürür. Ayrık GPU’larda PCIe ve CPU memory bandwidth darboğaz olabilir. Unified memory kullanan Mac’lerde ceza farklıdır, ancak memory bandwidth ve sistem baskısı yine de önemlidir.
Kısmi offload dürüstçe sunulmalıdır. Deneme, ara sıra uzun yanıtlar veya daha büyük bir modeli test etmek için yararlı olabilir; ancak etkileşimli hız bekleyen normal bir kullanıcı için varsayılan öneri olmamalıdır. Local LLM mümkün olduğunda full-GPU önerilerini tercih etmeli ve model teknik olarak çalıştırılabilir ama daha az konforlu olduğunda kısmi offload’u ayrı olarak etiketlemelidir.
SSS
8GB VRAM bir local LLM için yeterli mi? Evet, küçük ve dikkatle quantized modeller için. Her model için yeterli değildir ve uzun context kullanılabilir aralığı azaltır.
12GB VRAM yeterli mi? Birçok 7B model ve bazı 14B quantized modeller için, özellikle dengeli ayarlarla makul bir başlangıç noktasıdır.
Daha fazla VRAM her zaman daha iyi yanıtlar anlamına mı gelir? Her zaman değil. Daha fazla VRAM aday kümesini genişletir, ancak en iyi öneriyi yine model kalitesi, tuning, quantization ve kullanım senaryosu belirler.
Kendi kurulumumu nasıl tahmin edebilirim? VRAM, RAM, işletim sistemi ve kullanım senaryonuzu Local LLM’e girin. Araç, güncel model verilerine model boyutu, quantization, KV cache ve pay kurallarını uygular.