1 / 4
Neden yerelde çalıştırmak isteyebilirsin?
Yerel çalıştırmanın üç temel avantajı vardır. Veriler bilgisayarından çıkmadığı için gizlilik daha yüksektir. İnternet olmadan da kullanabilirsin. Kullanım ücretleri ve istek sınırları yoktur.
Karşılığında donanım yükünü kendin taşırsın: bilgisayarının belleği ve işlemci gücü doğrudan sonucu belirler. Bu yüzden yerel çalıştırmak her zaman bulut hizmetinin yerini tutmaz.
2 / 4
Donanım neyi belirler?
Model çalışırken belleğe tamamen sığmak zorundadır; bu yüzden en kritik unsur bellektir. Ekran kartı belleği yeterliyse model hızlı çalışır; yetersizse işlem RAM ve işlemciye taşar ve yavaşlar.
Model büyüdükçe bellek ihtiyacı artar. SSD, modellerin diskten yüklenme süresini etkiler. Soğutma da önemlidir; uzun süreli yoğun çalışmada bilgisayar ısınıp performansı düşürebilir.
3 / 4
Nicemleme: modeli küçültme yöntemi
Nicemleme, modelin sayısal hassasiyetini düşürerek boyutunu küçültme yöntemidir. Bu sayede aynı model daha az bellekle çalıştırılabilir.
Bunun karşılığı kalitede küçük bir kayıp olabilmesidir; kayıp miktarı modele ve nicemleme düzeyine bağlıdır. Yerel çalıştırmada kullanılan modellerin çoğu bu şekilde küçültülmüş sürümlerle dağıtılır.
4 / 4
Nasıl başlanır?
Önce küçük bir modelle başla ve bilgisayarının nasıl tepki verdiğini gözle. Ollama ya da LM Studio gibi araçlar modelleri indirip çalıştırmayı kolaylaştırır.
Bellek, ısınma ve hız konusunda sınırı gördükten sonra daha büyük modellere geçebilir ya da donanımı yükseltebilirsin.
RAM ve SSD yükseltme seçenekleri cihazının modeline göre değişir; bunu servisimizde birlikte değerlendirebiliriz.
