LLM’leri Yerelde Çalıştırmak

(abishekmuthian.com)

27 puan yazan GN⁺ 2024-12-30 | Henüz yorum yok. | WhatsApp'ta paylaş

r/LocalLLaMA subreddit’i ve Ollama blogu, yerelde LLM çalıştırmaya başlamak için faydalı bilgiler sunuyor

Donanım yapılandırması

Core i9 (32 thread) CPU, 4090 GPU (16GB VRAM) ve 96GB RAM’e sahip Linux tabanlı bir dizüstü bilgisayar kullanılıyor
VRAM’e sığan modeller hızlı çalışırken, büyük modeller RAM’e offload edildiğinde yavaşlayabiliyor
Yüksek performanslı bir bilgisayar şart değil; küçük modeller eski GPU’larda veya CPU’da da çalışabiliyor

Ollama: Llama.cpp’yi çalıştırmak için Python ve JavaScript kütüphaneleri içeren bir middleware; Docker’da kullanılıyor
Open WebUI: Metin ve görsel girdileri için kullanıcı dostu bir arayüz sunuyor
llamafile: LLM’leri tek bir çalıştırılabilir dosyayla çalıştırabiliyor
AUTOMATIC1111 ve Fooocus: Görsel üretim araçları; daha karmaşık iş akışları için ComfyUI kullanılıyor
Continue: VSCode içinde kod otomatik tamamlama desteği sağlıyor
Obsidian Smart Connections: Ollama kullanarak notları sorgulama özelliği sunuyor

En güncel LLM’ler Ollama model sayfası üzerinden indiriliyor
Model güncellemeleri RSS ile takip ediliyor
Görsel üretim modelleri CivitAI’dan indiriliyor (not: bazı modeller yetişkin içerikli görsel üretimi için optimize edilmiş olabilir)
Başlıca kullanılan modeller:
- Llama3.2: Genel sorgular ve Smart Connections için
- Deepseek-coder-v2: VSCode’da kod tamamlama için
- Qwen2.5-coder: Kodla ilgili sohbetler için
- Stable Diffusion: Görsel üretimi için

Şu anda fine-tuning veya quantization yapılmıyor (CPU arızası ihtimali nedeniyle uzun süreli yüksek sıcaklıklı işlemlerden kaçınılıyor)

LLM’leri yerelde çalıştırmak, veriler üzerinde tam kontrol ve düşük yanıt gecikmesi sağlıyor
Açık kaynak projeler ve ücretsiz modeller sayesinde bunları yapmak mümkün
Yeni araçlar veya modeller kullanıldıkça içerik güncellenecek