Llama 2'yi yerelde çalıştırma rehberi

• Llama 2'yi internet bağlantısı olmadan kendi cihazınızda çalıştırabilirsiniz.
• Llama 2'yi yerelde çalıştırabileceğiniz üç açık kaynak araç var: Llama.cpp, Ollama ve MLC LLM.
• Llama.cpp, Mac, Windows ve Linux'u destekleyen, C/C++ ile yazılmış bir Llama portudur.
• Ollama, Llama 2'yi komut satırı arayüzüyle çalıştırabileceğiniz bir macOS uygulamasıdır.
• MLC LLM sayesinde Llama 2'yi iOS ve Android dahil telefonlarda çalıştırabilirsiniz.
• Ollama, 3B modelini çalıştırmak için en az 8 GB RAM, 7B modeli için 16 GB, 13B modeli için 32 GB RAM önerir.
• MLC LLM, Llama 2'nin 7B, 13B ve 70B sürümlerini destekler, ancak iPhone kullanıcıları için hâlâ beta aşamasındadır.
• Discord topluluğunda üretimlerinizi paylaşabilir ve destek alabilirsiniz.
• Replicate, Llama 2'yi bulutta çalıştırma ve ince ayar yapma seçeneği sunar.

[haebom]

Mac Studio M2 üzerinde çalıştırıyorum ve gayet iyi çalışıyor.

[GN⁺]

Hacker News görüşleri

• Bir kullanıcı, Llama 2'yi Windows'ta derlemek için CUDA Toolkit kurulumu ve model indirmeyi de içeren yönergeler paylaşıyor.
• Llama 2'yi daha kolay çalıştırmak için bir PowerShell fonksiyonu paylaşılıyor.
• PEFT/Lora kullanarak Google Colab A100 GPU üzerinde Llama 2'ye ince ayar yapmaya yönelik canlı kodlama yayınına değiniliyor.
• Bir yorumcu, Linux makinede GPU kullanmak için Hugging Face inference'ı öneriyor.
• CPU veya MPS (M1/M2 GPU) üzerinde çalışabilen özgün Llama 2 kodunun bir fork'u paylaşılıyor.
• Llama 2'yi macOS veya Windows'ta kolayca kullanmak için GPT4All tavsiye ediliyor.
• Web sitesindeki script'leri doğrudan bash'e pipe etme konusunda bir uyarı yapılıyor.
• Bir yorumcu, Llama 2'nin görselleri yorumlayıp kullanabilme potansiyelini tartışıyor.
• Araştırmanın ötesinde Llama 2'yi kullanmanın amacı sorgulanıyor.
• LLM modellerinin sınırlamalarına değiniliyor ve "The Matrix" filmi hakkında bir JSON nesnesi üretmeyi reddettiği belirtiliyor.