llamafile - LLM'leri tek bir dosyayla dağıtma ve çalıştırma
(github.com/Mozilla-Ocho)- Tek bir dosyayla, kurulum gerektirmeden çoğu bilgisayarda LLM'leri kolayca çalıştırmayı destekler
llama.cppile Cosmopolitan Libc'yi birleştiren bir framework- Tek bir build ile birden fazla OS ve çeşitli CPU mimarilerinde çalışabilir
- Sohbet ve görüntü tanıma yapabilen LLaVA modeli örnek olarak sunuluyor
- 4GB boyutundaki
llava-v1.5-7b-q4-server.llamafiledosyasını indirip çalıştırmanız yeterli - Mac/Linux/BSD'de
chmod +xyaptıktan sonra doğrudan çalıştırabilirsiniz - Windows'ta dosya uzantısının sonuna
.exeekleyip doğrudan çalıştırabilirsiniz - Çalıştığında tarayıcı otomatik olarak açılır ve sohbet arayüzünü gösterir
- 4GB boyutundaki
- Ayrıca Mistral-7B-Instruct, WizardCoder-Python-13B gibi başka llamafile'lar da sunuluyor
4 yorum
curl --location https://huggingface.co/jartine/llava-v1.5-7B-GGUF/… > llamafileSadece bir kez
curlkomutunu çalıştırmak yeterli; hemen çalıştırılabilmesi gerçekten çok şaşırtıcı..Vay canına, harikaymış hahaha
Gerçekten çok kolay çalıştırılabiliyor.
GN⁺'ta paylaşılmıştı ama yapay zeka özetiyle yapılan tanıtım yetersiz kaldı herhalde; ilgi görmeyince bir kez daha derledim. Oldukça ilginç bir deneme gibi görünüyor.
"Llamafile" ile LLM'leri tek bir dosya olarak dağıtmak ve çalıştırmak mümkün
Temel model: LLaVA: Visual Instruction Tuning
İlk yayımlandığında şaka gibi görünen Cosmopolitan ve RedBean'in böyle de kullanılabildiğini görmek ilginç. Oldukça iyi bir kullanım alanı olacak gibi.