- Tek bir dosyayla, kurulum gerektirmeden çoğu bilgisayarda LLM'leri kolayca çalıştırmayı destekler
llama.cpp ile Cosmopolitan Libc'yi birleştiren bir framework
- Tek bir build ile birden fazla OS ve çeşitli CPU mimarilerinde çalışabilir
- Sohbet ve görüntü tanıma yapabilen LLaVA modeli örnek olarak sunuluyor
- 4GB boyutundaki
llava-v1.5-7b-q4-server.llamafile dosyasını indirip çalıştırmanız yeterli
- Mac/Linux/BSD'de
chmod +x yaptıktan sonra doğrudan çalıştırabilirsiniz
- Windows'ta dosya uzantısının sonuna
.exe ekleyip doğrudan çalıştırabilirsiniz
- Çalıştığında tarayıcı otomatik olarak açılır ve sohbet arayüzünü gösterir
- Ayrıca Mistral-7B-Instruct, WizardCoder-Python-13B gibi başka llamafile'lar da sunuluyor
4 yorum
curl --location https://huggingface.co/jartine/llava-v1.5-7B-GGUF/… > llamafileSadece bir kez
curlkomutunu çalıştırmak yeterli; hemen çalıştırılabilmesi gerçekten çok şaşırtıcı..Vay canına, harikaymış hahaha
Gerçekten çok kolay çalıştırılabiliyor.
GN⁺'ta paylaşılmıştı ama yapay zeka özetiyle yapılan tanıtım yetersiz kaldı herhalde; ilgi görmeyince bir kez daha derledim. Oldukça ilginç bir deneme gibi görünüyor.
"Llamafile" ile LLM'leri tek bir dosya olarak dağıtmak ve çalıştırmak mümkün
Temel model: LLaVA: Visual Instruction Tuning
İlk yayımlandığında şaka gibi görünen Cosmopolitan ve RedBean'in böyle de kullanılabildiğini görmek ilginç. Oldukça iyi bir kullanım alanı olacak gibi.