Web LLM - Llama2 7B/13B desteği başladı

 (webllm.mlc.ai)
26 puan yazan xguru 2023-08-30 | 7 yorum | WhatsApp'ta paylaş
  • Sunucu olmadan, tarayıcıda Llama, RedPajama, Vicuna gibi LLM'leri WASM ile çalıştıran hizmet
  • Llama 2 7B/13B desteği başladı
  • Llama 2 70B de destekleniyor, ancak yalnızca Apple Silicon Mac + 64GB RAM ve üzeri sistemlerde kullanılabiliyor
  • WebGPU ile hızlandırma

İlgili okumalar

7 yorum

 
freejack 2023-08-31
  • Yapay zeka konusunda çok bilgili değilim; merak edip düşük özellikli bir PC'de test ettim - Chat Demo'daki ilk model (PC özellikleri: AMD Ryzen5 3600, NVIDIA GeForce GTX 750 Ti)
  • İlk soruda yaklaşık 4 GB indirip başlatma yapıyor; benim PC ortamımda bu yaklaşık 11 dakika sürdü.
  • Her soruda GPU'yu ortalama %60'tan fazla kullandı ve sanki yavaş yavaş yazıyormuş gibi yanıt verdi. (Çok sinir bozucuydu --)
  • Test amaçlı show me the earth picture diye sordum; NASA URL'si verdi ama görüntüyü göremedim. (Invalid URL)
  • Korece soruyu da tanıdı ama yanıtı yalnızca İngilizce verdi
 
cosine20 2023-09-06

750Ti olduğu için....
 
laeyoung 2023-08-31

URL çıktısında bozulmalar olması ChatGPT'de de epey sık görülüyor. Ne de olsa.
 
kuroneko 2023-08-30

Stable Diffusion'ı web'de çalıştırdıklarını görünce çok şaşırmıştım,
peki WebGPU gerçekten GPU API'lerinde büyük bir birleşmeyi sağlayabilir mi?
 
2023-08-30
[Bu yorum gizlendi.]
 
ragingwind 2023-08-30

İnanılmaz.