Secret Llama - WebGPU ile çalışan tarayıcı içi Llama 3 chatbot uygulaması

• Tarayıcıda tamamen çalışan, gizliliği garanti eden bir LLM chatbot
• Llama 3, Mistral gibi açık kaynak modelleri destekler
• Sohbet verileri asla bilgisayarın dışına çıkmaz; bu da tam gizlilik sağlar
• Tarayıcıda çalıştığı için sunucuya veya kuruluma ihtiyaç duymaz ve çevrimdışı da çalışır
• ChatGPT ile eşdeğer düzeyde kullanımı kolay bir arayüz sunar, ancak açık kaynak LLM'ler içindir
• Şu anda desteklenen modeller
  • TinyLlama-1.1B-Chat-v0.4-q4f32_1-1k 600MB
  • Llama-3-8B-Instruct-q4f16_1 4.3GB
  • Phi1.5-q4f16_1-1k 1.2GB
  • Mistral-7B-Instruct-v0.2-q4f16_1 4GB

[bizring]

Korece sohbet edebiliyor mu?