Tarayıcıda üretken yapay zekayı yerel olarak çalıştıran Chrome uzantısı

 (github.com/tantara)
17 puan yazan tantara 2025-02-02 | 2 yorum | WhatsApp'ta paylaş

Proje açıklaması

Bu, üretken yapay zeka modellerini JavaScript ile çalıştıran Transformers.js için bir Chrome uzantısı projesidir.

Ollama, llama.cpp gibi araçlarla üretken yapay zeka modellerini yerelde çalıştırmanın birçok yolu var; ancak kurulum süreci zahmetli olabiliyor ve her seferinde ekran değiştirmek de kullanışsız. Bunu çözmek için, Transformers.js kullanılarak doğrudan Chrome uzantısının yan panelinde çalışabilecek şekilde geliştirildi.

Yerelde çalıştırmanın avantajlarından biri, internet bağlantısının olmadığı ortamlarda da kullanılabilmesidir; internetin zayıf olduğu ortamlarda (uçak, kamp alanı vb.) basit işleri hallederken faydalı oldu.

Desteklenen modeller

Transformers.js kullanıldığı için Hugging Face üzerindeki neredeyse tüm modeller çalıştırılabilir, ancak şu anda yalnızca aşağıdaki modeller destekleniyor.

  1. LLM : Llama 3, Phi 3.5, Qwen 2.5, SmolLM2
  2. Akıl yürütme : DeepSeek R1 (M1 MacBook'a göre DeepSeek R1 (1.5B) saniyede 30 token üretiyor)
  3. Çok modlu LLM : Janus
  4. Konuşmadan metne : Whisper

Ek özellikler

Summarize ve Rewrite özellikleri de eklendi. Tarayıcıda görünen metni seçip sağ tıklayarak uzantıyı çalıştırdığınızda, ilgili metni özetler (Summarize) veya LLM çıktısına dönüştürür (Rewrite). Aşağıdaki demo videoyu izlerseniz anlamanıza yardımcı olabilir (1 dakika 10 saniye - 1 dakika 25 saniye arası).

Demo video: https://www.youtube.com/watch?v=MSCDdFG5Lls&t=70s

Uzantıyı çalıştırma

GitHub projesini doğrudan derleyebilir veya Chrome Web Store'dan indirebilirsiniz.

Chrome Web Store: https://chromewebstore.google.com/detail/private-ai-assistant-runn/…

İlgili okumalar

2 yorum

 
sjssjs1344 2025-02-02

Güzel inceleme olmuş.
Bunun Deepseek R1 değil, distile edilmiş bir model olduğunun açıkça belirtilmesi gerekmez mi diye düşünüyorum. Teknik olarak tamamen farklı iki model çünkü.
 
tantara 2025-02-03

Görüşünüz için teşekkürler. Test ettiğim 1.5B model distilled bir model olduğu için, sanırım Distilled daha doğru bir ifade. Yazıyı düzenlemek mümkün görünmüyor, bu yüzden bir sonraki güncellemede yansıtacağım.