- CodeLLaMA 7b'den %60 daha küçük, ancak kod üretiminde benzer performans sunan 3B parametre boyutunda bir LLM
- GPU olmadan da sıradan bir dizüstü bilgisayarda çevrimdışı çalışabiliyor (MacBook Air gibi)
- 4 trilyon doğal dil verisiyle eğitilen Stable LM 3B modeli temel alınarak, yazılım mühendisliği/kodla ilgili verilerle ek eğitim verildi
- 2023 StackOverflow Geliştirici Anketi referans alınarak 18 programlama dili seçildi
5 yorum
Finans sektöründeyiz, bu yüzden geliştirmeyi yalnızca iç ağda yapıyoruz. Böyle bir durumda nasıl yaklaşmak daha iyi olur? Evde Copilot gibi şeyler kullanınca şirkette de biraz kullanabilsek diye düşünüyorum, o yüzden soruyorum.
https://github.com/janhq/jan
Bu, modeli çevrimdışı kullanmanızı sağlayan bir GUI uygulaması. İç ağ kullanıyorsanız, bu uygulamanın kurulum dosyasını ve kullanacağınız model dosyalarını dışarıdan önceden indirip iç ağa taşıyarak kullanabilirsiniz gibi görünüyor.
Modeli elle ekleme yöntemi aşağıda açıklanmıştır.
https://jan.ai/guides/using-models/import-manually/
Açık konuşmak gerekirse, ağdan izole edilmiş bir ortamda bu, geliştiricinin ayağına pranga vurmakla pek farklı değil.
Son zamanlarda ağ izolasyonu politikalarının gevşetilmesiyle ilgili konuşmalar da var ve bir miktar iyileştirme çabası da görülüyor; bu yüzden umutlanmak mümkün olabilir, ancak bankalar, telekom gibi kişisel verileri işleyen yerlerde bunun bundan sonra da muhtemelen biraz zor olacağını düşünüyorum. Geliştiriciler için gerçekten tam bir hapishane gibi bir ortam.
Benzer şekilde küçük model boyutuna sahip olanlarla performans karşılaştırması yapılmış, ama biraz daha geniş bir Leaderboard’a bakınca durum şöyle görünüyor.
https://huggingface.co/spaces/bigcode/bigcode-models-leaderboard
Konu kod olunca, biraz daha yavaş ya da pahalı olsa bile performansı daha iyi olanın tercih edilmesi daha mantıklı olmaz mı diye düşündürüyor.