Kendi açık kaynak sohbet botunuzu oluşturmak mı istiyorsunuz?

• Yapay zeka (AI) web’i değiştiriyor ve insanların yaşamlarını etkiliyor.
• Mozilla; şeffaflık, gizlilik, kullanıcı özerkliği ve adalet gibi unsurları içeren güvenilir yapay zekaya bağlıdır.
• Üretken yapay zeka sohbet botları popüler, ancak çoğu güçlü teknoloji şirketlerinin kontrolü altında.
• Mozilla, açık kaynağın gücüne inanıyor ve teknolojinin birkaç şirket tarafından kontrol edilmesini önlemek, kullanıcılara daha fazla yetki vermek için çalışıyor.
• Mozilla kısa süre önce dahili bir sohbet botu prototipi geliştirmek için bir hackathon düzenledi.
• Ekip, açık kaynak büyük dil modellerini (LLM) kullandı ve barındırma, çalışma zamanı ortamı, model seçimi, önyargı ve sohbet botunun bilgisini genişletme gibi sorunlarla karşılaştı.
• Gizlilik ve kontrol için sohbet botunu Mozilla’nın bulut altyapısında barındırmaya karar verdiler.
• LLaMA mimarisi tabanlı modelleri çalıştırmak için açık kaynak proje llama.cpp kullanıldı.
• Modelleri toksisite, önyargı, yanlış bilgi ve tehlikeli içerik açısından değerlendirdiler ve Facebook’un LLaMA 2 modelini seçtiler.
• Dahili Mozilla’ya özgü bilgileri entegre etmek için embedding ve vektör arama tekniklerini kullandılar.
• Python ve çeşitli kütüphanelerle manuel bir çözüm geliştirdiler.
• Sohbet botu geliştirmede prompt engineering, bağlam sağlamak ve yanıtları iyileştirmek açısından önemlidir.
• Sistem prompt’u ve bağlam penceresi, sohbet botunun işlevleri ve konuşma bağlamı için kritiktir.
• LangChain, dil modeli alanında önde gelen bir orkestrasyon aracıdır, ancak öğrenmesi ve kullanması karmaşık olabilir.
• chatbot-ui ve Companion gibi açık kaynak sohbet botu arayüzleri, dil modelleri için bir frontend oluşturmakta kullanılabilir.
• Mozilla, kendi değerlerini yansıtan ve kurum içinde güvenli şekilde barındırılan bir prototip sohbet botu geliştirdi.
• Açık kaynak sohbet botları hâlâ gelişim aşamasında ve modelleri değerlendirmekle doğru seçimi yapmak zor olmaya devam ediyor.
• Mozilla, geliştiricilerin açık kaynak makine öğrenimi ekosistemine katılmasını ve topluluğa katkıda bulunmasını kolaylaştırmaya çalışıyor.

[GN⁺]

Hacker News görüşü

• Chatbot'lar, web sitelerinde yetersiz UX uygulamalarının bir telafisi olarak algılanıyor.
• Bazı insanlar chatbot'ları sinir bozucu buluyor ve her işletmenin bir chatbot'a sahip olması gerektiğini düşünmüyor.
• Web giderek daha az sayıda şirket tarafından kontrol ediliyor; bu da görünürlük ve iletişim için bir mücadele yaratıyor.
• Chatbot'lar, web siteleri karmaşık bir UI'ye sahip olduğunda veya önemli bilgileri gizlediğinde kullanılıyor.
• Chatbot'ların asıl amacı, işletmelerle ilk temas aracı olarak web ve mobil uygulamaların yerini almak.
• Yazar aslında açık kaynak bir chatbot oluşturmuyor; bunun yerine açık kaynak kütüphanelerin kullanımını teşvik ediyor.
• Google altyapısı içinde sunucu kurmak gerçekte özel değil ve Mozilla'nın kontrolü altında da değil.
• Bazı insanlar, geleneksel arama yöntemlerine kıyasla chatbot'lar üzerinden daha faydalı olan olumlu deneyimler yaşadı.
• Vektör veritabanı tabanlı chat modeli oluşturma ve anlamsal benzerlik aramasını ölçeklendirme için kaynaklar sunuluyor.