- Brave masaüstü tarayıcısında v1.62 sürümünden itibaren, gizlilik odaklı AI tarayıcı asistanı Leo’nun varsayılan LLM’i Mixtral 8x7B olarak değişiyor
- Mixtral 8x7B, Mistral AI’ın aralık ayında duyurduğu açık kaynaklı LLM ve hızı, performansı ile açık model yapısı Brave’in ürün yönüyle örtüştüğü için Leo’ya entegre edildi
- Brave, Mixtral 8x7B’nin LMSYS Chatbot Arena Leaderboard ölçümüne göre ChatGPT 3.5, Claude Instant ve Llama 2 gibi modellerin önünde yer aldığını; BBQ benchmark’ta ise halüsinasyon ve önyargı azaltımı konusunda iyileşme gösterdiğini söylüyor
- Hem ücretsiz Leo hem de aylık 15 dolar Premium planında varsayılan olarak Mixtral 8x7B sunuluyor; ancak ücretsiz sürümde daha sıkı kullanım sınırları, Premium’da ise daha yüksek limitler var
- Leo, istekleri reverse proxy üzerinden anonimleştirerek işler, konuşmaları saklamaz veya model eğitiminde kullanmaz; ayrıca ayrı bir uygulama olmadan adres çubuğundan ya da kenar çubuğundan kullanılabilir
Leo’nun varsayılan modeli Mixtral 8x7B olarak değişti
- Brave, masaüstü tarayıcı v1.62 güncellemesiyle birlikte Leo için varsayılan büyük dil modelini Mixtral 8x7B ile değiştirdi
- Leo, Brave’in sunduğu gizlilik odaklı AI tarayıcı asistanı ve tarayıcının içinden doğrudan AI özelliklerini kullanmayı sağlıyor
- Bu güncelleme, model değişikliğinin yanı sıra daha net onboarding, bağlam kontrolü, girdi-yanıt biçimi ve genel UI iyileştirmeleri de içeriyor
Neden Mixtral 8x7B seçildi?
- Mixtral 8x7B, Mistral AI tarafından aralık ayında duyurulan açık kaynaklı LLM ve hız ile performansı sayesinde geliştirici topluluğunda hızla yaygınlaştı
- LMSYS Chatbot Arena Leaderboard verilerine göre ChatGPT 3.5, Claude Instant ve Llama 2 gibi modellere kıyasla daha iyi performans gösteriyor
- BBQ benchmark verilerine göre ise halüsinasyon ve önyargı azaltımı tarafında da iyileşme sunuyor
- Başlıca özellikleri şöyle
- Daha büyük bağlam işleme
- İngilizce, Fransızca, Almanca, İtalyanca ve İspanyolca etkileşim
- Kod üretimi
Brave ürünlerinde Mixtral kullanımı
- Brave, Brave Search içindeki programlama odaklı sorgu özelliği Code LLM için zaten Mixtral kullanıyor
- Mixtral’in performansı ve açık kaynak karakteri, Brave’in benimsediği açık model ve açık kaynak topluluğunu destekleme yaklaşımıyla örtüşüyor
- Brave CTO’su ve kurucu ortaklarından Brian Bondy, Leo’nun on binlerce ücretsiz kullanıcı ve ücretli abone tarafından benimsendiğini, Mixtral’in eklenmesiyle daha geniş kullanım beklediklerini söyledi
- Mistral AI CEO’su Arthur Mensch de Mixtral’in Brave Search CodeLLM ve Brave Leo’da kullanılmasını olumlu değerlendirdi
Ücretsiz ve Premium model seçenekleri
- Leo, ihtiyaç ve bütçeye göre birden fazla model seçeneği sunuyor
- Mixtral 8x7B, hem ücretsiz sürümde hem de Premium’da varsayılan LLM olarak geliyor
- Her iki planda da Anthropic’in Claude Instant modeli ile Meta’nın Llama 2 13B modeli destekleniyor
- Ücretsiz Leo’nun kullanım koşulları şöyle
- Mixtral 8x7B ve Claude Instant için daha sıkı kullanım sınırları bulunuyor
- Llama 2 13B daha yüksek kullanım sınırı sunuyor
- Mixtral kullanım limitine ulaşıldığında, AI kullanımına devam etmek için Leo’nun önceki deneyimi olan Llama 2’ye geri dönülebiliyor
- Leo Premium aylık 15 dolar ve Mixtral 8x7B, Claude Instant, Llama 2 13B için daha yüksek kullanım limitleri sağlıyor
Gizlilik yaklaşımı
- Leo’nun sohbetleri özel, anonim ve güvenli olacak şekilde tasarlandı
- Sohbetler kaydedilmiyor, model eğitiminde kullanılmıyor ve kullanım için hesap ya da giriş gerekmiyor
- Gizlilik önlemleri şunlar
- Reverse proxy: Tüm istekler anonimleştirme sunucusu üzerinden proxy’leniyor; böylece isteklerle kullanıcı adresi eşleştirilemiyor
- Yanıtların anında silinmesi: Leo yanıtları üretildikten hemen sonra siliniyor ve konuşmalar Brave sunucularında saklanmıyor
- Tanımlayıcı toplanmaması: IP adresi gibi kullanıcıyla ilişkilendirilebilecek tanımlayıcılar toplanmıyor
- Üçüncü taraf sağlayıcılarda saklama yok: AI modeli veya üçüncü taraf model sağlayıcıları kişisel verileri saklamıyor
- Hesap gerekmiyor: Leo’yu kullanmak için Brave hesabı oluşturmak gerekmiyor
- Bağlantı kurulamayan abonelik token’ları: Leo Premium aboneliği sırasında, satın alma bilgisi ile ürün kullanımını ilişkilendiremeyen token’larla abonelik doğrulanıyor
Kullanım şekli ve erişim kapsamı
- Leo, tarayıcıya gömülü olarak geliyor ve ayrı bir uygulama ya da eklenti gerektirmeden kullanılabiliyor
- Brave masaüstü kullanıcıları adres çubuğuna sorularını yazdıktan sonra “Ask Leo” seçeneğine tıklayabilir veya Brave Sidebar içinden Leo’yu açabilir
- AI özelliklerine, web sayfasının yanındaki sohbet tipi kenar çubuğu ya da adres çubuğu üzerinden erişiliyor
- Sayfa bağlamında şu işleri destekliyor
- Web sayfaları veya videolar için gerçek zamanlı özetleme
- İçerikle ilgili soru-cevap
- Yeni içerik oluşturma
- Sayfa çevirisi
- Sayfa analizi
- Cümle yeniden yazımı
- Kod yazım desteği
- Leo, kasım ayından bu yana Brave masaüstü kullanıcılarına sunuluyor; ilgili sürüm 1.60
- Android ve iOS için Leo’nun yakında sunulması planlanıyor
1 yorum
Hacker News yorumları
Mixtral 8x7B’yi yerelde çalıştırmak için llama.cpp kullanılabilir; text-generation-webui gibi destek kütüphaneleri/arayüzleriyle birlikte https://huggingface.co/TheBloke/Nous-Hermes-2-Mixtral-8x7B-S... kullanılabiliyor
En küçük 2 bit kuantizasyon sürümü bile 20 GB RAM gerektiriyor ve düzgün bir 4090 GPU’nun VRAM’ine offload edilebiliyor
4 bit kuantizasyon sürümü, 32 GB’lık bir sisteme zar zor sığan en büyük model ve yaklaşık 29–31 GB kullanıyor
6 bit 41 GB, 8 bit ise 52 GB olduğundan 64 GB’lık bir sistem gerekiyor; daha yüksek hassasiyetli modelleri VRAM’e offload etmek için paylaşımlı belleğe sahip birden fazla GPU gerekiyor
7B ve 13B modellerini denedim ama bu modelleri ya da diğer büyük modelleri henüz denemedim
36 GB RAM’li MacBook M3’te dolphin mixtral 4 bit kullandım; çıkarım çok hızlıydı
VRAM’den büyük modelleri GPU/CPU arasında bölerek çalıştırmak daha kolay
Mixtral 32.000 token desteklediğinden, bu kısım kullanılan bellekte epey büyük pay tutabilir
Brave, bu özellik ve diğer gizlilik özellikleri nedeniyle övgüyü hak ediyor
Bağlantı kurulamayan abonelik token’ları yöntemiyle, Leo Premium’a abone olduğunuzda Leo kullanımı sırasında aboneliği doğrulayan bir token veriliyor ve Brave ödeme bilgileriyle ürün kullanım geçmişini ilişkilendiremiyor
Hesap oluşturmak için kullanılan e-posta da Leo’nun günlük kullanımıyla ilişkilendirilmiyor; oldukça sıra dışı bir özel kimlik bilgisi yöntemi
Yabancı anahtar kullanmadan bunun tam olarak nasıl çalıştığını bilen var mı merak ediyorum
İlk Leo duyurusunu kaçırmışım gibi görünüyor; ilginç ve gizliliği önemseyen tasarımı hoşuma gitti
Sohbet geçmişini saklamaması tam istediğim şey
VPN hizmetlerinin kayıt tutmama iddialarını doğrulamanın bir yolu olmaması gibi
https://www.spacebar.news/p/stop-using-brave-browser
Mixtral sunan iyi API sağlayıcılarının hangileri olduğunu merak ediyorum
Sadece OctoAI’yi biliyorum; iyi görünüyor, alternatifleri de öğrenmek isterim
Fiyatı bilmiyorum ama api@groq.com adresine e-posta göndermek gerekiyor gibi
Fiyatı da sağlayıcıların kendi fiyatlarıyla aynı
Ancak OpenAI/Anthropic modellerinde, ilgili şirketlerin gereklilikleri nedeniyle giriş/çıkış filtrelemeyi açmak zorunda kalmışlardı
Çok hızlı ve varsayılan ayarlarla bile aynı anda 10 işi işliyor
Together.ai de ilk testlerde iyi görünüyordu ama henüz büyük ölçekte kullanmadım
M2 Pro 32 GB bellekli sistemde mixtral-8-7b’nin 3 bit kuantizasyon sürümünü de çalıştırıyorum ve epey hızlı
Birden fazla seçeneğin olması iyi bir şey
Geçen hafta boyunca poe ve chat.groq.com’daki sürümleri denedim
llama 70b’den çok daha iyi
Adres çubuğundan doğrudan LLM sorgusu yapılabilmesini ilginç buldum
İleride sorguyu doğrudan LLM’e mi göndereceğine, yoksa varsayılan arama sağlayıcısını mı kullanacağına karar veren sezgisel kurallar geliştirip geliştirmeyeceklerini merak ediyorum
gpt4’ten mistral’a geçince, Retina ekrana bakıp sonra düşük çözünürlüklü ekrana dönmüş gibi oluyor
Sürekli “ama GPT4 olsa bunu yapabilirdi” diye düşünmeye başlıyorsunuz
Mixtral’ı ollama ile yerelde çalıştırıyorum
Sayfaları yapay zekayla özetleyen düzgün bir Chrome uzantısı var mı merak ediyorum
Google aramadaki üst sonuçlardan birkaçını denedim; çalışıyorlardı ama gereksiz özelliklerle fazla şişmişlerdi
https://kagi.com/summarizer/index.html
https://help.kagi.com/kagi/api/summarizer.html
Ya da Kagi Search tarayıcı uzantısını (Chrome/Firefox) kullanırsanız, uzantı içindeki en gelişmiş model olan Muriel’i doğrudan kullanabilirsiniz