MemoryCache: Tarayıcı tabanlı yerel yapay zekayı güçlendirmeyi amaçlayan Mozilla projesi

• Sağlanan metin Mozilla New Products ana sayfası içeriğidir; Hacker News başlığındaki MemoryCache tanıtım metnini içermiyor
• Mozilla New Products; yeni ürünleri keşfetme, test etme ve inceleme alanı olup kullanıcıları yeni nesil teknolojilerin şekillenmesine katılmaya davet eder
• Şu anda görülebilen ürünler: web sitesi oluşturmaya yönelik Solo, yapay zeka güvenliği bug bounty programı 0din ve yapay zeka sistemleri için web çalıştırma ve veri dönüştürme API’si Tabstack
• Bülten, Mozilla’nın en yeni ürün ve özelliklerine erken erişim, güncellemeleri inceleme ve geri bildirim paylaşma kanalı sunar
• Yalnızca bu metinden MemoryCache’in mimarisi, tarayıcı tabanlı yerel yapay zekayı nasıl güçlendirdiği, kullanım yöntemi veya kısıtları anlaşılamıyor

---

Sağlanan metin Mozilla New Products ana sayfası

• Mozilla New Products, üretkenliği artırmaya, işi büyütmeye ve ürün geliştirmeye yardımcı olan yenilikçi ürünleri keşfetme, test etme ve inceleme alanı olarak tanıtılıyor
• Mozilla, insanı önceleyen çözümler geliştirdiğini ve kullanıcıları yeni ürün testlerine katılarak yeni nesil teknolojileri birlikte şekillendirmeye davet ettiğini belirtiyor
• İnternetin geleceğinin açık, erişilebilir ve gizliliği önceleyen olması gerektiği yönünü öne çıkarıyor

Doğrulanabilen ürünler ve katılım yolları

• Solo: Ücretsiz web sitesi oluşturup özel alan adı bağlamaya imkân veren bir ürün
• 0din: LLM model açıklarını bulup ödül kazanmayı sağlayan bir yapay zeka güvenliği bug bounty programı
• Tabstack: Yapay zeka sistemlerinin web’i güvenilir biçimde okumasına ve üzerinde işlem yapmasına yardımcı olan bir web çalıştırma ve veri dönüştürme API’si
  • Yapay zeka ajanları, araştırma araçları, veri hatları ve otonom iş akışları geliştiren geliştiricileri hedefler
• Mozilla New Products bülteni, en yeni ürün ve özelliklere erken erişim, güncellemeleri inceleme ve geri bildirim paylaşma olanağı sunar
• Sağlanan metinde MemoryCache ile ilgili açıklama bulunmadığından özellikleri veya uygulama ayrıntıları doğrulanamıyor

[ndrgrd]

Her şey güzel de, tarayıcıyı durmadan ıvır zıvırla dolu bir hurdacıya çevirmeye çalışmasalar keşke.
Geçmişteki internet suite döneminden çıkarılmış dersler vardır diye düşünüyorum.

Tarayıcı tarayıcıdır. Yapay zeka da yapay zekadır. Gerektiğinde ayrı çalıştırmak yeterli.

[GN⁺]

Hacker News görüşleri

• Verinin modele gitmesi yerine, model yerel verinin yanına gelmeli ve veri yerelde kalmalı
  Kişisel verileri içe alan çok sayıda açık kaynak var, ama görüntü ya da videoyla pek iyi başa çıkamıyorlar. İleride herkes kendi modeline sahip olabilir; fakat şu anda teknoloji olsa da herkesin kendi QLORA’sına, RAG’ine, özetleyicisine kolayca sahip olmasını sağlayacak ürünler ya da açık kaynak projeler eksik
  Bizi oluşturan şeyler yalnızca mesajlar ya da belgeler değil; okuduklarımız, yazdıklarımız ve düşüncelerimiz de bunun parçası. Gezinti geçmişi ne okuduğumuz hakkında çok şey söyler, ama Google’ın bunu reklam için kullanması dışında neredeyse hiç değerlendirilmiyor. Her gün baktığımız haber sitelerini, sosyal ağları, YouTube videolarını bir araya getirip “Bugün bu 3 yerin özeti şöyle” diyebilmesi gerekir
  Dün https://www.youtube.com/watch?v=zHLCKpmBeKA izlerken, neredeyse 30 yıl geçmiş olmasına rağmen neden hâlâ bizden bir adım önde hareket eden bir bilgisayar asistanımız olmadığını düşündüm

  • “Kişisel verileri içe alan çok sayıda açık kaynak var ama görüntü ya da video yapmıyor” kısmına gelince, görüntü için yerel modeller epey iyi hale geliyor
    LLaVA, çok modlu görüntü özellikleri olan büyük bir dil modeli ve dizüstü bilgisayarımda da oldukça iyi çalışıyor: https://simonwillison.net/2023/Nov/29/llamafile/
    Salesforce BLIP gibi modeller görüntü altyazısı üretmek için de kullanılabiliyor; bunun için küçük bir CLI aracı da yaptım: https://github.com/simonw/blip-caption
  • Tam da böyle bir şeyi https://software.inc üzerinde geliştiriyoruz
    Kullanıcıya dair verileri, yani bilgisayardan ve internetten gelen bilgileri yerel bir veritabanında topluyor ve modelin bunu kullanmayı öğrenmesini sağlıyoruz. Model yerel de olabilir, bulut tabanlı da; istekler veri hassasiyetine ya da gereken işleve göre yönlendirilebilir
    İlginizi çekiyorsa işe alım da yapıyoruz
  • Yapay zekayı çıkarsak bile, ziyaret edilen tüm web sayfalarını geleneksel aramayla bulmayı sağlayan bir arşivleyici büyük bir ilerleme olurdu
    Aramalarımın önemli bir kısmı daha önce gördüğüm bir şeyi tekrar bulmakla ilgili; ama sayfanın kaybolması, arama motorlarında düşük sıralanması ya da yalnızca HTTP kullanan eski belgeler gibi arama optimizasyonunun altında gömülmesi yüzünden sık sık tıkanıyorum
  • GitHub Copilot’ın tam olarak böyle çalıştığını düşünüyorum. Önce tüm kod tabanını ve bağımlılıkları tarayıp indeksliyor, sonra otomatik tamamlama yaparken kod bağlamını güçlü biçimde kullandığı için Copilot faydalı hale geliyor
    Modelin bizim verilerimizin yanına gelmesi gerektiğine katılıyorum. Copilot benzeri bir zekâ tamamen cihaz içinde çalışıp mesajlar, gezinti geçmişi, web sayfası içerikleri gibi kişisel izleri tarayabilirse oyun değiştirici olur
  • Yalnızca bugün baktığın siteleri özetlemekten daha iddialı bir şey aklıma geldi. Arama geçmişi ve davranışları kullanarak arama sorgusu yazma yöntemini ortaya çıkaran bir modele ihtiyaç var
    Bing Chat’in arama sorguları, sanki arama motorunun ne olduğu kendisine yeni anlatılmış bir amcanın yazacağı düzeyde görünüyor. site: ya da filetype: gibi gelişmiş operatörleri, en azından parantezleri ve AND/OR’u da kullanmalı
    Harika araştırmacıların, hukuk asistanlarının ve dedelerinin Ellis Island hikâyesini anında doğrulayıp varış kayıtlarıyla Chicago vatandaşlığa kabul kanıtlarını bulan otizm spektrumundaki gençlerin arama süreçlerini taklit edecek şekilde ince ayar yapılabilir

• İyi fikir. Mozilla, Firefox’u işletme konusundaki beceriksizliği ve politik vaazları yüzünden haklı olarak çok eleştiriliyor; yine de gizliliği korurken kullanıcı dostu teknolojiler geliştirme becerisinin hâlâ olduğunu düşünüyorum
  Firefox’a yerleşik çevrimdışı çevirmeni sık kullanıyorum ve sihir gibi. Sunucu çiftliği düzeyinde donanım olmadan böyle bir şeyin yerelde çalışabileceğini düşünmezdim
  Bu deneyin de öyle olmasını umuyorum

• Benim tarayıcı kullanım biçimime pek uymuyor. Gezinti geçmişimle “sohbet etmek” istemiyorum; sadece tarayıcının işletim sisteminde yer imlerinin içeriğini indeksleyip gerçek sayfa içeriğinde arama yapabilmesini isterdim
  ChatGPT’den alınan geri bildirim döngüsünün yerel GPT muadillerinden her zaman çok daha iyi olacağını düşünüyorum
  Ancak önemli bilgiler içerdiği için sonradan iki kereden fazla tekrar bakacağım sayfaları sık sık yer imlerine ekliyorum. Bu yüzden yerel tarayıcı deposundaki yer imlerini tarayan, ilgili sayfaları indirip işletim sistemi arama indeksine ekleyen bir çözüm geliştirmeye başladım
  Yıllardır kaşıyıp durduğum bir kaşıntıydı

  • Küçük veri kümelerinde tam metin aramada geri çağırım kolayca kötüleşebilir. Yapay zekâ biraz akıllı bulanık arama eklerse, yerelde indekslenmiş yer imi deneyimi epey iyileşebilir
  • Chrome ilk çıktığında böyle bir şey yapmıyor muydu? Bir özellik olarak var olduğuna dair belli belirsiz bir hatıram var
    Kişisel olarak tarayıcıların geçmişi sürekli unutmayı bırakması bile beni memnun ederdi. Firefox ve Safari’nin ikisinde de geçmiş saklama süresi çok kısa
  • Bu zaten Safari değil mi? En yeni çipleri kullandığını varsayarsak

• Gezinti geçmişi ve sayfa içerikleriyle “sohbet” edebilmenin gerçekten bir yolu olsa harika olurdu. Daha sonra işlemek üzere ziyaret edilen sayfaları otomatik kaydetmenin bir yolu var mı merak ediyorum
  10 yıldan da uzun süre önce bakmıştım ama iyi bir çözüm bulamamıştım

  • WorldBrain’in Memex’i (https://github.com/WorldBrain/Memex) bunu vaat ediyor gibi. Fikir umut vericiydi, ama sonunda kullanmayı bırakmama yol açan bir neden vardı sanırım
  • Recoll ve Recoll-WE’ye bakmaya değer: https://addons.mozilla.org/en-US/firefox/addon/recoll-we/
  • Zotero da mümkün olabilir, ama araştırma odaklı olduğu için oldukça eksik bir çözüme yakın
  • Rewind.ai neredeyse tam olarak bu amaç için. Az önce kurdum ve şu ana kadar oldukça memnunum

• Geleneksel yer imleri, belleğe dayalı düzenleme ölçeklenemediği için başarısız oldu. Böyle bir arayüz ölçeklenebilir ve doğru yapılırsa yer imlerinin yerini tamamen alabilir.
  Düşününce yerel dosyaların tamamı için de kullanılabilir; bu da eski “dosya sistemini veritabanı gibi” kullanma fikrinin daha iyi bir sürümü gibi çalışabilir. Belirli bilgi tabanlarına da uyar; örneğin büyük dil modeli tabanlı Zotero gibi bir biçim.

  • Sanki az önce Windows Longhorn'un modern sürümünü icat etmişsiniz gibi geliyor.
  • “Networked Environment for Personal, Ontology-based Management of Unified Knowledge”, yani Nepomuk semantik masaüstü fikri bu değil miydi?
    Büyük dil modellerinin RDF'yi düzgün doldurmasını sağlayabilirsek ve bellek ile depolama bugünkü gibi çok daha fazla ve hızlıysa, belki çalışabilir.
  • Orbit gibi bir şey tam uygun olur gibi.
    https://withorbit.com/

• Mozilla bir şey yakalamış gibi görünüyor.
  Dev şirketlerle prompt alışverişi yapıp her seferinde onları daha da zengin etmek yerine, daha küçük yerel modeller kullanıp gizliliğe çok daha fazla saygı duyan bir yaklaşım.
  Böyle bir işletim modeli olursa açık kaynağa katkı vermeye, hatta fon sağlamaya bile istekli olurum.
  Dürüst olmak gerekirse Mozilla organizasyonunun büyük bir hayranı değilim ama underdog'u sevmemek elde değil.

  • Gelecekte onların yapay zekası bizim yapay zekamızla konuşacak. Çünkü bizim bir kalkana ihtiyacımız var.
  • Apple'ın birkaç yıldır yaptığı şeye benziyor. Ancak bunun ne kadarının “AI” olduğu hâlâ belirsiz. Bu yüzden başka birinin bu boşluğa girmesi doğal.

• İlgilenenler için PrivateGPT deposu burada: https://github.com/imartinez/privateGPT
  Resmî web sitesinde bağlantı verilmemiş gibi görünüyor.

  • Yazının en altındaki MemoryCache deposundan bağlantı verilmiş: https://github.com/Mozilla-Ocho/Memory-Cache
  • PrivateGPT'nin yerel model olarak ne kullandığını ve bunun nereden geldiğini merak ediyorum.
    Güncelleme: Kendim bakınca yerel modda llamacpp kullanıyor gibi görünüyor: https://github.com/imartinez/privateGPT/blob/main/private_gp...

• Eski bir stajyer olarak Firefox OS dönemini yaşamış olmamdan mıdır bilmem, bu bana Mozilla'nın ileride yeniden kendi işletim sistemini çıkarmak için geri dönüş hamlesi gibi geliyor.
  İnternetin insanları birbirine bağlamak için doğduğu söylenirdi ama bu gösterişli özelliklerin hepsini tarayıcının içine koymak en iyi yol değil.
  Firefox OS temelde küçük bir Linux çekirdeği, Gecko ve işleme için HTML5'ten oluşuyordu. iOS ve iPadOS gibi, Mozilla da cihazlar ya da platformlar için benzer bir işletim sistemi sunabilir.
  Son 5 yıldır AR ve VR'a da yatırım yaptıklarına göre, sonunda başka bir Firefox OS'e oynasalar şaşırmam.

• Acaba fork edilmiş depoya bağlantı vermek mi istemişlerdi?
  https://memorycache.ai/developer-blog/2023/11/30/we-have-a-w... şuraya gidiyor: https://github.com/misslivirose/Memory-Cache
  Kastedilen https://github.com/Mozilla-Ocho/Memory-Cache miydi?

• Paylaşılan bağlantıdan bunun ne anlama geldiğini pek çıkaramadım.
  Resmî site tarafında biraz daha geriye gidince “MemoryCache, yerel masaüstü ortamını cihaz içi AI ajanına dönüştürmeye yönelik deneysel bir geliştirme projesidir” deniyor.
  Kasım tarihli bir yazı da var: Introducing Memory Cache
  https://memorycache.ai/developer-blog/2023/11/06/introducing...