Marginalia: 3 yılın kaydı

• Marginalia Search, “harika interneti” bulmaya yönelik küçük bir deney olarak başladı ve 3 yıl içinde tam zamanlı bir projeye dönüştü; arama motoru da şimdiye kadarki en kararlı durumuna yaklaşmış durumda
• Bu yılın temel çalışması, operasyon yükünü azaltmak ve diğer operatörler ile geliştiricilerin daha kolay çalışabilmesini sağlamak için kod tabanını düzenlemek ve uygulamayı sadeleştirmek oldu
• Eskiden dizin geçişleri için günler süren kesinti gerekirken, artık bu geçiş kesintileri ortadan kalktı ve son dönemde kesintisiz yükseltme de mümkün hale geldi
• Arama kalitesi, anchor text anahtar kelime desteğinden sonra iyileşti; alaka sinyalleri yerleştikçe sonuç bulma yeteneği önemli ölçüde arttı
• 1 milyar belge indeksleme hedefi sürüyor, ancak webdeki sinyal-gürültü oranı düşük olduğu için bu iş beklenenden daha zor; sıradaki odak alanı sorgu ayrıştırma ve yürütmenin iyileştirilmesi

---

Bir deneyden tam zamanlı projeye dönüşen 3 yıl

• Marginalia Search, 3 yıl önce küçük bir deney olarak başladı ve şimdi tam zamanlı üzerinde çalışılan bir projeye dönüştü
• Arama motorunda hâlâ geliştirilecek noktalar var, ancak mevcut durum şimdiye kadarki en iyi çalışan seviyelerden biri olarak değerlendiriliyor
• En büyük kilometre taşlarından biri, arama motorunun oturma odasından çıkıp kurumsal sunucuya taşınması oldu
• Bu yıl, operasyon yükünü yönetilebilir seviyeye indirmeye ve diğer operatörler ile geliştiricilerin erişimini kolaylaştırmak için kod tabanını ve uygulamayı düzenlemeye odaklanıldı
• Operasyon biçimi de büyük ölçüde değişti
  • Eskiden dizin geçişlerinde günlerce hizmet kesintisi gerekiyordu
  • Artık dizin geçişi kaynaklı kesinti kalmadı
  • Son dönemde kesintisiz yükseltme de mümkün hale geldi
  • Geçmişte haftalar süren manuel süreçlerin önemli bir kısmı artık GUI’de düğmeye basılarak yapılabiliyor

Arama kalitesi ve dizin ölçeklendirme

• Arama alakasında anchor text anahtar kelime desteğinin büyük etkisi oldu
  • Değişikliğin hemen ardından entegrasyon yeterince oturmadığı için etkisi başta net değildi
  • Yeni alaka sinyalleri yerleştikten sonra arama motorunun ilgili sonuçları bulma yeteneği belirgin biçimde arttı
• Proje, NLnet desteği sayesinde yaklaşık 8 aydır tam zamanlı yürütülüyor
  • Fazla çalışmamak hâlâ zorlayıcı bir konu olmaya devam ediyor
  • Haftada en az 1 gün dinlenmeye çalışılıyor ve iyi dinlenildiğinde daha akıllıca çalışılabildiği düşünülüyor
• 1 milyar indekslenmiş belge hedefi sürüyor
  • Zorluk, yazılımın işleme kapasitesinden çok webin sinyal-gürültü oranının düşük olmasında yatıyor
  • Arama motorunun görece iyi çalışmasının büyük nedenlerinden biri, neyi indekslememeyi bildiğinde yatıyor
  • Dizin ölçeği, 1 yıl önceki 50 milyon~100 milyon düzeyinden son tarama itibarıyla 220 milyona çıktı
  • Bir sonraki tarama turu bittiğinde, hâlihazırda tamamlanmış iki bölümün büyüme eğilimine göre bunun 290 milyon~300 milyona ulaşması mümkün görünüyor

Sonraki iyileştirme yönü ve destekler

• Sıradaki iyileştirme hedefi sorgu ayrıştırma ve yürütme
  • Bu alanda geliştirilecek çok yer var
  • Esas çalışmaya geçmeden önce, etkilenecek kodu düzenlemeye yönelik hazırlık çalışmaları sürüyor
• Projedeki büyük sıçramalar her zaman deneylerden çıktı; planlı işler olsa da, gerçekten büyük değişimi yaratan şeyin anchor text örneğinde olduğu gibi planlanmamış şeyler olması muhtemel
• NLnet, FUTO, Patreon destekçileri, destek verenler ve kullanıcılara teşekkür ediliyor

[GN⁺]

Hacker News yorumları

• Bunu yer imlerine ekledim; sayısal modelleme konusunda çok niş materyaller bulmak için kullanıyorum.
  Çözücüler, ağ/mesh oluşturma ve optimizasyon yöntemleriyle ilgili bulduğu kaynaklar Google’da bulunabilenlerden çok daha iyi; 80’ler ve 90’lardan materyaller de iyi çıkıyor.
  Hazır ticari paketlerle yetinmeyen biri için bu tür bilgilere ve Fortran kod örneklerine ulaşabilmek çok değerli.

  • Marginalia’da Google’a göre daha kolay bulunabilen niş uzman sayfalarına örnekler olup olmadığını merak ediyorum.

• Doğru, bu gerçekten eski aramaya çok benziyor.
  “all quiet on the western front book movie differences” gibi bir aramayı bulamıyor olabilir; ama 1998’de AltaVista’da da bu şekilde bulamazdınız.
  Bunun yerine yalnızca “all quiet on the western front” yazınca kişisel bloglar gibi birçok nadir site çıkardı; “polytopes” yazınca üniversite makaleleri ve kod siteleri, “rust generics” yazınca da e-posta listesi tartışmaları, bloglar, Rust tartışma grupları, kişisel web siteleri ve uzman tartışmaları çıkıyor.
  Eski web araması tam olarak buydu; merak ettiğim şey bunun uzun vadede finansal olarak nasıl sürdürülebileceği.

  • Şu anda hibeler ve bağışlarla çalışıyor; bu sayede birkaç yıllık bir pay var.
    Gerçek işletme maliyeti colocaton için ayda yaklaşık 100 dolar ve kişisel yaşam giderlerinden ibaret olduğundan gelen para beklenenden uzun süre dayanıyor.
    İleride daha da olgunlaşınca benzer düşünen insanlardan ek finansman sağlanabilir ya da başka arama motorlarına API erişimi satmak da mümkün olabilir.
    Arama, reklam dışında para kazanması zor bir alan olarak bilinir; ama maliyetler düşükse oldukça makul bir yol gibi görünüyor.

• “transformers intuition” diye arama yaptım; sonuçlar gerçekten etkileyiciydi.
  Google SEO yapılmış sitelere, çoğunlukla Medium’a ve dışarıdan parlak görünüp içeriği zayıf sitelere götürürken, Marginalia çok daha iyiydi.

• Lansmandan 6 ay sonra, hem halihazırda iyi çalıştığını hem de aynı anda muğlak kalan yönlerini gösteren retrospektif bir başlık: https://news.ycombinator.com/item?id=28550764
  Ancak şu anki varsayılan filtrede Reddit, Stack Exchange ve Wikipedia sonuçları biraz fazla gibi.

• En çok aklımda kalan kısım şuydu:
  Beklenenden zor olmasının nedeni yazılımın bunun altından kalkamaması değil, web’in sinyal-gürültü oranının iyi olmaması; bu arama motorunun nispeten iyi çalışmasının büyük nedeni de neleri dizine almadığında yatıyor.

• Google’a alışkın olduğum için Marginalia’yı sık kullanmıyorum, ama projenin kendisi harika.
  Spam benzeri SEO siteleri ve yapay zeka tarafından üretilmiş yanıtlar giderek artıyor gibi göründüğünden ileride daha sık kullanacağım sanırım.

  • Henüz günlük varsayılan arama motoru olarak kullanmak için biraz daha zamana ihtiyaç var gibi.
    İyimser bakarsak, bu yaz civarında sorgu ve yürütmeyle ilgili işler tamamlanırsa o seviyeye yaklaşabilir.

• Viktor’a sormak isterim; Common Crawl [0] işe yarayabilir mi bilmiyorum.
  Şu anda yaklaşık 100 TB ve 3,35 milyar sayfa ölçeğinde olduğundan S3 üzerinde doğrudan işlenmezse indirmesi uzun sürecektir; sinyal-gürültü oranını ise bilmiyorum.
  [0] https://commoncrawl.org/overview

• Harika bir arama motoru.
  Yakında kaynak koduna da bakmayı düşünüyorum; “ROME2D16-2T” araması yaptığımda anlaşılması zor kaynaklardan ilgili sonuçlar geldi ve faydalıydı.

• Son yaptığım 3 Google aramasını denedim.
  “india test cricket lowest total” için iyi bir sonuç ya da yanıt yoktu; “raid calculator” sonuçları fena değildi ama raid kelimesi yüzünden Pokemon kayıt/hile düzenleyici sayfaları gibi gürültüler de karışmıştı.
  “all quiet on the western front movie book differences” ise 0 sonuç verdi; tamamen boş bir sayfaydı.

  • Bu arama motorunun şu aşamada bilgi grafiği sunma hedefi yok.
    Sorulara yanıt vermekten ziyade internetteki belgeleri bulmaya yönelik bir araç; yanıt verme özelliği istenebilir bir şey olsa da çoğu zaman belge bulma becerisinden ödün verilmesine yol açar.
    Pokemon sonucu “raidcalc” adlı bir uygulamayla ilgiliydi; kullanıcıyı hiç profillemeyen ve ilgi alanlarını bilmeyen bir arama motoru açısından oldukça iyi bir eşleşme gibi görünüyor.
    “all quiet on the western front movie book differences” sorgu uzunluğu sınırına takılmış gibi; uzun sorguları iyi işleyemediği eski dönemlerden kalma bir iz, kaldırılabilir gibi duruyor.
    Sınırı artırmayı denedim ama sonuçlar hâlâ pek iyi değildi; bu da sıradaki çalışma alanı olan sorgu anlama ve yürütme konusuna tam olarak giriyor.
    Mevcut arama motoru, bir insanın göreceği gibi all quiet on the western front ifadesini tek bir kalıp olarak görüp bunun başlıkta yer almasının ya da birkaç kez geçmesinin iyi olduğunu, movie, book, differences kelimelerinin ise belgede önemli olduğunu ama mutlaka tam sırayla geçmesi gerekmediğini anlayacak şekilde gruplayamıyor.
    Şu anda tüm kelimelerin birbirine yakın geçtiği belgeleri ya da tek tek kelimelerin yüksek tf-idf ilgisine sahip olduğu belgeleri bulma yöntemiyle çalışıyor; bu yüzden bu sorgu için uygun değil.

• İlginç. Biri, sırf eğlencesine C&C Tiberian Sun’a IPv6 desteği eklemek için ikili dosyayı yamalayan rastgele bir web sitesi [0] bulmuş.
  Özlenen eski web hissi güçlü biçimde duruyor.
  Tuhaf bir şekilde aklıma Fravia’nın Searchlores’u [1] geldi; Umberto Eco bilgisayarlarla ilgilenseydi muhtemelen böyle bir şey olurdu.
  Sitenin kendisi de The Name of the Rose’daki kütüphane labirenti gibi; herhangi bir köşeyi dönünce şaşırtıcı bir şey buluyor, sonra da onu sonsuza dek kaybediyormuşsunuz gibi :D
  [0] http://ts.sesse.net/
  [1] https://www.biostatisticien.eu/www.searchlores.org/indexo.ht...