SearXNG, ücretsiz internet meta arama motoru

 (github.com/searxng)
1 puan yazan GN⁺ 2024-04-07 | 2 yorum | WhatsApp'ta paylaş
  • SearXNG, birden çok arama kaynağını kullanan bir meta arama motorudur ve kullanıcıları izlemez ya da profillemez
  • Kurulumun resmi Installation guide üzerinden yapılması, ayrıntılı ince ayar için ise Configuration guide'a bakılması önerilir
  • İşletim ve yönetimle ilgili ek kullanım bilgileri, SearXNG belgelerinin admin bölümünde bulunabilir
  • Topluluk bağlantı kanalı olarak #searxng:matrix.org Matrix odası sunulur
  • Proje, GNU Affero General Public License olan AGPL-3.0 ile lisanslanmıştır

SearXNG'nin rolü

Kurulum ve yapılandırma

Topluluk ve katkı

  • Sorular veya toplulukla bağlantı için Matrix kanalı #searxng:matrix.org kullanılabilir
  • Katkıyla ilgili ayrıntılar için CONTRIBUTING'e bakılması önerilir

Lisans

  • Bu proje GNU Affero General Public License ile dağıtılmaktadır
  • Lisans ayrıntıları LICENSE içinde görülebilir

İlgili okumalar

2 yorum

 
GN⁺ 2024-04-07
Hacker News yorumları

  • Tarayıcı geçmişinizdeki tüm sayfaların içeriğinde ya da yer imlerine eklediğiniz bazı sayfalarda arama yapmak istiyorsanız DownloadNet’e bakabilirsiniz. Eski adı, belki de tekrar kullanacağı adı "DiskerNet"
    Tarayıcıya bağlanıp genişletilmiş bir gezinme deneyimi sunuyor; arayüzü de CSS’siz 1997 Google’ı gibi sade. Arama henüz çok karmaşık şeyler yapmıyor ama ileride yapabilir; şimdiden de gayet kullanılabilir
    https://github.com/dosyago/DownloadNet
    Ayrıca ziyaret ettiğiniz tüm içerikleri veya yer imlerine eklediğiniz içerikleri çevrimdışı da görmenizi sağlıyor. Petrol platformu, gemi, uzun mesafe yük taşımacılığı gibi uydu bant genişliğini idareli kullanmanız gereken ortamlarda, normalde gezindiğiniz gibi gezinirken kaydetmek için iyi

    • Hangi tarayıcıları desteklediği gibi belgeleri hiç göremiyorum
    • Bu konuyla az da olsa ilgilenen birinin neden “kendi internet gezintisinin baş arşivcisi” olmak isteyeceğini pek anlamıyorum
      İnternet gezintimle ilgili şeyleri insan beynim dışında hiçbir şeyin saklamamasını isterim. Tabii bu benim ölçütüm
      Ama bu kadar bariz bir tanıtımın neden konudan sapmanın da ötesinde, tam kişisel gizliliğin tam zıddı bir araç olarak burada uygun olduğunu anlamıyorum
    • Bunun YaCy’den daha iyi yanı ne?

  • Eski günleri hatırlattı. Google’dan önce AltaVista, HotBot, Lycos gibi yerlerdeki spam dolu arama sonuçları arasından düzgün bir yanıt bulma olasılığını artırmak için meta arama araçları kullanırdık

    • Yalnızca spam’den kaçınmak değildi; bazı meta arama motorları, hatırladığım kadarıyla Dogpile, White Pages veya Yellow Pages gibi uzmanlaşmış arama motorlarında da arama yapabiliyordu. Yelp gibi şeyler çıkmadan çok önceydi; genel web arama motorlarında kolay bulunmayan işletme listelerini ve iletişim bilgilerini bulabiliyordunuz
      Ayrıca FTP arama sonuçlarını da dahil edebiliyordu; herkese açık anonim FTP’nin hâlâ yaygın olduğu zamanlarda işe yarıyordu
    • Nostalji oldu. On yıllar sonra şimdi dijital gizlilik adı altında geri dönmüş sayılır
    • Copernic’i severdim. Windows 9x’e yerel bir meta arama aracıydı
    • Northern Light da iyiydi
    • Dogpile da vardı

  • Bu da denemeye değer. Kagi değil ama arama sonuçları oldukça iyi ve Docker ile kendiniz barındırabilirsiniz
    https://felladrin-minisearch.hf.space/

  • Güzel. Belirli bir alan adının arama sonuçlarında asla görünmemesi için engelleme yöntemi olsa iyi olurdu
    Düzenleme: Görünüşe göre bununla ilgili açık bir issue var
    https://github.com/searxng/searxng/issues/2351

    • Bilgi olarak, ben bakımcılardan biriyim
      SearXNG’nin amacı durum saklamadan, sunucu oturumu olmadan çalışmak ve JavaScript olmadan da işlemek
      Ancak bu yaklaşım, çerez boyutu sınırı nedeniyle bazı özellikleri kısıtlıyor. Diğer tarayıcı depolama biçimleri JavaScript gerektiriyor
    • Google’da eskiden bu özellik vardı ama kaldırdı
      Hâlâ her aramada hariç tutma koşulunu elle eklerseniz mümkün, ancak liste uzayabilir ve kullanıcı deneyiminin iyi olduğu pek söylenemez
      Kagi’de bu özellik yerleşik ve kullanımı kolay
      Tarayıcı eklentisi uBlacklist de kullanılabilir. Ama benim durumumda sorun, her şeyi yavaşlatmasıydı
      Emin değilim ama arama bittikten sonra gerçek sonuçları filtreliyormuş gibi görünüyor. Yukarıdaki iki yöntem ise en baştan sonuçlara dahil edilmesini kısıtlıyor
    • uBlacklist Google’da ve birkaç başka arama motorunda tam olarak bunu yapıyor
      Firefox’ta Pinterest çöplüğünü arama sonuçlarından ayıklamak için kullanıyorum; Chrome ve Safari için de var
      https://github.com/iorate/ublacklist
    • Kagi’de bu özellik var

  • Bunu kişisel internet hattınızda çalıştırırsanız, arama motorlarını kullanamaz hale gelme riskiniz var

    • Bu yalnızca kimlik doğrulama olmadan herkese açık şekilde yayınlayıp sorguları konut hattı üzerinden yönlendirdiğinizde geçerli; önerilen yapılandırma bu değil
      Kişisel kullanım için kendi bilgisayarınızda doğrudan çalıştırabilir veya VPN ile erişebilirsiniz. Üst arama motorlarına giden sorgular gerektiğinde proxy ya da VPN üzerinden gönderilebilir
      Bazıları Tor’da da iyi çalışıyor, bazıları da ticari veya kendi yaptığınız tüneller üzerinden gönderilebilir
    • Bu kısım, bu başlıkta anlatılandan çok daha fazla açıklama gerektiriyor gibi görünüyor
      Yerelde çalıştırıp yalnızca siz kullanırsanız engellenmezsiniz. İlgili arama motoru açısından istek sayısı, doğrudan kullandığınızdakiyle neredeyse aynı görünür
      Evde birkaç kişi daha kullansa bile muhtemelen yine sorun olmaz
      Eski searx’i yaklaşık 1-2 yıl yerelde çalıştırdım, hiç sorun yaşamadım
    • Biraz ayrıntılı açıklayabilir misiniz?

  • Herkese açık barındırılan çok sayıda searx instance’ı var. İnternette herkese açık instance listeleri de bulunuyor; tarayıcı adres çubuğundan her arama yaptığınızda sizi rastgele bir instance’a gönderen bir araç arıyorsanız neocities kullanabilirsiniz: https://searx.neocities.org/changelog
    Sürekli kullanıyorum. Dezavantajı, bazen hiç sonuç vermeyen ya da çok kötü bir instance’a denk gelmeniz. Son zamanlarda bu daha seyrek oluyor

  • SearXNG harika ama birkaç noktaya dikkat etmek gerekiyor
    Birden fazla cihaza NAT sağlayan makinede birlikte çalıştırmak, DuckDuckGo gibi üst arama motorlarının engellemesinden kaçınmaya yardımcı olur. Başka amaçlarla da kullanılan bir IP’de çalıştıramıyorsanız, belirli üst arama motorlarına erişimi ayrı bir proxy’ye gönderme özelliği olsa iyi olurdu. Bu sorun gerçekten çok yaygın
    Yazdığım her kelimenin sonuçlarda tam olarak aynen bulunmasını zorunlu kılan %100 birebir arama modu olsa iyi olurdu. Belki de her kelimenin başına "+" koyup her kelimeyi tırnak içine almakla aynı şeydir. Sonuç az diye açıkça istemediğim kelime değişikliklerinin sürekli yapılması sinir bozucu
    Başka yerlerde de söylendiği gibi belirli alan adlarını açıkça hariç tutmak istiyorum. SearXNG’nin durumsuz kalmak istediğini anlıyorum, ama bu ayrı bir URL ile yapılandırılabilir ya da tüm aramalara uygulanacak şekilde ayarlanabilir. Örneğin bir PDF kılavuzu ararken "manualslib.com" gibi siteleri asla görmek istemiyorum
    Bunlar çözülürse iyi olur; bunun dışında SearXNG çalıştırıp insanlara Google yerine onu kullanmalarını önermek oldukça iyi işledi

  • Herkes Searx’i öne çıkarıyor ama kişisel olarak presearch.com’u seviyorum
    Hiçbir ortaklığım yok, maddi çıkarım da yok. Kripto para tabanlı iş modelleriyle de ilgilenmiyorum
    Aslında Google veya Bing tarzı arama sonucu filtrelemesinin eksikliğini, ifade özgürlüğünü savunan bir duruş olarak değil; finansman eksikliği ya da başarı için daha önemli başka öncelikler yüzünden görüyorum. İnternetin ilk dönemlerinde şirketlerin ihtiyaçlar hiyerarşisinin, PR için iyi duygular ya da doğru sözler göstermeden önce, önce bir şeyleri çalışır hale getirmeye odaklanmasına benziyor
    Her halükârda Google’ın sert filtreleyeceğini düşündüğüm konularda veya anlaşılması güç şeyler ararken ikinci bir bakış açısı elde etmek için presearch’e bakıyorum. archive.org da benzer bir şey yapsa iyi olurdu. archive.org’da muazzam veri var ama indeksleme ve aranabilirlik iyi değil

  • Ana akım arama motorlarının ayrı ayrı berbat sonuçlarının ortalamasını alıp idare eder sonuçlara dönüştürmek için en sevdiğim araç

  • Son 1 yıldır tüm cihazlarımda bunu varsayılan olarak kullanıyorum ve çok memnunum. Yalnızca iki kez engellendi; sadece güncelleme yapınca yeniden düzgün çalıştı
 
GN⁺ 6 일 전
Hacker News yorumları

  • Searx’in ilk geliştiricisiyim, ancak meta arama kavramının sınırlamaları nedeniyle artık geliştirmeye katılmıyorum. Yeni arama projem https://github.com/asciimoo/hister (https://hister.org/)
    Hister, web siteleri ve yerel dosyalar için özel amaçlı bir indeksleyici; tarayıcının render ettiği ziyaret edilmiş sayfaları otomatik olarak kaydediyor
    Tüm sayfa içeriğini sakladığı için çevrimdışı sonuç önizlemesi ve MCP üzerinden tam sayfa sunumu mümkün oluyor
    MCP kullanım örneği burada görülebilir: https://hister.org/posts/give-your-ai-assistant-a-private-me...

    • Kendi barındırdığım LLM’ler ve ajan araçları için yararlı bilgileri zenginleştirmenin bir yolunu arıyordum. SearXNG gibi meta arama araçları, bilgi ararken bot tespitine takılma olasılığını azaltıyor; ama genelde araca koymak istediğim şeyler zaten bulduğum, okuduğum ya da gördüğüm bilgiler oluyor
      Bir arama motoru ve tarayıcı eklentisiyle web sayfası içeriğini ve metaveriyi çıkarıp saklayan kendi barındırılan bir içerik deposunun benim için ideal kurulum olduğu sonucuna vardım; mümkünse birleşik içerik paylaşımı ve Wikipedia, Gutenberg gibi Creative Commons içeriklerini içe aktarma da istiyordum
      Hister neredeyse tam istediğim şeye benziyor; birkaç hafta sonra kod denetimi yapıp dağıtmayı denemek istiyorum
    • Hister, bir süredir istediğim ama yapamadığım şeye yakın. Arama motoruyla yaptığım işlerin çoğu daha önce gördüğüm şeyi bulmak olduğundan, bunu yerelde hızlıca bulabilmek harika olurdu
    • Ben de bir tür arama motorunu kendim kullanıyorum
      Yalnızca başlık, açıklama, küçük görsel ve yaygın Open Graph alanlarını indiriyor; indeksin oldukça hafif olduğunu düşünüyorum. Taranmış sayfa sayısı 2 milyon
      https://github.com/rumca-js/Internet-Places-Database
      Etiket ve oylama özelliklerini destekliyor
      Yakın zamanda ilk F-Droid uygulamamı da yayımladım
      https://github.com/rumca-js/OfflineWebSearch
      https://f-droid.org/en/packages/io.github.rumcajs.offlineweb...
    • Güzel görünüyor; meta arama kavramının sınırlamalarının ne olduğunu biraz daha açıklayıp açıklayamayacağını da merak ediyorum
    • Yaklaşık 20 yıl önce bir arkadaşım, tüm web trafiğini toplayıp uzun süreli bellek gibi kullanmak için yerel bir proxy yapmıştı. Bir web arayüzü vardı; yaklaşık on gün önce gördüğü bir şeyi ya da adını hatırlamadığı ama aklına gelen belirli bir algoritmayı hızlıca bulabiliyordu
      Yıllardır işle ilgili çeşitli bağlantıları toplayıp her gün kullanıyorum; arkadaşların veya iş arkadaşlarının rastgele sorularına şapkadan tavşan çıkarır gibi yanıt vermek için. Örneğin biri veri grafikleri için renk paleti fikri sorduğunda ilgili bilimsel araştırmayı hemen verebiliyorum; az bilinen algoritmalar için de aynı şey geçerli
      Zamanla koleksiyon epey büyüdü ve uygun şeyi bulmak çok zahmetli hale geldi; bu projenin benim sorunuma iyi uyup uymayacağını merak ediyorum

  • Bu, yerel modellere arama sağlamak için kilit bir araç gibi görünüyor
    Başkalarının bu işlevi nasıl bir kurulumla sağladığını merak ediyorum
    Kuantize edilmiş 24 milyar parametreli Gemma modeli çıktıktan sonra 4070 Ti Super’da araç çağırma iyi çalıştı; başarılı araç çağrıları sayesinde yerel ortam sonunda kullanılabilir hale geldi
    Not olarak, kodlamaya özel değil; genel bağlamdan bahsediyorum

    • Ayarlardan açılması gereken bir JSON modu var; böylece basit bir Python betiğiyle etkileşime geçilebilir veya bir ajan curl ve jq kullanarak bunu yönetebilir
      Bu sayfanın en altında: https://docs.searxng.org/admin/settings/settings_search.html
    • TinySearch MCP kullanıyorum. Ancak Unsloth Studio kullanırsanız onun yerine DuckDuckGo’nun HTML API’sini çağırıyor ve oldukça iyi çalışıyor
    • Web araması ve diğer araçları da içeren tamamen yerel bir yapay zeka yığınının nasıl göründüğünü ben de merak ediyorum. Görünüşe göre SearX, yerleşik bir MCP sunucusu sunmadığı için örneğin llama-serverdan doğrudan çağrılamıyor
      Open WebUI’de SearX ve diğer sağlayıcılarla entegrasyon var, ama aldığım sonuçlar pek etkileyici değildi
    • Kuantize bir model çalıştırıp çalıştırmadığını merak ediyorum. 4080’i olan bir arkadaşım yerel model denemeleri yapmak istiyor; o kart buna benzer olmalı, bu yüzden kurulum hakkında biraz daha bilgi verebilirsen iyi olur

  • SearXNG’yi 5 yılı aşkın süredir varsayılan internet aramam olarak kullanıyorum; YaCy arka ucu gibi alternatifleri de yedekte tutuyorum. Bu kurulumla dahili belge araması veya RAG uygulamaları da geliştiriyorum; SearXNG JSON sonuçlarını da destekliyor.
    Ancak gizlilik uğruna katlanılan dezavantajlar var. Daha yavaş ve sonuç kalitesi diğer aramalara göre daha düşük, ama çoğu sorgu için yeterince hızlı ve yeterince iyi.
    Bazen DuckDuckGo, Brave gibi aramalarda engellenip CAPTCHA çözmek gerekiyor; API anahtarı alıp kullanırsanız bundan kaçınabilirsiniz.
    Kendi arka ucunuzu kullanırsanız sonuçlarda öncelik verebilirsiniz; örneğin small web’i veya sizin için önemli siteleri taratıp tutarsanız, o siteler arama sonuçlarının üst sıralarında çıkar.

    • Ben de SearXNG’yi 5 yılı aşkın süredir her gün kullanıyorum.
      YaCy instance’ını kendiniz “çok hızlı” mı çalıştırıyorsunuz, yoksa özel bir ayar mı var, merak ediyorum.
      Benim deneyimimde YaCy, sonuçları yaklaşık 30 saniye boyunca yavaşça stream eden bir yapıda olduğundan SearX arka ucu olarak pek uygun değildi.
      Yerel kiwix-serve ile Wikipedia, Wiktionary, Gutenberg, ArchWiki gibi ZIM dosyalarını da sunuyorum; ancak Kiwix arama motoru [0] da çok fazla sonuç döndürüp SearX sonuç sayfasını kirlettiği için arka uç olarak pek uygun değil.
      SearX’i yerel bir Recoll instance’ına [1] henüz bağlamadım. Recoll ZIM dosyalarının indekslenmesini desteklemiyor, ama diğer arşivlenmiş HTML belgeleri için faydalı olabilir.
      Aramayı düzgün yapmak zor; gerçekten iyi çalışan bir kurulum varsa daha fazlasını öğrenmek isterim.
      [0] https://kiwix-tools.readthedocs.io/en/latest/kiwix-serve.htm...
      [1] https://docs.searxng.org/dev/engines/online/recoll.html

  • SearXNG’yi birkaç yıldır kullanıyorum. GFW’nin insanlık dışı ağ sansürü ve arama motorlarının proxy tespiti nedeniyle kendi instance’ımı işletmiyorum; herkese açık instance listesine [1] ve libredirect’e [2] güveniyorum.
    Tek bir instance’ın hizmeti garanti değil, ama kullanılabilir başka bir instance’a 1 dakika içinde neredeyse maliyetsiz geçilebiliyor.
    SearXNG’nin Google’dan uzaklaşmaya yardımcı olduğunu söylemek zor. Çünkü meta arama motoru, sonuç toplamak için Google gibi diğer arama motorlarını çağırıyor.
    Yine de SearXNG’yi deneyince yapay zeka özetleri gibi şeylerden hızla kaçınabiliyorsunuz.
    [1] https://searx.space
    [2] https://github.com/libredirect/browser_extension

    • Herkese açık instance’ların bugün düzgün çalışıp çalışmadığını anlamak için artık epey fazla sayıda denemek gerekiyor. SearXNG’nin daha iyi bir kalite kontrolüne ihtiyacı var.
      Sık sık ayarlara girip çalışmayan arama motorlarını devre dışı bırakmak ya da iyi çalışan motorları seçmek gerekiyor. Genelde bunun nedeni instance’ın engellenmiş olması ve güvenilirlik sorunu yaratması.
      Hangi motorun çalıştığı herkese açık instance’a göre değiştiği için ayar hash’ini kaydetmek de her zaman işe yaramıyor.
      SearXNG’nin gösterilecek arama motorlarını güvenilirliğe göre otomatik ayarlaması ya da böyle bir seçenek sunması iyi olurdu.

  • Birkaç yıldır tüm aramalarımın varsayılan motoru olarak self-host edip kullanıyorum ve şiddetle tavsiye ederim.

    • Exa fiyatlarının son dönemde oldukça pahalı olduğunu fark ettim; SearXNG’yi denemem gerekecek. Özellikle tek bir aramada 30–40 kaynak getirdiğiniz durumlarda böyle; varsayılan olarak kullanıyordum, faturayı görünce şaşırdım.

  • TinySearch, SearXNG’yi sararak ajanlar için iyi çalışıyor. Native SearXNG MCP’den daha iyi; çünkü bağlamı ajana ulaşmadan önce optimize ederek token israf etmiyor.
    https://github.com/MarcellM01/TinySearch

    • En son kontrol ettiğimde SearXNG’de yerleşik MCP sunucusu yoktu.

  • Brave Search API’ye bağlandığında iyi çalışıyor, ama scraper olarak kullanıldığında epey kararsız. Google birkaç gün öncesinden beri çalışmaz hale geldi.

  • Kodlama ajanları için MCP olarak kullanmak üzere https://github.com/denysvitali/searxng-mcp’yi yaptım. Sağlayıcıda, örneğin DuckDuckGo’da rate limit’e takılana kadar çok iyi çalışıyor.
    Çalıştırmak için bir SearXNG sunucusu da gerektiğinden, son zamanlarda bağımsız bir çözüm olan https://github.com/denysvitali/search-mcp tarafına yöneldim.

    • Benzer bir şey yaptım ([1]) ve ilginizi çekebilir. Projeye benziyor, ancak searxng’yi içine bundle etmesi gibi ilginç bir farkı var; bu yüzden ayrı bir SearXNG instance’ı çalıştırmanız veya bulmanız gerekmiyor.
      [1]: https://github.com/nikvdp/searxng-ai-kit

  • Bir süredir SearXNG’yi gerçekten seviyorum. Google’a karşı antipatim giderek arttı; iznim olmadan PC’ye küçük bir yapay zeka modeli gibi bir şeylerin kurulmasından kaçınarak arama yapabilmek harika.

  • Bu araç hep hoşuma gitti, ama aramayı tek bir şirkete değil 280 şirkete göndermenin gizliliğe ne kadar yardımcı olduğu konusunda kararsızım.