- Çamaşır odasına yerleştirdiği kişisel sunucuyla Searcha Page/Seek Ninja adlı bir arama motoru kurarak Google’a yakın bir deneyim sunan bir DIY projesi
- Yaklaşık 2 milyar sayfalık bir indeksle başlayıp yarım yıl içinde 4 milyar belgeye ulaşmayı hedefliyor; geleneksel indeksleme yöntemlerini LLM tabanlı anahtar kelime genişletme ve bağlam anlama ile birleştiriyor
- İkinci el sunucu parçalarından oluşturulmuş AMD EPYC 7532(32 çekirdek)·0,5 TB RAM sınıfı bir sisteme toplam 5 bin dolar harcandı; maliyetler yükseltme arbitrajı (upgrade arbitrage) stratejisiyle düşürüldü
- Buluta bağımlılığı en aza indirirken LLM çıkarımı için SambaNova’nın Llama 3 modelini kullanıyor; Seek Ninja ise profil kaydetmeyen ve konum kullanmayan gizlilik odaklı sürüm
- Yapay zekanın devreye girmesiyle düşük maliyetli ölçekleme mümkün hale geldi; 150 bin satırlık kod tabanında LLM, yinelemeli geliştirmeyi hızlandırarak tek kişinin büyük ölçekli bir sistemi kurabilmesini sağladı
- Kişisel ve düşük maliyetli bir kurulum olmasına rağmen yerel aramada doğruluk ve hız sağlandı; ileride trafik artarsa colocation’a taşınma seçeneğini düşünmesi, alternatif aramanın deneysel potansiyelini gösteriyor
Arka plan: küçük donanımla ‘neredeyse Google gibi’ arama deneyimi
- Google’ın Stanford döneminde Duplo kasalı sunucu ile başlamış olmasıyla karşılaştırıldığında, eski bir sunucuyla bile modern arama deneyimine yaklaşılabileceğini gösteren bir örnek
- 30 yıl önce Google, Stanford kampüsünde Backrub olarak başlarken, Duplo bloklardan yapılmış bir kasada 40 GB veri barındıran deneysel bir sunucu kullanıyordu
- Sonradan IBM ve Intel bağışlarıyla küçük bir sunucu rafına yükseltildi; ancak 2025 itibarıyla Google Arama, tek bir veri merkezine sığmayacak kadar büyüdü
- Ryan Pearce’ın Searcha Page projesi, orijinal Google sunucusu boyutlarında bir makineyle modern bir arama deneyimi sunuyor
- Sunucu, ısı ve gürültü sorunlarını azaltmak için yatak odasından çıkarılıp çamaşır makinesi ve kurutucunun yanına taşındı
- Çamaşır odası gibi kısıtlı bir ortamda olmasına rağmen, gerçek arama sonucu kalitesi hissedilir biçimde üst sıralara yakın düzeyde değerlendiriliyor
- İndeksin boyutu şu anda yaklaşık 2 milyar belge ve 6 ay içinde 4 milyar belgeye ulaşması bekleniyor
- Karşılaştırma ölçütleri: 1998’de Google 24 milyon sayfa, 2020’de 400 milyar sayfa
- Mutlak ölçek daha küçük olsa da self-hosted tek bir sunucu için son derece büyük bir seviye
Temel teknoloji: geleneksel indeksleme + LLM desteği
- Genel mimari, geleneksel arama motoru yapısını izliyor; buna ek olarak LLM ile anahtar kelime genişletme ve bağlam değerlendirmesi sağlayan hibrit bir tasarım kullanılıyor
- RankBrain gibi büyük arama motorlarının geçmişte AI’ı içselleştirme sürecini hatırlatarak, LLM’e yönelik tepkilerden bağımsız olarak yapay zekanın zaten aramanın temel öğelerinden biri olduğu vurgulanıyor
- LLM, özellikle veri seti oluşturma ve bağlamsallaştırma süreçlerinde geliştirme hızı ve ölçeklenebilirliği artıran pratik bir araç olarak kullanılıyor
- İşletici, başlangıçta LLM ile uygulayıp sonra bunu geleneksel mantıkla değiştirme şeklinde yinelemeli geliştirme yaptı; kod tabanı yaklaşık 150 bin satıra ulaştı
- Yinelemeli geliştirme de hesaba katıldığında, toplam iş yükünün fiilen 500 bin satıra yakın olduğu tahmin ediliyor
Altyapı: kendi kendine indeksleme ve ikinci el sunucuların ‘yükseltme arbitrajı’
- Donanım, AMD EPYC 7532(32 çekirdek) tabanlı ikinci el bir sunucu; piyasaya çıktığında 3 bin dolar+ seviyesinde olan CPU’nun bugün 200 doların altına inmiş olmasından aktif şekilde yararlanılıyor
- Toplam kurulum maliyeti 5 bin dolar seviyesinde; bunun yaklaşık 3 bin doları depolamaya ayrılmış
- 0,5 TB RAM yapılandırması gibi seçimlerle yüzlerce eşzamanlı oturumu işleyebilecek kapasite elde edildi
- Self-hosting yaklaşımıyla bulut kullanımı minimumda tutulurken, yalnızca LLM çıkarımı için SambaNova (Llama 3) üzerinden düşük maliyetli ve hızlı erişim kullanılıyor
- Common Crawl başta olmak üzere açık web korpuslarından yararlanılarak crawler ve indexer hızlandırılıyor; bu bağımlılığın zamanla azaltılması planlanıyor
Ürünler: Searcha Page ve Seek Ninja
- Searcha Page: Google’a benzer geleneksel SERP UX sunuyor ve yerel aramada da geçerli sonuçlar veriyor
- Meta açıklamaları yerine LLM özetleri kullanarak sorgu-belge ilişkisinin açıklanmasını güçlendiren bir yapıdan söz ediliyor
- Seek Ninja: profil kaydı yok, konum kullanımı yok yaklaşımıyla önce gizlilik anlayışını benimseyen bir varyant
- gizli mod yerine kullanılmaya uygun hafif ve minimalist bir yaklaşım
- Gelir modeli olarak aşırı banner’lar yerine ılımlı iştirak tipi reklamlar test ediliyor; trafik ani şekilde artarsa colocation’a taşınma planlanıyor
Karşılaştırmalı örnek: Wilson Lin’in bulut ve vektör yaklaşımı
- Aynı dönemdeki başka bir bireysel deneyde Wilson Lin, cloud-native strateji ile kendi vektör motorunu (CoreNN) birleştirerek çok düşük maliyetli işletim hedefliyor
- Her belge için LLM özeti üreterek sorgu-belge eşleşmesini farklı bir biçimde ifade ediyor
- Asıl engelin teknoloji değil, pazar ve dağıtım kanalları olduğu yönünde ortak bir görüş paylaşılıyor
- Pearce bir dönem vektör DB denemiş; ancak sonuçların muğlak ve sanatsal olacak kadar isabetsiz olduğunu düşündüğü için, sıralama doğruluğu açısından geleneksel yöntemlere geri dönmüş
Operasyonel meseleler: ısı, gürültü ve çamaşır odasının fiziksel sınırları
- Sunucu önce yatak odasında ısı nedeniyle günlük yaşamı etkileyince servis odasına taşındı; bağlantı için kablolar adına delik açılması gibi çözümler uygulandı
- Kapı uzun süre kapalı kalırsa ısı birikmesi sorun olabildiğinden havalandırma önemli bir unsur
- Bulut şüpheciliği eğilimi olsa da, LLM ve trafik sınırları dikkate alınarak veri merkezi colocation’ına geçiş belirli tetikleyicilere bağlı biçimde değerlendiriliyor
Anlamı: tek kişinin Google’ı yakalama deneyi ve LLM’in gerçekçi rolü
- Yaygın kanının aksine LLM, ‘arama kalitesini bozan bir araç’ değil; bireylere arama motoru kurma kabiliyeti sağlayan, geliştirme ve ölçekleme hızlandırıcısı olarak işlev gören gerçekçi bir araç
- Geleneksel indeksleme + LLM desteği, doğruluk ve açıklanabilirliği birlikte hedefleyen pratik bir orta yol sunuyor
- Düşük maliyetli ikinci el sunucu + açık korpuslar + ucuz LLM API’leri birleşimi, büyük teknoloji şirketlerinin devasa kaynakları olmadan da alternatif arama denenebileceğini kanıtlıyor
- Önünde dil kapsamını genişletme, sürekli crawling maliyeti ve spam’e dayanıklılık gibi zorluklar dursa da, niş arama ve gizlilik odaklı alanlarda deneysel bir rekabet gücü gösteren bir örnek olarak öne çıkıyor
Henüz yorum yok.