DeepSearcher - Yerel Açık Kaynaklı Deep Research

• Açık kaynak modelleri ve araçları (Milvus, LangChain vb.) kullanarak Deep Research tarzında bir araştırma ajanı gerçekleştiriyor
• Web ve belge araması üzerinden konu ya da soruya dair otomatik derinlemesine araştırma yapıp, her ara adımda eylem (arama, düzenleme vb.) seçen bir ajan yapısının uygulandığı örnekler artıyor
• Bu yazı, bu fikirleri genişleten açık kaynaklı DeepSearcher projesini tanıtıyor. Sorgu yönlendirme, koşullu yürütme akışı, web crawler araçlarının kullanımı gibi konular ele alınıyor
• DeepSearcher, Python kütüphanesi ve CLI olarak sunuluyor; birden çok kaynak belge girdisi alabiliyor ve embedding modeli ile vektör DB ayarları dosya üzerinden kolayca düzenlenebiliyor
• Basit olsa da ajan tabanlı RAG gösterimi yapan bir örnek olarak, gerçek yapay zeka uygulamaları geliştirmeye giden yolda bir basamak işlevi görebilir
• Özellikle reasoning modeli hız ve verimlilik sorunları öne çıkıyor; sorgu ve arama sürecinde çok sayıda token üretilmesi gerektiğinden çıkarım kaynakları darboğaz haline geliyor
• SambaNova'nın özelleştirilmiş donanımında çalışan DeepSeek-R1 reasoning model kullanıldığında, saniye başına token üretim hızı rakip hizmetlerden daha yüksek oluyor
• Bu tür bulut çıkarım hizmetleri sayesinde Llama 3.x, Qwen2.5, QwQ gibi çeşitli modeller için de verimli çıkarım mümkün hale geliyor

Sorunun tanımı ve alt parçalara ayrılması

• İlk kullanıcı sorgusu ayrıntılı alt sorgulara bölünüyor
• Önceki yazıya benzer şekilde, "How has The Simpsons changed over time?" gibi bir sorgu aşağıdaki gibi birden çok alt sorguya ayrılıyor
  • Örnek: eserin kültürel ve toplumsal etkisi, sezonlara göre karakter, mizah ve anlatı biçimindeki değişimler, animasyon ve üretim teknolojilerindeki değişim, izleyici tepkilerindeki değişim vb.
• Sonraki aşamalarda gerekirse ek olarak soru yeniden tanımlanabiliyor veya genişletilebiliyor

Araştırma ve analiz

• Alt sorgular temel alınarak sorgu yönlendirme, vektör arama, reflection, ardından da koşullu yineleme adımlarından geçiliyor
• Sorgu yönlendirme
  • Birden çok veritabanı koleksiyonu arasından hangisinin kullanılacağını LLM'in belirlemesi için prompt tasarlanıyor
  • JSON biçiminde yanıt alınarak, her koleksiyon için arama sorguları üretilmesi sağlanıyor
• Vektör arama
  • Milvus içinde saklanan embedding'ler kullanılarak benzerlik araması çalıştırılıyor
  • Önceki yazıya benzer şekilde, kaynak veriler önceden bölünüp vektörleştiriliyor
• Reflection
  • LLM, önceki aşamada çıkan sorgu ve yanıtlara dayanarak ek bilgi gerekip gerekmediğini kontrol ediyor
  • Eksik kalan kısımlar varsa yeni alt sorgular oluşturup yeniden arama deniyor
• Koşullu yineleme
  • Reflection sonucu ek sorgu gerekirse yukarıdaki süreç tekrarlanıyor
  • Artık bilgi toplamaya gerek olmadığına karar verilirse son rapor oluşturma aşamasına geçiliyor

Nihai rapor oluşturma

• Tüm alt sorgular ve arama sonuçları birleştirilerek tek bir prompt ile rapor üretiliyor
• Önceki demoya kıyasla tutarlılığı ve bütünlüğü daha yüksek bir rapor elde ediliyor
• Örneğin, “How has The Simpsons changed over time?” sorusuna yönelik nihai rapor aşağıdaki gibi bir yapıyla ayrıntılı içerik sunuyor
  • 1. Kültürel etki ve toplumsal ilişkilenme
  • 2. Karakter, mizah ve hikâye akışının evrimi
  • 3. Animasyon ve teknik değişimler
  • 4. İzleyici kitlesi, tepkiler ve izlenme oranlarındaki değişimler
  • Sonuç: yapımın ilk dönemlerdeki asi hicivden popüler bir ikona dönüşüm süreci vb.
• DeepSeek-R1 modeli kullanılan sürüm ile GPT-4o mini modeliyle oluşturulan rapor sürümü karşılaştırılabiliyor

Gelecek yönelimleri

• DeepSearcher henüz basit düzeyde olsa da, ek ajan kurguları, raporun yapılandırılması, koşullu yinelemenin genişletilmesi gibi alanlarda daha da geliştirilebilir
• Büyük ölçekli reasoning modelleri çok ağır hesaplama gerektirdiğinden, çıkarım hızı ve maliyet hizmetin temel meseleleri haline geliyor
• SambaNova'nın DeepSeek-R1 modeliyle 65 çıkarım çağrısı yapıldığı, yaklaşık 25k giriş tokenı ve 22k çıkış tokenı kullanıldığı; yaklaşık 0,30 dolar maliyetle yeterince hızlı yanıt alındığı belirtiliyor
• DeepSearcher deposu üzerinden proje doğrudan denenebiliyor; ayrıca ileride ek özellikler ve örneklerin paylaşılmaya devam edilmesi planlanıyor

• İlgili bağlantılar
  • DeepSearcher GitHub
  • Önceki yazı: “I Built a Deep Research with Open Source—and So Can You!”
  • SambaNova - Fastest DeepSeek-R1 671B
  • Milvus Open-Source Vector Database

[GN⁺]

Hacker News görüşleri

• Bu sistem yerel LLM kullanmadığı için gerçekten yerel bir sistem değil

  • Ollama ve LM Studio tarafından barındırılan yerel LLM'leri kullanabilen bir derin arama aracı olup olmadığını merak ediyorum

• HuggingFace'in açık kaynak sürümüyle karşılaştırmasını merak ediyorum

  • HF sürümü, web'de gezinip sonuçları topladıktan sonra bunları değerlendirip nihai sonucu sentezleyen bir muhakeme LLM'i kullanıyor
  • Bu sürüm ise web taramasında oluşturulan belgelerin vektör deposunu gösteriyor gibi görünüyor

• Grok'un uygulamasındaki sihrin büyük kısmı, web sitelerinin çoğunu önbelleğe alması sayesinde çok hızlı hissettirmesi

  • Bing/Brave araması bu özelliği sunmuyor gibi görünüyor
  • Böyle bir hizmetin var olup olmadığını merak ediyorum

• Deep Research için farklı yaklaşımları beğeniyorum

  • Flow kullanarak yeni iş akışlarını deniyorum

• İlgili iki blog yazısı var

  • Açık kaynak kullanarak Deep Research inşa etme deneyimini paylaşıyor

• Büyük yapay zeka şirketleri aynı Deep Research ürününü yaptığına göre, paylaşılan bir açık kaynak platformuna odaklanmak mantıklı olacaktır

• Web tarama entegrasyonunun pratikte ne anlama geldiğini merak ediyorum

  • Teorik olarak bunun, Sci-Hub'dan makaleleri okuyup geçerli, lisansüstü düzeyde araştırmalar üretmek için kullanılıp kullanılamayacağını merak ediyorum
  • DeepSeek R1, GPT-4o ve diğer büyük modellerle yazılmış raporları karşılaştırmak için faydalı olabilir
  • Açık kaynak kod, çeşitli LLM'lerin sınırlarını daha hızlı ortaya çıkarabilir ve belirli ihtiyaçlara uygun daha iyi muhakeme döngüleri geliştirmeye yardımcı olabilir

• Kişisel notlara (Obsidian) ve web'e bağlanabilen bir Deep Research aracı arıyordum

  • Bu araçta bu özellik var gibi görünüyor
  • Şimdi geriye kalan tek şey, Deep Research sonuçlarını Obsidian'a nasıl aktaracağımı bulmak

• Gerçekten denedim ve birkaç sorunla karşılaştığım için openAI text embeddings'i MilvusEmbedding ile değiştirmem gerekti

  • QuickStart iyi yanıt verdi

• Asıl sihirli mermi, lib-gen ve sci-hub içinde arama yapmak