Scrapegraph-ai - LLM ve doğrudan grafik mantığıyla web scraping

 (github.com/VinciGit00)
20 puan yazan xguru 2024-05-10 | 1 yorum | WhatsApp'ta paylaş
  • Yapay zeka tabanlı web scraping için açık kaynaklı bir Python kütüphanesi
    • LLM ve doğrudan grafik mantığını kullanarak web siteleri, belgeler ve XML dosyaları için scraping pipeline'ları oluşturur
  • Hangi bilgiyi çıkarmak istediğinizi belirtmeniz yeterli; kütüphane gerisini otomatik olarak halleder
  • Ollama, OpenAI, Groq, Azure, Gemini gibi çeşitli modelleri kullanabilir
  • Sunulan düğümler
    • Base düğümü, HTML Fetch düğümü, Image_to_text düğümü, Text_To-Speech düğümü, internet arama düğümü
    • Conditional düğümü: grafikteki bir sonraki düğümü belirler
    • Answer generation düğümü: LLM kullanarak sorunun yanıtını üretir
    • generate_scraper düğümü: kullanıcı girdisine göre içerikten istenen bilgiyi çıkarır
    • Get_probable_tags düğümü: içerikte istenen bilgiyi taşıyan HTML etiketlerini bulur
    • Parse düğümü: HTML belgesinden bilgi çıkarır
    • Rag düğümü: büyük belgelerden ilgili bilgiyi çıkarır
    • Robots düğümü: robot erişimine izin verilip verilmediğini kontrol eder

İlgili okumalar

1 yorum

 
ng0301 2024-05-13

CSR web uygulamalarında çok iyi veri çekemiyormuş gibi bir izlenim edindim; bu yüzden biraz hayal kırıklığı yarattı.
Buna karşılık SSR konusunda oldukça memnun kaldım.