Böyle projeler görmek keyifli. arXiv’in ötesine genişleyecekse, literatür taramasında kapsamın önemli olduğunu dikkate almak gerekir.
Ne yazık ki Elsevier ve Springer gibi büyük yayıncılar, OpenAlex gibi diğer dizinlerden özetlerin kaldırılması için baskı yapıyor; bu da erişimi daha zorlaştırıyor.
undermind.ai, scite.ai, elicit.org gibi araçlara da bakıp bakmadığını merak ediyorum.
Aramanın dışında, literatür taramasına özel ürün akışına nelerin dahil olacağını da düşünmeye değer. Eskiden scite.ai’de çalışmıştım.
bioRxiv için PaperMatchBio(https://papermatchbio.mitanshu.tech/) ve medRxiv için PaperMatchMed(https://papermatchmed.mitanshu.tech/) var; ama alanlara göre birden fazla site olmasının ideal olmadığına katılıyorum.
Henüz bu ikisi için bir senkronizasyon pipeline’ı kuramadım, bu yüzden sonuçlar biraz eski olabilir.
Büyük yayıncıların özetleri kaldırtması, kapsamı genişletirken gerçek bir sorun olacak gibi görünüyor.
undermind.ai, scite.ai, elicit.org’a baktım ama yeterince derin bakmamış olabilirim; tekrar kontrol edip tamamlayıcı özellikler eklemeyi deneyeceğim.
Arama dışı literatür taraması akışıyla Mendeley/Zotero gibi referans yönetim sistemlerini mi kastettiğini merak ediyorum.
Başta çıkan Cloudflare challenge ekranı ölümcül.
Neden arXiv’de bu kadar çok makalenin eksik olduğunu merak ediyorum. Yazarın kendisinin mi göndermesi gerekiyor? Matematik, fizik ve bilgisayar bilimi makalelerini sıkça buluyorum ama biyoloji, kimya ve tıp makaleleri genelde yok.
Var olan tüm makale ID’lerini, nerede bulunduğunu ve nerede eksik olduğunu içeren bir veritabanı da en az bunun kadar faydalı olabilir. Kamu fonundan az da olsa yararlanmış hiçbir makale eksik olmamalı.
Neden mixbread modelini kullandığını merak ediyorum.
Embedding’leri ikilileştirip Hamming mesafesi kullanmanın verimliliği ne kadar artırdığını merak ediyorum.
Diğer vektör depoları yerine Milvus’u seçme nedenini merak ediyorum.
Haftalık metadata çekme işini otomatikleştirdin mi, basit bir cron işi mi, yoksa ayrıca koordine edilmesi gereken başka şeyler de var mı merak ediyorum.
“transformers on byte level not token level” diye aradığımda fena değildi ama daha yeni bir makale olan https://arxiv.org/abs/2412.09871 çıkmadı; bunu bulmak isteyen çok kişi olabilir.
Sonuç yoğunluğunu artırmak da iyi olurdu. Örneğin özetleri katlayıp ilk ekranda daha fazla sonuç göstermeye yarayan bir UI seçeneği güzel olabilir.
Sahip olduğum kaynaklar sınırlı olduğu için derlemi makul hızda işleyebilecek kadar model boyutu küçüktü. Ayrıca MRL ve ikili embedding desteği sunuyor; VM boyutunu küçültmek gerektiğinde işe yarayabilir.
https://benchmark.vectorview.ai/vectordbs.html nedeniyle Milvus’u seçtim. Yıldız sayısı fazlaysa topluluğun daha büyük, hata bulma ve düzeltmenin daha hızlı, özellik desteğinin de daha iyi olacağını varsaydım.
Haftalık çekme işlemini https://huggingface.co/spaces/bluuebunny/update_arxiv_embeddings üzerinde otomatikleştirdim. Kullanılabilir kaynaklar sınırlı olduğu için otomasyonu HuggingFace Spaces’a yaptırdım.
Ancak Space sürekli uykuya geçtiği için, bunu önlemek üzere api/gradio_client ile aynı Space’i sürekli çağırmayı planlıyorum.
Güncellik konusunda haklısın; bu yüzden bir Recency sıralama seçeneği eklemeyi düşünüyorum. Benzerlik ile yayın tarihi arasında denge kurmak gerekiyor.
Özetleri katlama ve sonuç yoğunluğunu iyileştirme konusuna da bakacağım.
Harika. Birkaç sorgu denedim; anlam tabanlı sonuçlar oldukça iyiydi.
Ancak Google Scholar gibi araçlar yerine günlük iş akışının bir parçası olacaksa, makalenin nasıl hakem değerlendirmesinden geçtiğini ve nasıl atıf aldığını görmek güzel olurdu. OpenReview gibi bir şey var; örneği de https://openreview.net/forum?id=jhKbnNhwhc.
Ayrıca bir makale kümesi için “hızlıca yetişebilmem için anlat” gibi bir özellik olsa iyi olurdu. Üretken modeller yardımcı olabilir; kastettiğim, nihayetinde makalenin literatür taraması/ilgili çalışmalar bölümüne girebilecek türden, atıflar içeren paragraflar yazması.
OpenReview’u bilmiyordum. Şeffaflığı hoşuma gitti; entegrasyonunu mutlaka değerlendireceğim.
Modelin giriş bölümünü yazmasını sağlamak da iyi bir geri bildirim. Bu arama motorunu biraz daha geleneksel tutmaya çalışıyordum ama sonuçlar iyiyse gidilmesi gereken yön bu olabilir.
Eskiden, yani LLM patlamasından birkaç yıl önce, benzer boyutta bir vektör veritabanı (gensim/doc2vec) kullandığımda, SSE veya AVX gibi komutlarla vektör aramasını düz kaba kuvvetle yapmak bile mümkündü.
C ile yazıp Python API’si eklemek yeterli. Veri birkaç GB civarındaysa gerçek zamanlı CPU kaba kuvvet aramasıyla da mümkün ve 200 ms’nin altına inebilir.
Semantik arama uygulandığı her durumda, metin aramaya göre ne avantaj sağladığını görmek isterim
Aramanın gerçekten iyileşip iyileşmediğini gösterecek bir benchmark var mı merak ediyorum. Öznel olarak yeni makaleleri daha iyi öne çıkarıp çıkarmadığını, belirli alanlarda daha kullanışlı olup olmadığını da merak ediyorum
Avantaj tamamen embedding modelinin yeteneğine bağlı. Semantik embedding nüansları anladığı için, birebir aynı anahtar kelimeler olmasa da kavramsal olarak uygun özetleri bulabilir
Örneğin “neural networks” ile “deep learning” benzer makaleleri getirebilir ve getirmeli
Öznel olarak evet diye düşünüyorum. Meslektaşlarımla paylaştığımda, bir makale hazırlarken ilgili alandaki yeni yazarları ve makaleleri bulmalarına yardımcı olduğunu söylediler
Belirli alanlarda daha kullanışlı olup olmadığı konusunda yanıt verecek yetkinlikte olduğumu sanmıyorum
Bir etken, kullanıcının sorguyu nasıl ifade ettiğidir. İnsanlar bir ölçüde tam metin aramaya alışkın, ancak semantik arama, yanıtla terimlerin örtüşmeyebileceği kelimesi kelimesine sorular sorulduğunda parlıyor
Semantik aramanın faydalı olabileceği başka iyi alanlar neler olabilir merak ediyorum. Uzun zamandır böyle bir web uygulaması yapmak istiyordum
Şu an aklıma gelen fikir, pazarlamacılar için çevrimiçi reklam araması. Video ve görsel reklamları embedding’e dönüştürüp indeksleyerek doğal dil aramasıyla pazarlama ilhamı bulmalarını sağlamak
Bir de Sephora, Zara, H&M gibi birden fazla e-ticaret platformunu kapsayan alışveriş araması var
Ancak ikisinden hangisinin çözmeye değer bir iş problemi olacak kadar iyi olduğunu bilmiyorum
Dahili belgelerde hızlı arama. Neredeyse her şirketin buna ihtiyacı var. Dosya sistemi gibi hiyerarşilerde gezinmek yavaş, sınırlı ve eski usul
Yorumlardaki ifade farklı olsa bile ilgili kısımları bulabilen kodda hızlı arama
Reklam teknolojisini daha iyi hale getirmeyi bıraksanız keşke. Bunu başka biri yapabilir, ama sizin yapmanız gerekmiyor
triilman’ın yorumladığı şeye daha çok benziyor, ama tüm bileşenleri açık kaynak. Yakında filtre ve anahtar kelime desteği eklemeyi planlıyorum. Aslında Milvus’u bekliyorum
Harika fikir
Geri bildirim olarak, “wave function collapse algorithm”, “gumin wave function collapse”, “wfc”, “model synthesis” aramaları yaptım ama ilgilendiğim araştırma alanıyla ilgili sonuçlar çıkmadı. Çok sayıda kuantum hesaplama ve başka fizik makalesi geldi WFC algorithm terimi başka anlamlarda da kullanıldığı ve kuantum mekaniğiyle hiçbir ilgisi olmadığı için bu tür bir arama için kötü bir örnek olabilir. Model synthesis de fazla genel olduğundan yine kötü bir örnek olabilir
arXiv’in kendisinde “wave function collapse algorithm” aramasının ilk sayfası ilgili sonuçlar gösteriyor
arXiv anahtar kelime tabanlı bir arama motoru olduğu için metindeki kelimeleri olduğu gibi buluyor. PaperMatch ise anlamsal olarak daha yakın benzer makaleleri bulmaya çalışıyor
Başka bir yaklaşım olarak, beğendiğiniz bir makaleyi seçip arXiv’den özetini ya da arXiv ID’sini kopyalayarak PaperMatch’e yapıştırırsanız benzer makaleleri bulmaya yardımcı olacaktır
1 yorum
Hacker News yorumları
Böyle projeler görmek keyifli. arXiv’in ötesine genişleyecekse, literatür taramasında kapsamın önemli olduğunu dikkate almak gerekir.
Ne yazık ki Elsevier ve Springer gibi büyük yayıncılar, OpenAlex gibi diğer dizinlerden özetlerin kaldırılması için baskı yapıyor; bu da erişimi daha zorlaştırıyor.
undermind.ai, scite.ai, elicit.org gibi araçlara da bakıp bakmadığını merak ediyorum.
Aramanın dışında, literatür taramasına özel ürün akışına nelerin dahil olacağını da düşünmeye değer. Eskiden scite.ai’de çalışmıştım.
Henüz bu ikisi için bir senkronizasyon pipeline’ı kuramadım, bu yüzden sonuçlar biraz eski olabilir.
Büyük yayıncıların özetleri kaldırtması, kapsamı genişletirken gerçek bir sorun olacak gibi görünüyor.
undermind.ai, scite.ai, elicit.org’a baktım ama yeterince derin bakmamış olabilirim; tekrar kontrol edip tamamlayıcı özellikler eklemeyi deneyeceğim.
Arama dışı literatür taraması akışıyla Mendeley/Zotero gibi referans yönetim sistemlerini mi kastettiğini merak ediyorum.
Neden arXiv’de bu kadar çok makalenin eksik olduğunu merak ediyorum. Yazarın kendisinin mi göndermesi gerekiyor? Matematik, fizik ve bilgisayar bilimi makalelerini sıkça buluyorum ama biyoloji, kimya ve tıp makaleleri genelde yok.
Var olan tüm makale ID’lerini, nerede bulunduğunu ve nerede eksik olduğunu içeren bir veritabanı da en az bunun kadar faydalı olabilir. Kamu fonundan az da olsa yararlanmış hiçbir makale eksik olmamalı.
“transformers on byte level not token level” diye aradığımda fena değildi ama daha yeni bir makale olan https://arxiv.org/abs/2412.09871 çıkmadı; bunu bulmak isteyen çok kişi olabilir.
Sonuç yoğunluğunu artırmak da iyi olurdu. Örneğin özetleri katlayıp ilk ekranda daha fazla sonuç göstermeye yarayan bir UI seçeneği güzel olabilir.
Ancak Space sürekli uykuya geçtiği için, bunu önlemek üzere api/gradio_client ile aynı Space’i sürekli çağırmayı planlıyorum.
Güncellik konusunda haklısın; bu yüzden bir Recency sıralama seçeneği eklemeyi düşünüyorum. Benzerlik ile yayın tarihi arasında denge kurmak gerekiyor.
Özetleri katlama ve sonuç yoğunluğunu iyileştirme konusuna da bakacağım.
Harika. Birkaç sorgu denedim; anlam tabanlı sonuçlar oldukça iyiydi.
Ancak Google Scholar gibi araçlar yerine günlük iş akışının bir parçası olacaksa, makalenin nasıl hakem değerlendirmesinden geçtiğini ve nasıl atıf aldığını görmek güzel olurdu. OpenReview gibi bir şey var; örneği de https://openreview.net/forum?id=jhKbnNhwhc.
Ayrıca bir makale kümesi için “hızlıca yetişebilmem için anlat” gibi bir özellik olsa iyi olurdu. Üretken modeller yardımcı olabilir; kastettiğim, nihayetinde makalenin literatür taraması/ilgili çalışmalar bölümüne girebilecek türden, atıflar içeren paragraflar yazması.
Modelin giriş bölümünü yazmasını sağlamak da iyi bir geri bildirim. Bu arama motorunu biraz daha geleneksel tutmaya çalışıyordum ama sonuçlar iyiyse gidilmesi gereken yön bu olabilir.
Eskiden, yani LLM patlamasından birkaç yıl önce, benzer boyutta bir vektör veritabanı (gensim/doc2vec) kullandığımda, SSE veya AVX gibi komutlarla vektör aramasını düz kaba kuvvetle yapmak bile mümkündü.
C ile yazıp Python API’si eklemek yeterli. Veri birkaç GB civarındaysa gerçek zamanlı CPU kaba kuvvet aramasıyla da mümkün ve 200 ms’nin altına inebilir.
Harika bir proje
Yakın zamanda arXiv veri kümesiyle bir embedding veritabanı oluşturdum: https://huggingface.co/NeuML/txtai-arxiv
Literatür arama alanıyla ilgileniyorsanız ilgili birkaç proje daha var
annotateai(https://github.com/neuml/annotateai) LLM ile makalelere açıklama ekliyor ve yukarıdaki arXiv veritabanında aramayı destekliyor
paperai(https://github.com/neuml/paperai) tıp ve bilim makaleleri için semantik arama ve iş akışları sunuyor; txtai(https://github.com/neuml/txtai) tabanlı
paperetl(https://github.com/neuml/paperetl) tıp ve bilim makaleleri için bir ETL süreci ve tam PDF belgelerini destekliyor
Bu arada txtai 8 gün önce arXiv embedding’lerini yayımladı
https://huggingface.co/NeuML/txtai-arxiv
Semantik arama uygulandığı her durumda, metin aramaya göre ne avantaj sağladığını görmek isterim
Aramanın gerçekten iyileşip iyileşmediğini gösterecek bir benchmark var mı merak ediyorum. Öznel olarak yeni makaleleri daha iyi öne çıkarıp çıkarmadığını, belirli alanlarda daha kullanışlı olup olmadığını da merak ediyorum
Örneğin “neural networks” ile “deep learning” benzer makaleleri getirebilir ve getirmeli
Öznel olarak evet diye düşünüyorum. Meslektaşlarımla paylaştığımda, bir makale hazırlarken ilgili alandaki yeni yazarları ve makaleleri bulmalarına yardımcı olduğunu söylediler
Belirli alanlarda daha kullanışlı olup olmadığı konusunda yanıt verecek yetkinlikte olduğumu sanmıyorum
Semantik aramanın faydalı olabileceği başka iyi alanlar neler olabilir merak ediyorum. Uzun zamandır böyle bir web uygulaması yapmak istiyordum
Şu an aklıma gelen fikir, pazarlamacılar için çevrimiçi reklam araması. Video ve görsel reklamları embedding’e dönüştürüp indeksleyerek doğal dil aramasıyla pazarlama ilhamı bulmalarını sağlamak
Bir de Sephora, Zara, H&M gibi birden fazla e-ticaret platformunu kapsayan alışveriş araması var
Ancak ikisinden hangisinin çözmeye değer bir iş problemi olacak kadar iyi olduğunu bilmiyorum
Allen Institute for AI’ın https://www.semanticscholar.org sitesine benzer bir şey mi merak ediyorum
Harika fikir
Geri bildirim olarak, “wave function collapse algorithm”, “gumin wave function collapse”, “wfc”, “model synthesis” aramaları yaptım ama ilgilendiğim araştırma alanıyla ilgili sonuçlar çıkmadı. Çok sayıda kuantum hesaplama ve başka fizik makalesi geldi
WFC algorithm terimi başka anlamlarda da kullanıldığı ve kuantum mekaniğiyle hiçbir ilgisi olmadığı için bu tür bir arama için kötü bir örnek olabilir. Model synthesis de fazla genel olduğundan yine kötü bir örnek olabilir
arXiv’in kendisinde “wave function collapse algorithm” aramasının ilk sayfası ilgili sonuçlar gösteriyor
Başka bir yaklaşım olarak, beğendiğiniz bir makaleyi seçip arXiv’den özetini ya da arXiv ID’sini kopyalayarak PaperMatch’e yapıştırırsanız benzer makaleleri bulmaya yardımcı olacaktır