Wikimedia Foundation'ın deneysel LLM/RAG Chrome uzantısı 'Citation Needed' yayımlandı
(chromewebstore.google.com)Wikipedia Citation Needed Chrome uzantısı
- Web'de gezinirken belirli bir metin bölümünü seçerek ilgili iddiayı doğrular
- ChatGPT API'yi kullanarak Wikipedia'da ilgili belgeleri arar ve bu belgelerden alıntı yapar
- Seçilen ifadenin Wikipedia tarafından desteklenip desteklenmediğine dair bilginin yanı sıra, belgenin son düzenlenme tarihi ve referans sayısı gibi belge kalite sinyallerini sunarak kullanıcının aldığı bilgiler (Wikipedia'dan aldığı bilgiler dahil) hakkında daha fazla bağlam edinmesine yardımcı olur
Kullanıcı geri bildirimi talebi
- Bu özelliğin üretken yapay zeka kullanan deneysel bir özellik olduğu ve zaman zaman hata yapabileceği kabul ediliyor
- Sonuçların kalitesini anlamak ve iyileştirmek için, keşfedilen sorunların uzantıdaki geri bildirim bağlantısı üzerinden bildirilmesi isteniyor
- Genel geri bildirimlerin yanı sıra, Wikipedia'nın günlük web gezintisinde faydalı biçimde kullanılabileceği başka yöntemlere dair fikirler de memnuniyetle karşılanıyor
Geliştirici bilgisi
- Bu uzantı, Wikipedia ve kardeş projelerini destekleyen kâr amacı gütmeyen kuruluş Wikimedia Foundation'ın Future Audiences ekibi tarafından geliştirildi
GN⁺ görüşü
- Bu uzantı, kullanıcının web'de karşılaştığı bilgilerin güvenilirliğini değerlendirmesine yardımcı olabilir. Ancak Wikipedia maddelerinin kendi kalite ve doğruluk sınırları da olabileceğinden, bunu mutlak bir ölçüt olarak almak zor görünüyor.
- ChatGPT gibi büyük dil modellerini kullanarak özetleme ve doğrulamayı otomatikleştirmek kullanıcı kolaylığını artırabilir; ancak aynı zamanda yanlış bilgi üretme riski de taşıyor. Bu konuda sürekli izleme ve iyileştirme çabaları gerekli görünüyor.
- Wikipedia'nın yanı sıra, her alandaki uzmanlarca doğrulanmış güvenilir bilgi kaynakları da ek olarak kullanılırsa doğrulamanın doğruluğu ve kapsamı artırılabilir. Uzun vadede, blockchain tabanlı merkeziyetsiz bir bilgi tabanı kurulması da değerlendirilebilir.
1 yorum
Hacker News yorumları
İnternetteki iddiaları Wikipedia ile karşılaştırıp doğrulayan deneysel bir LLM tabanlı RAG uygulaması
Ayrıntılar https://meta.wikimedia.org/wiki/Future_Audiences/Experiment:... adresinde görülebilir
Bu çalışmaya katıldığımı da not düşeyim
Son 6 ayda yaklaşık 8 tarayıcı eklentisi yaptım; çoğunun binlerce kullanıcısı var, biri de 500 bin kullanıcıya kadar çıktı
Şu anda LLM tabanlı bir tasarım asistanı eklentisi yapıyorum; “hello[at]papillonsoftware[dot]dev” üzerinden ulaşılabilir
Bu yüzden adı Citation Needed olabilir diye düşündürüyor. Sonuçta gerçekte hiçbir şeye atıf yapmıyor
Alıntıların da halüsinasyon görüp göremeyeceğini, yoksa deterministic quoting[1] gibi bir yöntem mi kullandığını merak ediyorum
Bu arada o çalışmanın yazarıyım
[1] https://mattyyeung.github.io/deterministic-quoting
Belgeleri incelerken anahtar kelime veya regex ile aramak yerine, İngilizce olarak daha karmaşık kavramları aramak için kullanılıp kullanılamayacağını sormak istiyorum
Değilse, o seviyeye gelmek için ne tür ek çalışmalar gerekir, onu da merak ediyorum
Yine de deterministic quoting çalışması ilginç görünüyor
Firefox eklentisi yok
Bu tür projeler tarayıcı rakiplerini zayıflatmaya yardımcı olur
İyi fikir. İleride LLM’in Wikipedia maddelerinin kendisini de doğrulayıp işaretleyebilmesi güzel olurdu
Bu eklentinin Wikimedia Git deposu burada
https://gitlab.wikimedia.org/repos/future-audiences/citation...
Ayrıca README’deki derleme yönergeleri eksik ve hot reload da çalışmıyor gibi görünüyor. Çalışan bir derleme elde etmek için
npm run build-devkullanabilirsinizFirefox eklentisi olarak da yapılmasını neyin engellediği açık değil. Muhtemelen sidebar/sidepanel API farkı olabilir ama bu konuyla çok uğraşmadım
Buna arama tabanlı bir belge üretici eklerseniz, bir belge üreticiniz ve bir belge denetleyiciniz olur; bu şekilde doğrudan 1 trilyon sayfa oluşturabilirsiniz
LLM eğitim içeriği olarak da kullanılabilir, insanlar da kullanabilir gibi görünüyor
Bunun yalnızca Chrome’da mı çalıştığını merak ediyorum. Arc’ta çalıştıramadım
@wikimedia: Lütfen Firefox sürümü
“Wikipedia’da alıntı bulan Chrome eklentisi” deniyor ama akademide Wikipedia’ya atıf yapmak genelde tabu
Bunun nedenlerinden biri güvenilirliğinin düşük görülmesi; yazar, kendisinin düzenleyebileceği bir kaynağa atıf yapabilir
Daha önemlisi, Wikipedia birincil kaynakları bulmak için iyi olabilir ama kendi başına ikincil kaynaktır
Artık büyük ölçekli akademik sahtekârlıkların gerçekten ortaya çıktığı ve bunları düzelten neredeyse hiçbir düzeltmenin yapılmadığı görüldü
Buna karşılık Wikipedia kötüye kullanımlarla oldukça iyi başa çıktı; Wikipedia bağlantısı kullanmak akademi için bir tehdit olmaktan çok, akademik sahtekârlık Wikipedia için daha büyük bir tehdit
Google ile aradığınızda aynı bilginin çok sayıda tekrarını bulursunuz, ancak çoğu site kaynak göstermez
Wikipedia’dan önce de ikincil kaynaklara atıf vermezdik ama bir konuya giriş yapmak ve ilgili kaynakları bulmak için kesinlikle kullanırdık
Akademisyenler kendi makalelerine veya editoryal kontrol sahibi oldukları başka kaynaklara sürekli atıf yapar
Kaynakçanın birincil kaynaklardan çok ikincil kaynaklara yönelmesini ister
“Wikipedia articles should be based on reliable, published secondary sources, and to a lesser extent, on tertiary sources and primary sources. Secondary or tertiary sources are needed to establish the topic's notability and avoid novel interpretations of primary sources.”
https://en.wikipedia.org/wiki/Wikipedia:No_original_research
Kendisi hakkında sorunca şöyle döndü
Asıl kullanım amacına uygun kullanmadım ama biraz komikti