Vikipedi'de En Az Görüntülenen Makaleyi Bulmak (2022)
(colinmorris.github.io)- Vikipedi, popüler sayfaları haftada milyonlarca görüntülenme alırken, 6 milyondan fazla madde arasında yılda tek haneli sayıda okunan aşırı derecede popüler olmayan sayfaları da barındırıyor
- 2021'de yaklaşık 32.000 maddelik bir örneklemde en alt sıralarda çok sayıda anlam ayrımı sayfası vardı; bunlar çıkarıldığında, yıllık 7-9 görüntülenmede kalan güve ve sinek türleri, İran köyleri ve soyadları gibi kısa taslaklar öne çıktı
- “Random article” düğmesi, her sayfanın
page_randomdeğeri ile bir önceki değer arasındaki random gap'e göre farklı seçilme olasılıklarına sahip; bu yüzden bazı sayfalar ortalamadan çok daha az gösteriliyor - Kapsam, ortalama gap'in yaklaşık 1/10'u ya da daha küçük olan 600 bin sayfaya daraltıldığında, 2021'in en az görüntülenen maddeleri Trichromia phaeocrota ve Opharus corticea oldu; her biri insana ait olduğu tahmin edilen 3 görüntülenme aldı
- En alttaki 500 sayfa arasında böcek taksonları, bazı gastropodlar ve mantarlar, coğrafi yer şekilleri ve set index sayfaları çoktu; tür ve yerleşim yeri maddeleri, düşük kayda değerlik eşiği nedeniyle zayıf kaynaklarla bile çoğu zaman varlığını sürdürüyor
Örneklemde ortaya çıkan popüler olmayan sayfaların özellikleri
- Vikipedi'de 6 milyondan fazla madde var ve popüler sayfalar haftada milyonlarca görüntülenme alıyor
- Buna karşılık, günde birkaç kez bile görüntülenmesi zor olan sayfalar da var; örnekler şöyle:
- Yazarın oluşturduğu maddeler arasında en az popüler olanı, Sunday reading periodical; Viktorya dönemi dergi türü hakkında bir madde ve ayda ortalama yaklaşık 12 görüntülenme alıyor
- Vikipedi görüntülenme verileri ham dump'lar ve API üzerinden açık olsa da, en az görüntülenen maddeleri doğrudan sıralamanın kolay bir yolu yok
32.000 rastgele örneklemin analizi
- 2021 görüntülenme verileri, yaklaşık 32.000 Vikipedi maddesinden oluşan bir örneklemden toplandı
- Örneklemde yıllık görüntülenme medyanı 1.000'in biraz altında, ortalama ise uzun kuyruk nedeniyle yaklaşık 13.000
- Örneklemde 2021 toplam görüntülenmesi tek haneli olan neredeyse 100 madde vardı
- Ancak en alttaki 50 maddenin tamamı anlam ayrımı sayfalarıydı ve analizde bunlar “gerçek madde” olarak kabul edilmedi
- Anlam ayrımı sayfaları çıkarıldığında, yıllık tek haneli görüntülenmeye sahip maddeler 7-9 aralığında kalan birkaç kısa taslağa daralıyor
- Erygia sigillata: güve türü
- Hilarigona obscurata: sinek türü
- Loxocrambus hospition: güve
- Makhoshin: İran köyü
- Bojerud: soyadı
- Scrobipalpula crustaria: güve
“Random article” düğmesi ve random gap
- Aşırı düşük görüntülenme sayıları, kullanıcıların Random article düğmesiyle geldiği durumların sonucu olabilir
- Random article düğmesi 2015'ten beri anlam ayrımı sayfalarını yok sayacak şekilde uygulanıyor; bu da anlam ayrımı sayfalarının örneklemde en düşük görüntülenmelere yığılmasını açıklayabilir
- Vikipedi maddeleri oluşturulurken 0 ile 1 arasında rastgele bir değer olan
page_randomatanıyor - Random article isteği geldiğinde sunucu 0 ile 1 arasında rastgele bir sayı üretiyor ve bu değerden büyük olan
page_randomdeğerleri içinde en yakın sayfayı döndürüyor - Bu yöntem tamamen adil değil
- Bir sayfanın seçilme olasılığı, o sayfanın
page_randomdeğeri ile hemen önceki sayfanınpage_randomdeğeri arasındaki fark, yani random gap büyüklüğüne eşit - Gap'i küçük olan sayfaların Random article'da seçilme olasılığı da düşüyor
- Bir sayfanın seçilme olasılığı, o sayfanın
Görüntülenme tabanı ile random gap arasındaki ilişki
- Vikipedi'de yaklaşık 6 milyon madde varsa, ortalama random gap yaklaşık
1/6,000,000, yani1.67e-7 - Örneklemde en az görüntülenen Erygia sigillata maddesinin
page_randomdeğeri0.500764585777, hemen önceki Katherine Hanley maddesinin değeri ise0.500764582314 - İki değer arasındaki fark yaklaşık
3e-9; bu, ortalama random gap'ten %98 daha küçük ve maddenin Random article'da ortalama bir sayfaya göre 50 kat daha düşük seçilme olasılığına sahip olduğu anlamına geliyor - Yıllık tek haneli görüntülenmeye sahip diğer 5 maddenin random gap'leri de
3e-9,9e-9,8e-9,4e-9,8e-9,2e-8; hepsi ortalamadan yaklaşık bir mertebe daha küçük - Tüm 32.000 maddelik örneklemde random gap ile görüntülenme arasındaki ilişki belirgin değil
- Ancak yılda 200'den az görüntülenmeye sahip maddeler ya da Category:Phaegopterina stubs içindeki yaklaşık 1.500 madde gibi zaten ilgi düzeyi düşük görünen kümelerde ilişki daha belirgin hale geliyor
2021'in en az görüntülenen maddeleri
- En az görüntülenen madde, yalnızca kamusal ilginin düşük olduğu bir konu değil, aynı zamanda random gap'i çok küçük olan bir madde de olmalı
- Analiz kapsamı, gap'i ortalamanın yaklaşık 1/10'u olan
1.7e-8ya da daha küçük maddelerle sınırlandırılarak 600 bin “en şanssız” sayfa incelendi - Bu 600 bin sayfanın tamamı da 2021'de en az birkaç kez görüntülendi
- 2021'de en az görüntülenen maddelik birinciliği, insana ait olduğu tahmin edilen 3 görüntülenme alan iki madde paylaştı
- Trichromia phaeocrota: random gap
4e-9 - Opharus corticea: random gap
1e-9
- Trichromia phaeocrota: random gap
- Her iki madde de güve türleri hakkında
En alttaki 500 maddede tekrar eden kalıplar
- En alttaki 500 madde listesine Least viewed articles in 2021 sayfasından bakılabilir
- Konu dağılımı oldukça tutarlı
- Önemli bir kısmı böcek türleri ya da diğer böcek taksonlarıyla ilgili maddeler
- Ayrıca 17 gastropod ve Harknessiella adlı 1 mantar da yer alıyor
- Bir sonraki yaygın kategori coğrafi yer şekilleri; özellikle İran ve Sri Lanka köyleri sık görünüyor
- Kälberbuckel gibi kısa coğrafya maddeleri de var
- Tekrar eden bir başka kategori ise set index sayfaları
- Set index article, anlam ayrımı sayfasına benziyor ve benzer şekilde çalışıyor, ancak Vikipedi sınıflandırmasında anlam ayrımı sayfası sayılmıyor
- DMZ//38 ya da EuroNanoForum 2009 gibi, Vikipedi'nin eski gevşek kayda değerlik ölçütlerini hatırlatan birkaç madde de bulunuyor
Neden bu kadar çok güve var?
- Vikipedi, yaşayan kişiler, şirketler ve müzik grupları gibi konular için sıkı kaynak gereksinimleri uyguluyor
- Bu konular tanıtım, çıkar ya da çatışma amaçlı düzenlemelere açık olduğu için, yalnızca birincil kaynak doğrulamasıyla madde açmak zor ve birden çok bağımsız ikincil kaynağın anlamlı kapsamı gerekiyor
- Bu nedenle, bu koşulları karşılayan konulara Random article kullanıcıları dışında da ilgi duyan birilerinin olması muhtemel; dolayısıyla en alttaki 500'de neredeyse hiç görünmüyorlar
- Buna karşılık, tür maddeleri ve yerleşim yeri maddeleri genel olarak silinmiyor
- Konu zayıf biçimde kaynaklandırılmış olsa bile çoğu zaman kalıyorlar
- Alt sıralardaki birçok madde, veritabanları, yer adları sözlükleri, kitaplar ya da akademik dergilerdeki kısa anmalar gibi tek bir kaynağa dayanıyor
- Düşük eşik nedeniyle bazı maddeler, mekanik biçimde üretilmiş taslaklar gibi görünüyor
- Pottallinda 12 kelimelik bir taslak ve 2021'de 5 görüntülenme aldı
- 18 Ocak 2011'de User:Ser Amantio di Nicolao tarafından oluşturuldu ve 60 saniye içinde Polmalagama, Polommana, Polpitiya, Polwatta gibi çok sayıda benzer madde daha açıldı
- Bu aşırı küçük ve popüler olmayan maddeler Random article kullanıcılarını hayal kırıklığına uğratabilir, ancak daha sonra başka editörlerin genişletebileceği bir temel çalışma da olabilir
Veri ve kod
- Görüntülenme verileri ile scraping ve analiz kodları, GitHub deposu wiki-pageview-floor içinde açık olarak yayımlandı
1 yorum
Hacker News yorumları
Wikipedia'da bunun olmasının nedeni gelir elde etme ya da tartışmalı bakış açıları değil; silme kararlarında en sık, atıf yapılan kaynakların niteliği ve kalitesinden türeyen kayda değerlik kriterlerinin kullanılmasıdır.
Eskiden uluslararası düzeyde spora katılmış kişilerin genel olarak kayda değer sayıldığına dair bir yönerge vardı; bu yüzden milli takımda yalnızca bir maç oynamış bir futbolcu bile zayıf kaynaklarla silinmekten kurtulabiliyordu.
Ancak bu yönerge kaldırılıp genel kayda değerlik yönergesine (GNG) dönülünce, kişiler için ulusal ölçekte güvenilir ana akım medyada yayımlanmış kayda değer biyografik haberler gerekli hale geldi; maç raporları, yerel röportajlar ve taraftar medyası ise genelde kapsam dışı kaldı.
Sonuç olarak kadın uluslararası futbolcular hakkındaki yüzlerce taslak ve onlarca tam madde, Dünya Kupası kazananları bile ana akım medya kapsamı görece yetersiz olduğu için GNG'yi karşılayamadı; bir editör bu yaz Kadınlar Dünya Kupası başladıktan sonra bu maddeleri topluca silinmeye aday gösterince neredeyse hepsi silindi.
Bu yüzden güve ya da yer maddelerinin kalmasının nedeni gelir elde etme ya da tartışmalı olmaları değil; Wikipedia editörlerini hakaret nedeniyle dava edemeyecek nesneler ve yerler için tamamen farklı kayda değerlik kriterlerinin uygulanmasıdır.
https://en.wikipedia.org/wiki/Wikipedia:WikiProject_U.S._Roads/Newsletter/Issues/Volume10/Issue01
Polygon ve Kotaku haberleri olduğu için yeterli olduğunu düşünüyordum ama başta zor bir işti.
Düğmelere çok hızlı basan biri gerçekten kayda değer bir kişi midir?
Teknoloji, akademi, yerel siyaset gibi alanlarda çeşitli rol ve unvanlara sahip kişiler hakkındaki sayısız Wikipedia maddesinin bu kriteri karşılayamayacağını düşünüyorum.
Oldukça popüler bir web çizgi romanının bile viki maddesi olamadığını görünce şaşırdığımı hatırlıyorum.
Wikipedia'nın az bilinen en iyi özelliklerinden birinin, her maddenin en altında yer alan katlanmış gezinme kutuları olduğunu düşünüyorum.
Karmaşık bir konuyu kuşbakışı görmek ve bir öğenin karmaşık hiyerarşik yapı içinde nereye oturduğunu anlamak için çok iyiler.
Bazıları bir gün duvara asmak isteyeceğim kadar küçük sanat eserleri gibi.
https://imgur.com/gallery/ILp6TtA
Varsayılan olarak kapalı olmaları gerektiğini anlıyorum, ama userjs ile onları sayfanın en üstüne taşıyıp açık bırakıyor ve gezinmek için kullanıyorum.
Çok fazla yer kaplamamaları için CSS
zoomdeğerini 0.3 olarak ayarladım.Rastgele bir madde seçme biçimleri şok edici
Rastgeleleştirmede kalıcı bir önyargı oluşuyor ve tek tek maddelerin seçilme olasılığının zamanla değişme biçiminde kaçınılmaz olarak ciddi bir yol bağımlılığı var
1’den N’ye kadar rastgele bir tam sayı seçmek roket bilimi değil
Acaba belirli tercih edilen maddelerin önündeki alanı boş bırakarak daha sık çıkmalarını sağlamak gibi kasıtlı bir ağırlıklandırma mı var diye de merak ettiriyor
MySQL, gerçekten rastgele bir satırı performanslı biçimde seçmek üzere tasarlanmış değil
ORDER BY RAND() LIMIT 1gibi saf bir yaklaşımın performansı berbat;LIMIT 0 OFFSET RAND() * row_countda benzer şekilde kötüWHERE id >= RAND() * max_id ORDER BY id LIMIT 1gibi performanslı bir yöntem kullanırsanız, silinmiş maddeler yüzünden oluşan ID boşluklarının belirli maddelerin daha sık seçilmesine yol açmasıyla aynı sorun ortaya çıkıyorDoğru çözüm yalnızca iki tane: rastgele bir ID seçip geçerli değilse yeniden denemek ya da tüm geçerli maddeleri ardışık bir tam sayı dizisi halinde tutan ayrı bir sütun/tabloyu sürdürmek
İlki, ID’lerin ne kadar seyrek olduğuna bağlı olarak bazen 20 kez yeniden denemeye yol açabilir; bu da performansı öngörmeyi zorlaştırır. İkincisinde ise her madde silindiğinde, ortalama olarak tam sayı sütununun yarısını yeniden hesaplayıp yeniden yazmak gerekir
Sonuçta, oyuncak bir özellik sayılabilecek bir şey için Wikipedia’nın yöntemi “yeterince iyi”; her gün/hafta toplu işlerle ya da her madde düzenlemesinde rastgele sayıyı yeniden hesaplamak dezavantajlarını azaltabilir
Mevcut yöntemde yalnızca en yakın tek maddeyi seçmek yerine, öncesinden ve sonrasından yaklaşık 50’şer madde seçip bu 100 madde arasından yeniden rastgele seçim yapmakla da büyük ölçüde iyileştirilebilir
Tam bir hack ama pratikte hâlâ çok hızlı olurdu
1’den N’ye kadar rastgele bir tam sayı seçerseniz kötü bir sonuç gelme olasılığı var
Spam’i düşünürsek kötü sayfaların iyi sayfalardan fazla olma olasılığı da hiç düşük değil; o zaman birkaç kez yeniden seçmek gerekir
Yeniden çekilişi makul bir strateji olarak görüyorum, ama herkesin bu olasılığa öylece güveneceğini sanmak zor
Gerçekten 99 kötü sayfa ve 1 iyi sayfadan oluşan bir wiki yaparsanız, rastgele madde düğmesi çoğu zaman çalışmayacaktır
Geçerli madde sayısı M’ye göre 1’den M’ye kadar da seçebilirsiniz, ama bu sayıyı gerçek madde ID’sine nasıl eşleyeceğiniz aynı sorun olarak kalır
Bu yöntemde önyargı olabilir, ancak sabit zamanlı performansa sahiptir
Kişisel olarak tüm geçerli maddeleri bellekte tutup içlerinden birini seçmeyi tercih ederim
Ekim itibarıyla yalnızca 7 milyon adet var; silinmiş maddeler dahil edilse bile muhtemelen 70 milyon civarıdır, yani HN’deki toplam öğe sayısına benzer bir ölçek
Hatta diskte her geçerli madde için birer dosya oluşturup
find . -type f | shuf -n 1ile rastgele arama yaptıktan sonra sonucu birkaç saniyede bir önbelleğe almak bile çok kötü olmaz gibi, ama onun da kendine özgü önyargıları varSaf bir oyuncak özellik olduğu için ağırlıkların eşit olmaması çok da önemli değil; MariaDB’de
ORDER BY RAND() LIMIT 1’ın tüm tabloyu taradığı söyleniyorUzak önbellek veri merkezi içinde yerel olur, kalıcı depolamayla desteklenir ve uzun bir TTL’e sahip olabilir
Önbellek TTL’i boyunca geri getirilmiş maddeleri seçemeyebilirsiniz, ama bu sorun değil
Veri merkezi yerelliği bir ölçüde hata toleransı ve düşük gecikme sağlar; kalıcı depolama da yeniden başlatmalarda soğuk önbellek sorununu azaltır
ID aralığının maksimum watermark’ı asenkron güncellenebilir; yeni maddelerin kısa süre görünmemesi sorun değil
Meğer sadece tesadüfmüş
Mevcut uygulamada madde sayısı arttıkça ağırlıklar kabaca birbirine yaklaşıyor; tekil kullanıcıların da zaten yalnızca rastgele bir madde almakla ilgilenip adaletle pek ilgilenmemesi muhtemel, bu yüzden makul sayılır
Sıradan bir Peru güvesi, İran’daki herhangi küçük bir köy, Viktorya dönemi İngiltere’sinde pazar günü okunacak metinler gibi bilgileri tek bir yerde bulabilmek gerçekten harika
İnternet öncesinde bunlar muhtemelen basılacak kâğıt maliyetine bile değmezdi; şimdi bulut depolama maliyeti fiilen sıfıra yaklaştığı için inanılmaz değerli uzun kuyruk bilgisine sahip oluyoruz
Bu tür içerikleri katkılayan ve sürdüren insanlara minnettarım
Ek olarak, bir sayfaya “Bu sayfayı ziyaret ettim ve Peru’daki Foovius Barivius Moth ile ilgilenen başka biriyle bağlantı kurmak istiyorum” gibi bir not bırakılabilse gerçekten harika olurdu
https://gwern.net/inclusionism
Örneğin kullanıcının en uzun süre bakacağı yazıları bulan TikTok tarzı dikey bir akış olabilir; WikiScroll da zaten bir ölçüde bu yöne gidiyor
Her maddeye insanların sohbet edebileceği bir sohbet odası eklemek ya da DM özelliği koyup yalnızca Wikipedia bağlantıları gönderilmesine izin vermek de mümkün
Sosyal katalizör olarak Wikipedia fikri çok ilginç
https://wikiscroll.blankenship.io/
Bir sayfaya not bırakırsanız aynı uzantıyı kurmuş başka biri görebilir ve şansınız varsa sizinle iletişime geçebilir
Bence internetin en iyi kısmı
Wikipedia’da hiç sıkıcı madde olmadığını matematiksel olarak kanıtlayabiliriz
Olmayana ergi ile kanıtlamak yeterli
Tüm maddeleri ilginçlik sırasına göre derecelendirip sıraladıktan sonra en düşük değere bakarsak, mutlaka en sıkıcı madde vardır
Ama o maddenin tüm Wikipedia’daki en sıkıcı madde olması gerçeği, başlı başına o maddeyi ilginç kılar
Benzer şekilde bu blog yazısında geçen en düşük görüntülenme sayısına sahip maddeler de şimdiye kadar o konumlarını kaybetmiştir sanırım
En sıkıcı maddenin tam olarak bir tane olduğunu varsayıyor gibi
Ama aynı en düşük ilginçlik düzeyine sahip yüzlerce madde olabilir; o zaman o yüzlercesini sıkıcı madde saymak gerekir
Buna bir de ondan sonraki en sıkıcı madde olmanın ilginçliğini katmak gerek
Muhtemelen doğrudur, dolayısıyla QED
Biri en sıkıcı maddeyi bulup onun üzerine düşünene kadar o madde ilginç değildir
Matematiksel özellikler ebedidir ve biri baksa da bakmasa da vardır
Birleşik Krallık Network Rail’in Least Used Stations konusunu ele alan Geoff Marshall serisi aklıma geldi
https://www.youtube.com/playlist?list=PLt4q5oaptyI9U2zddss8dm8srzuJj6nRz
https://www.youtube.com/@geofftech2
Wikipedia yöneticileri önemli olmadığını iddia ettikleri maddeleri silme konusunda hevesli olduğundan, en düşük görüntülenme sayısına sahip madde epey sık değişiyor olabilir
İstihbarat kurumları tarafında bir oyun da olmuş olabilir
Rahatsız edici tarihsel gerçekleri silmenin çok iyi bir yolu
Artık belirli bir siyasi komplo içermeyen, rootkit’lerle ilgili komik küçük bir hikâyeden ibaret oldu
Örneğin ABD’de Wikipedia maddesi olmayan bir şehir, kasaba, köy ya da küçük yerleşim bulmak zor gibi
Jack Wade, Alaska’ya bakınca Google Maps’te yaklaşık 8 ev görünen bir yer olmasına rağmen Wikipedia’da var
Nadir bir güve türü maddesinin kaldırılacağını da sanmıyorum
Yine de dünyadaki her bireyin bir Wikipedia maddesi olmamasını sağlamak için bir tür politika gerekir
Google Maps: https://www.google.com/maps/place/Jack+Wade,+AK+99732/@64.1519419,-141.4630071,448a,35y,3.16t/data=!3m1!1e3!4m6!3m5!1s0x5149e998873be075:0x2f1a9ca47f03bf1b!8m2!3d64.1526072!4d-141.4604683!16s%2Fm%2F0480bm5?entry=ttu
Wikipedia: https://en.wikipedia.org/wiki/Jack_Wade,_Alaska
Ancak böyle benzersiz bir statünün ortaya çıkmasının yol açabileceği vandalizm istisna olabilir
İlgilenenlere küçük bir not: Yazarın kullandığı veri kümesinin bir yan ürünü de olabilir, ama en düşük görüntülenme sayısına sahip maddelerin ortak noktalarından biri, konularının Wikipedia içerik yönergelerine göre genelde silme adayı olmayan bir kategoriye girmesi
Yazar, güve maddelerinin tartışmalı bir bakış açısını dayatmak için pek fırsat sunmayacağını söylemişti; ama düzenleme geçmişine bakınca bu yılın başlarında Scrobipalpula crustaria’nın kanat açıklığı konusunda bir görüş ayrılığı olmuş
11–13 mm mi, 10–13 mm mi?
İnsanlar böyle şeylere güçlü duygular besliyor
En düşük görüntülenme sayısına sahip Wikipedia maddesinin adını bulup yayımlarsanız, o maddenin görüntülenme sayısı artar ve onu en başta bulma nedeni ortadan kalkar
https://en.m.wikipedia.org/wiki/Observer_effect_(physics)
Bir sorun mu var?
Adil olmak gerekirse 2021 veri kümesini analiz ettiği için doğal olarak bundan etkilenmez
Bir tane bulsanız bile varlığını duyurduğunuz anda onu yok etmiş olursunuz
quizzaciouslyörneğine bakın6 milyondan fazla madde olsa bile, 6.0e6 onlarca yıl öncesinden beri brute force ile denenebilecek bir sayıydı
Doğrusal arama, maddeleri okuma süresinden daha az sürmüş olabilir; yazıyı yazma süresinden ise neredeyse kesinlikle daha az sürerdi
Elbette öyle yapılsaydı bu kadar eğlenceli ya da zekice olmazdı; ama iyi mühendislik neredeyse her zaman böyledir