Tüm ISBN'lerin Görselleştirilmesi

 (annas-archive.org)
2 puan yazan GN⁺ 2025-01-11 | 1 yorum | WhatsApp'ta paylaş

  • ISBN görselleştirmesi

    • Anna's Archive, insanlık tarihindeki en büyük açık kitap kataloğunu sunuyor.
    • Her piksel 2.500 ISBN'yi temsil eder; dosya varsa piksel yeşil olarak gösterilir.
    • Tüm kitapların yalnızca %16'sının yedeği alınmış durumda ve daha yapılacak çok iş var.

  • Arka plan

    • Anna's Archive, insanlığın bilgisini yedeklemek için ISBN numaralarını kullanarak bir kitap kataloğu oluşturuyor.
    • ISBN'ler, 1970'lerden bu yana çoğu ülkede yayımlanan kitaplara atanıyor.
    • Merkezi bir otorite olmadan, dağıtık bir sistem olarak çalışıyor; numaralar ülkelere, büyük yayınevlerine ve ardından küçük yayınevlerine tahsis ediliyor.
    • Anna's Archive, ISBNdb, Worldcat, Google Books gibi çeşitli metadata kaynaklarını scrape ederek en büyük açık kitap metadata koleksiyonuna sahip.
    • Nadir ve risk altındaki kitapları belirlemek ve korumak önemli.

  • Görselleştirme

    • Farklı veri setleri ayrı ayrı görüntülenebiliyor; açılır menü ve düğmeler kullanılarak geçiş yapılabiliyor.
    • Veri setleri arasında Anna's Archive, Google Books, Goodreads, Internet Archive ve diğerleri yer alıyor.
    • Görselleştirmede düzenli çizgiler ve bloklar, boş alanlar gibi desenler gözlemlenebiliyor.

  • 10.000 dolarlık ödül

    • Görselleştirmeyi iyileştirmek için bir ödül programı var ve 31 Ocak 2025'e kadar açık kaynak kodun gönderilmesi gerekiyor.
    • En iyi gönderi 6.000 dolar, ikinci 3.000 dolar, üçüncü 1.000 dolar alacak; ödemeler Monero (XMR) ile yapılacak.
    • Asgari kriterleri karşılamasa bile bazı başvurulara kısmi ödül verilebilir.
    • Başvurular, görselleştirmeyi iyileştirmek için HTML'i düzenlemeli ve hem masaüstünde hem mobilde iyi çalışmalı.
    • Ek puanlar kullanılabilirlik ve görsel çekiciliğe göre verilecek.

  • Kod

    • Görsel oluşturma kodu ve örnekler belirli bir dizinde bulunuyor.
    • ISBN bilgilerini sağlamak için 75MB'lık sıkıştırılmış bir veri formatı kullanılıyor.
    • Ödül programına katılmak için bu formatı kullanmak şart değil, ancak başlangıç için en pratik format bu.
    • Tüm kod açık kaynak olarak sunulmalı.

İlgili okumalar

1 yorum

 
GN⁺ 2025-01-11
Hacker News yorumları

  • Aşağıda ödülü gördüğüme göre kazanma şansımı çöpe atıyorum ama bu görselleştirme Hilbert eğrisine eşlemek için biçilmiş kaftan görünüyor [0]
    Veriyi şu anki gibi “şeritler” hâline getirince, sıralamada birbirine yakın noktalar da epey uzağa düşebiliyor. Çünkü Y ekseninde bir hücre aşağı inmek verinin tüm bir satırını atlamak demekken, X eksenindeki mesafe özgün veriyle 1:1 eşleşiyor
    Hilbert eğrisine eşleyince X ve Y eksenlerinin kendisi anlamını yitirir ama sıralı listede birbirine yakın noktalar, çıktı görselinde de görsel olarak yakın olur
    ISBN’de ilk bölüm ülke, ikincisi yayınevi, üçüncüsü başlık ve sonda bir checksum olduğuna göre, checksum’ı çıkarıp tireler olmadan her birini büyük sayılar olarak sıralardım
    O zaman büyük yayıncı ülkelerin kapladığı geniş bölgeler “ada” gibi görünür, o adanın içinde de yayınevi kodları parlak noktalar olarak belirirdi. Bu tür bölgelere etiket de eklerseniz bonus puanlık iş olur
    Daha önce mülakat için hava durumu verisine bu yöntemi uygulayan bir şey yapmıştım [1]. Mevsimsel veriler birlikte kümelendiği için mevsimsellik çok net görünüyor
    [0] https://en.wikipedia.org/wiki/Hilbert_curve
    [1] https://graypegg.com/hilbert (bu kodla ödüle girişmek isterseniz https://github.com/graypegg/hilbertcurveplayground referans olabilir. Yeniden kullanırsanız en azından adımı anmanızı isterim ama engel olamam)

    • İkinin kuvveti olmayan dikdörtgen alanlar için genelleştirilmiş bir Hilbert eğrisi olan Gilbert eğrisi de var [0], çevrimiçi demosu da var [1]
      [0] https://github.com/jakubcerveny/gilbert
      [1] https://jakubcerveny.github.io/gilbert/demo/
    • Hilbert eğrisini örneğin yılan tipi desenden daha tercih edilir yapan özelliğin ne olduğunu merak ediyorum. Yılan tipi desende de bitişik ISBN’ler görselleştirmede komşu olur
      Hilbert eğrisi aslında yalnızca eğri yapısının bir ürünü; sonuçların veride belirgin “kare” bölümler varmış gibi görünmesine yol açmasından endişeleniyorum [0]. Bu anlamda mevcut görselleştirme, her ülkenin konumunu doğrudan kavramayı kolaylaştırdığı için daha kullanışlı
      [0] https://raw.githubusercontent.com/jakubcerveny/gilbert/maste...

  • Sorun şu ki ISBN hiyerarşik değil. ISBN’ler bloklar hâlinde satın alınabiliyor ya da saçma bir ek ücret ödeyerek tek tek de alınabiliyor. Bunu tek bir kitabı yeniden yayımlamak için bir tane satın almış biri olarak söylüyorum
    Bu yüzden bu görselleştirme özellikle ilginç ya da yararlı bir şey göstermiyor
    ABD Kongre Kütüphanesi sınıflaması veya Dewey Onlu Sınıflaması kullanan bir görselleştirme çok daha yararlı olurdu; özellikle de kamu malı ve telif serbest depolara/listelere bağlansaydı daha da iyi olurdu. Örneğin John Mark Ockerbloom’un kaynaklarının etkileşimli ve görsel bir sürümünü yapmak gibi
    https://onlinebooks.library.upenn.edu/

    • ISBN hiyerarşiktir. Ne demek istediğinizi anlamadım. Galya gibi ISBN de birkaç parçaya ayrılır; bir parça dil, başka bir parça yayınevi, sonuncusu da başlığa karşılık gelir. En son bölüm checksum’dır https://en.wikipedia.org/wiki/ISBN#Overview
    • Bu görselleştirme göstermek istediği şeyi gösteriyor. Esas olarak dünyadaki kitapların ne kadarına sahip olduklarını. Hiyerarşi ile ilgisi yok
    • Siyah piksel miktarına bakınca ISBN’lerin fiilen kullanılma hızından çok daha hızlı tahsis edildiği de görülüyor
      Görsel 1000×800 piksel ve piksel başına 2500 ISBN var; yani 2 milyar ISBN görselleştiriliyor. ISBN-13, 12 basamak ve 1 kontrol basamağından oluştuğuna göre, normalde mevcut görselden 500 kat daha büyük ya da yoğun olmasını beklersiniz
      Mevcut boyut, yalnızca 978 ve 979 önekli ISBN’lerin dahil edildiği anlamına geliyor gibi görünüyor; alt yarı daha seyrek olduğundan muhtemelen yeni 979 aralığına karşılık geliyor

  • Açıklamaya göre kırmızı ve yeşil pikselleri ayırt edebilmem gerekiyor ama renk görme bozukluğu yüzünden göremiyorum sandım. Yalnızca kırmızı ve siyah görüyorum
    Ama renk görme bozukluğu düzeltme tarayıcı eklentisi kullansam bile daha fazla rengi ayırt edemiyorum. Sorun bende mi, grafik mi garip merak ediyorum

    • Referans olarak, renk görme bozukluğum yok ve kırmızı, yeşil, siyah pikselleri görüyorum. Çıplak gözle bakınca grafik garip görünmüyor
      Aşağı kaydırıp etkileşimli görselleştirme aracını bulun ve “Files in Anna's Archive [md5]” olarak değiştirin; yeşil piksel konumları griyle vurgulanıyor
    • Benim gibi kırmızı-yeşil renk görme bozukluğu varsa şöyle yapabilirsiniz
      Görsele sağ tıklayıp “Inspect”i seçin, ardından elemana yeni bir CSS hue-rotate filtresi ekleyin
      element { max-width: 100%; margin: 0 auto; filter: hue-rotate(-90deg); }
      Normalde filter: saturate(100); kullanırım ama bu görsele pek uymadı. Döndürme açısını ayarlamanız gerekebilir; bende en iyi -90 derece çalıştı
    • Grafiğin kendisi iyi görünüyor ve gerçekten kırmızıyla az miktarda yeşil piksel var. Ne yazık ki sorun eklenti tarafında gibi
    • Benim de renk görme bozukluğum var; bu grafik iyi değil
    • Yeşil noktalar ve yeşil noktalardan oluşan birkaç satır görüyorum. Yakınlaştırmayı denediniz mi?

  • Anna's Archive dünyanın harikalarından biri. İnsanlık neredeyse kendi kendini yok etse bile Anna's Archive ayakta kalırsa, nispeten hızlı bir yeniden inşa için umut olur

    • “Nispeten hızlı bir yeniden inşa” demişsiniz; burada kendi kendini yok etme gerekli bir önkoşulsa bu gerçekten iyi bir şey mi?

  • Sunucu IP’si AB’de engellenmiş gibi görünüyor. Hollanda’da Ziggo internetinde şu mesaj çıkıyor:
    “Bu web sitesi engellendi
    Avrupa yaptırımları
    Avrupa Konseyi, RT (eski adıyla Russia Today) ve Sputnik News web sitelerinin artık iletilmemesine karar verdi. Erişmeye çalıştığınız web sitesi bu Avrupa yaptırımına tabidir
    VodafoneZiggo yaptırımı uygulamakla yükümlü olduğu için web sitesini engelledi”

    • Polonya’da sorunsuz açılıyor. Bunun yerine şu bağlantı kullanılabilir:
      https://web.archive.org/web/20250106112552/https://annas-arc...
    • Güncelleme: DNS sunucusu ayarlarını değiştirip, zaten doğrudan işlettiğim sunucunun ISP’ye iletmek yerine kök DNS kullanmasını sağlayınca çözüldü
    • Fransa’da sorun yok
    • Kendi özyinelemeli çözümleyicinizi çalıştırmanın bazı avantajları var
    • Finlandiya’da sorun yok

  • Bu mesajı başkaları da görüyor mu?
    “Bu sunucu annas-archive.org olduğunu kanıtlayamadı. Güvenlik sertifikası *.hs.llnwd.net tarafından verilmiş. Bu bir yapılandırma hatasından ya da bir saldırganın bağlantınızı ele geçirmesinden kaynaklanıyor olabilir”

    • Bende de öyle. Birleşik Krallık’ta EE internetinde annas-archive.org için DNS sorgusu yapınca www.ukispcourtorders.co.uk adresi dönüyor ve onda da güvenlik uyarısı çıkıyor
      Hangi sitede olursa olsun uyarıyı yok sayıp girince HTTP 400 hatası veriyor
      Wikipedia’ya göre www.ukispcourtorders.co.uk daha önce engellenen alan adlarını ve ilgili mahkeme kararlarını listeleyen bir siteymiş
      https://en.wikipedia.org/wiki/List_of_websites_blocked_in_th...
    • Hayır, sizin tarafta ortadaki adam saldırısına benzer bir şey yaşıyormuşsunuz gibi geliyor. Gerçi alan adının kendisi normal bir CDN gibi görünüyor
    • Finlandiyalı ISP’nin DNS’inde Google Trust Services tarafından verilmiş, normal görünen bir sertifika çıkıyor
    • Bende de aynı

  • Bu grafikte neyin neye karşılık geldiğini anlamak epey zor. Biri Bookland’in, yani 978’in nerede olduğunu işaretlerse yön bulmak biraz kolaylaşır gibi

    • Daha kolay görselleştirme yapmak zaten bu yazıda duyurulan ödülün amacı

  • Oradaki ISBN dosyasını indirip kullanmak yasa dışı mı? Böyle bir bilgiye sahip olmanın ne gibi bir sorun olduğunu anlamıyorum

    • libgen ve sci-hub’a bağlantı veren bir sayfaysa, telif hakkı konusunu o kadar dert etmiyorlardır sanırım

  • “Her piksel 2.500 ISBN’i temsil eder. O ISBN’in dosyası varsa pikseli daha yeşil yaparız” denmiş ama daha yeşil ne demek anlamadım. Yeşilin tonlarını göremiyorum
    Ayrıca siyah pikseller kayıtlı olmayan ISBN’ler diye mi düşünmeliyiz?

    • Renk körlüğü testi yaptırmanızı öneririm. Yeşil çok belirgin; özellikle tüm görüntüde yaklaşık %40 aşağıdaki bölgede iyi görünüyor
    • Yakından bakınca gerçekten biraz kahverengimsi pikseller ve koyu yeşil pikseller var

  • Şu mesaj çıkıyor:
    “Avrupa yaptırımları
    Avrupa Konseyi, RT (eski adıyla Russia Today) ve Sputnik News web sitelerinin artık iletilmemesine karar verdi. Erişmeye çalıştığınız web sitesi bu Avrupa yaptırımına tabidir”

    • Bu web sitesi DNS düzeyinde sansürleniyor, ama sanırım yanlış hata sayfasını seçmişler
      İtalya’da sadece NS_ERROR_CONNECTION_REFUSED ile başarısız oluyor
    • Avrupa IP’siyle burada sorunsuz açılıyor
    • DNS’i 1.1.1.1 (Cloudflare) ya da 8.8.8.8 (Google) gibi bir şeyle değiştirmeniz yeterli