Google, arama sonuçlarından Anna’s Archive ile ilgili 749 milyon URL’yi kaldırdı

• Anna’s Archive, korsan e-kitaplar ve materyallerin bulunabildiği bir gölge kütüphane meta arama motoru olup 2022 sonbaharında açıldı
• Son 3 yılda yayıncılar ve yazarların telif hakkı bildirimleri nedeniyle Google, bu siteye ait 749 milyon URL’yi arama sonuçlarından kaldırdı
• Bu sayı, Google’ın bugüne kadar işlediği tüm telif hakkıyla ilgili URL’lerin %5’ine karşılık geliyor ve The Pirate Bay’den çok daha büyük bir ölçek anlamına geliyor
• Penguin Random House, John Wiley & Sons gibi 1000’den fazla hak sahibi DMCA talebi sundu ve her hafta yaklaşık 10 milyon yeni URL bildiriliyor
• Büyük çaplı kaldırmalara rağmen Anna’s Archive’ın ana alan adlarına hâlâ erişilebiliyor ve Google aramasında site adıyla hâlâ kolayca bulunabiliyor

---

Anna’s Archive’a genel bakış

• Anna’s Archive, birden fazla gölge kütüphanede birleşik arama yapılabilen bir meta arama motoru ve korsan kitaplar ile materyalleri bulma işlevi sunuyor
  • 2022 sonbaharında, Z-Library ABD makamlarının yaptırımından hemen sonra açıldı
  • Başlangıç noktası, halka ‘ücretsiz’ kitaplar ve makaleler sunmayı sürdürme amacıydı
• Açılışından bu yana geçen 3 yılda çeşitli ülkelerde engelleme tedbirleriyle karşılaştı ve ABD’de WorldCat verilerinin 2.2 TB’ının izinsiz toplanması iddiasıyla dava edildi
• Ayrıca yapay zeka araştırmacılarına veri erişimi sağlama yönünde faaliyetler de yürütüyor

Google’ın büyük çaplı kaldırma adımı

• Google, telif hakkı ihlali şüphesi taşıyan URL’leri hak sahiplerinin talebi üzerine arama sonuçlarından kaldırıyor
• Anna’s Archive ile ilgili toplam 784 milyon URL bildirildi ve bunların 749 milyonu fiilen kaldırıldı
  • Bazı bağlantılar Google tarafından dizine eklenmediği için kaldırma kapsamı dışında kaldı
• Karşılaştırma için, The Pirate Bay’de 4.2 milyon URL kaldırıldı; bu da Anna’s Archive’ın ölçeğinin çok daha büyük olduğunu gösteriyor
• Sitenin ülkelere göre farklı alt alan adları işletmesi ve çok sayıda sayfaya sahip olması nedeniyle kaldırılacak URL sayısı da yüksek

Google’daki tüm telif hakkı kaldırmalarının %5’ini oluşturuyor

• Google’ın şeffaflık raporuna göre 2012’den bu yana toplam 15.1 milyar telif hakkı ihlali URL’si bildirildi
  • Bunların içinde Anna’s Archive ile ilgili URL’ler toplamın %5’ini oluşturuyor
• Penguin Random House ve John Wiley & Sons başlıca bildirim sahipleri arasında yer alıyor; 1000’den fazla yayıncı ve yazar DMCA talebi sundu
• Hâlen her hafta yaklaşık 10 milyon yeni URL ek olarak bildiriliyor

Arama sonuçlarındaki görünürlük

• Büyük çaplı kaldırmalar nedeniyle kitapla ilgili aramalarda sitenin görünürlüğü azaldı
  • Çok sayıda URL gösterimden kaldırıldı ya da arama sıralamasında geriledi
• Ancak ‘Anna’s Archive’ adıyla doğrudan arama yapıldığında ana alan adları hâlâ üst sıralarda görünüyor
• Google’ın adımlarına rağmen siteye erişimin kendisi engellenmiş değil

Yayıncılık sektörünün tepkisi ve sınırları

• Yayıncılar siteyi doğrudan engellemekte zorlandıkları için Google gibi üçüncü taraf platformlara kaldırma talepleri göndermeyi sürdürüyor
• Hukuki baskıya rağmen annas-archive.org, .li, .se gibi ana alan adları hâlâ faaliyette
• Orijinal metinde ek gelecekteki adımlar veya politika değişikliklerine dair bir ifade yer almıyor

[GN⁺]

Hacker News görüşleri

• Kulağa tuhaf gelebilir ama, Yandex'in DMCA talepleriyle kaldırılan içerikleri bulurken epey iyi bir arama motoru olduğunu fark ettim
  Örneğin Netflix'te olmayan bir filmi web üzerinden izlemek istediğinizde, arama sonuçları çok daha iyi oluyor
  Sanki yeniden 2005'teki Google'ı kullanıyormuşum gibi

  • Ben de birkaç yıldır bittorrent infohash bulmak için Yandex kullanıyorum
    Çünkü Google, Bing ve DuckDuckGo artık düzgün sonuç vermiyordu
    Bugünlerde blockchain explorer gibi yerlerde sadece kısa kısmi eşleşmeler gösteriyorlar; bunun kasıtlı mı olduğunu yoksa bulanık eşleştirme (fuzzy matching) denemesinden mi kaynaklandığını bilmiyorum
    Her hâlükârda bu kullanım için tam bir başarısızlık
  • Kagi, Startpage, Ecosia, DDG gibi birçok arama motoru kullandım ve hepsi Google'dan daha ilgili sonuçlar veriyor
    Google fazla kişiselleştirilmiş durumda
  • Bir Ukraynalı olarak Yandex'in bir propaganda aracına dönüşmesine öfke duyuyorum, ama bir mühendis olarak onların onlarca yıllık araştırma mirasına ve üstün arama teknolojilerine saygı duyuyorum
  • Arama motoru kalitesini uzun zamandır şöyle test ediyorum
    İyi bir motor korsan siteleri gösterir, harika bir motor ise onları sahte sonuçların üstüne koyar
    Ama bir motor ne kadar iyi olursa, sonunda o kadar dikkat çekip bu sonuçları sildirtir
    O noktada başka bir yer bulma zamanı gelmiş demektir
  • Komik olan, birkaç gün önce eşim kendi ülkesinin tarihinden bahsedip ilgili bir film önerdi ama Google, DDG, Bing ya da Brave'de çıkmadı
    Ama Yandex'te ilk 3 sonuç içinde hemen göründü
    Bu arada DDG artık neredeyse Google'la aynı olmuş, hatta sponsorlu sonuçlar bile eklenmiş

• Anna’s Archive, Google'ın Gemini eğitimine gereken tüm veriyi zaten sağladığı için, şimdi de hiç var olmamış gibi davranıyor gibi görünüyor

  • Acaba Anna’s Archive bir zamanlar dünyanın bilgisini düzenleyip onu evrensel olarak erişilebilir hâle mi getirmişti?
  • Google şeffaflık günlüğünü gönüllü olarak işletiyor ve DMCA uyumu yalnızca hukuki yorum meselesi
    Çevrimiçi toplulukların bunun etrafında kötü niyetli komplo teorileri üretmesini anlamak zor

• Google şimdi yeniden arama mı yapıyor?
  Bu günlerde benim kullandığım chatbot markası, 100 tane SEO spam sitesinden kaçınıp aynı bilgiyi bana buluyor; bu rahatlığı nasıl yenebilirler bilmiyorum

  • Chatbot'ların Google'a göre spamlardan daha az etkilendiğini duydum; doğru mu diye merak ediyorum
  • Google'ın gerçekten arama yaptığı zamanları hatırlıyor gibiyim
    (Kullanıcı adın hoşmuş)
  • Chatbot'ların kendilerine ait internet ölçeğinde bir indeksleri yok
    Sonuçta bilginin kaynağını doğrudan doğrulama konusundaki muhakeme yetisini bırakmış oluyorsun
  • Chatbot'ların verdiği linklerin %25 ila %90'ı halüsinasyon
    Ya da sonunda sadece Google aramasının yerini almış oluyorlar
  • LLM tabanlı yapay zeka, doğası gereği veri manipülasyonu saldırılarına açık
    Gerçek insan seviyesinde bir AGI böyle girişimleri fark ederdi, ama bugünün chatbot'ları bunu yapamıyor
    İlgili yazı: NYTimes - AI Chatbot Prompts and Manipulation

• Google'ın hoşuna gitmeyecek türden aramalar hiç yapmıyorum
  Seri numaraları, şirket telefon numaraları, makaleler, kitaplar gibi şeylerin hepsini Yandex ya da Brave ile buluyorum
  Google ne yaparsa yapsın umurumda değil, zaten kullanmıyorum

• Anna’s Archive ortadan kaybolmadan önce z-archive torrentlerini tamamen indirmem gerektiğini düşünüyorum
  Büyük PDF'ler ve İngilizce olmayan kitaplar hariç tutulursa, sıkıştırılmış hâlde iki adet 32 TB sürücüye sığar gibi görünüyor
  https://annas-archive.org/torrents

  • Büyük PDF'leri çıkarmak biraz fazla keyfi bir ölçüt değil mi?
    PDF'lerin büyük olmasının sebebi çoğu zaman renk ya da çözünürlük sorunlarıdır, içerik değil
  • Ben geçmişte DPI ve renk derinliğini azaltıp sonra tekrar PDF olarak birleştirerek boyutu küçülttüm
    Aynı kitabın farklı baskılarını otomatik tespit edip yalnızca tek bir epub bırakıp geri kalanını silmek de mümkün olabilir
  • Ben de İngilizce/Almanca/Fransızca sürümlerden bir yedek oluşturmak istiyorum
    Ama HDD ve dosya sistemi sorun olduğu için, belki de bir torrent bölücüyü kendim yazmam gerekecek
  • Ben listeyi önce küçük dosyalar dolacak şekilde ters çevirip düzenliyorum

• https://annas-archive.org

• Bu tür sitelerdeki içeriği bulmak için neredeyse hiç Google'a bel bağlamadım
  Sitenin kendisi başlık, yazar, biçim, tarih gibi alanlarla zaten iyi indekslenmiş; serbest arama yeterli oluyor

  • Google gibi web araması yaklaşık eşanlamlı aramalarda güçlüdür
    Mesela “a a a a ah ah ah ah dance song” diye aratsanız bile Otto Knows'un “Million Voices” parçasını bulabilir
  • Ama bu tür sitelerde tam metin arama (full-text search) yok, değil mi diye merak ediyorum
    Google'ın da Anna’s Archive sayfalarının gövde metnini indekslediğini sanmıyorum

• Yakın zamanda Library Genesis kapatıldıktan sonra, Anna’s Archive sanki elde kalan son kitap deposu gibi görünüyor
  Başka alternatifler var mı merak ediyorum

  • Anna’s Archive'ın bağlantı verdiği Open-Slum.org var
  • Kitaplar için WeLib.org, sesli kitaplar için AudiobookBay öneririm

• Google'ın anlamsızlığa doğru yürüyüşü sürüyor

  • Yine de dünya çapındaki arama sorgularının %97'si hâlâ Google'da

• Web arama ortamı tamamen değişti

  • Kapalı platformlar (walled garden) arttı, bu yüzden arama motorlarının erişemediği çok daha fazla alan var
  • Yasal kısıtlamalar yüzünden de erişilemeyen çok veri var
  • Artık yalnızca Google değil, Yandex, Kagi ve ChatGPT'yi de birlikte kullanmak gerekiyor
  • Kendi oluşturduğum indeks Internet Places Database'i de birlikte kullanıyorum