ArchiveTeam Warrior Projesi

 (warrior.archiveteam.org)
1 puan yazan GN⁺ 2024-08-04 | 1 yorum | WhatsApp'ta paylaş
  • ArchiveTeam Warrior, kişisel bilgisayarın boşta kalan kaynaklarıyla kaybolma riski taşıyan web verilerini korumaya yönelik ArchiveTeam çalışmalarına katılmayı sağlayan sanal bir arşivleme aracıdır
  • Warrior, siteleri indirip ArchiveTeam arşivine yükler; kullanıcı ise ağırlıklı olarak bant genişliği ve bir miktar disk alanı sağlar
  • Windows, OS X ve Linux'ta çalışabilir; önerilen ortam VirtualBox olsa da VMware veya benzeri sanal makine programları da kullanılabilir
  • VirtualBox'ta appliance içe aktarıldıktan ve sanal makine başlatıldıktan sonra, tarayıcıda kullanıcı adı ve katılınacak proje ayarlanır
  • En güncel sanal makine appliance sürümü version 4.1'dir; proje, VM yerine bir Docker warrior instance ile de çalıştırılabilir

ArchiveTeam Warrior ne yapar?

  • ArchiveTeam Warrior, ArchiveTeam'in web arşivleme çalışmalarına katılmak için kullanılan, sanal makine tabanlı bir araçtır
    • Site verilerini indirir ve ArchiveTeam arşivine yükler
    • Çalışma süreci, katılımı kolaylaştıracak şekilde yapılandırılmıştır
  • Warrior bir sanal makine olarak çalışır; kullanıcı bant genişliği ve bir miktar disk alanı sağlar
  • Çalışma ortamı olarak Windows, OS X ve Linux desteklenir
    • VirtualBox önerilir
    • VMware veya benzeri programlar da kullanılabilir

Kurulum ve katılım süreci

  • VirtualBox ile başlamak

    • appliance dosyasını indirin
    • VirtualBox'ta File > Import Appliance seçeneğini seçip dosyayı açın
    • Sanal makineyi başlattığınızda en güncel güncellemeleri alır ve ardından bir web tarayıcısı açmanız istenir

  • Warrior ayarları

    • http://localhost:8001/ adresine gidip Settings sayfasını kontrol edin
    • Bir kullanıcı adı seçerseniz ilerlemeniz leaderboard üzerinde görüntülenir
    • All projects sekmesinden üzerinde çalışacağınız projeyi seçebilir veya en acil projeyi otomatik olarak üstlenmek için ArchiveTeam’s Choice seçeneğini kullanabilirsiniz

  • En güncel sürüm ve Docker alternatifi

    • Warrior sanal makine appliance'ı version 4.1 sürümüne güncellenmiştir; mevcut warrior3 appliance bağlantısı eski bir bağlantıdır
    • VM appliance olmadan da bir Docker warrior instance ile proje çalıştırılabilir; ayrıntılar için GitHub repository içindeki README'ye bakın
    • Sorunlar veya geri bildirimler hackint üzerindeki #warrior kanalında ele alınır
    • Frequently Asked Questions bölümünü okuyabilirsiniz

ArchiveTeam ve Internet Archive desteği

  • Internet Archive, ArchiveTeam arşivlerini barındırır ve yalnızca verileri depolamanın ötesinde, herkesin ücretsiz erişebildiği bir kütüphane sürdürür
    • Bağış yapmak için Donate to the Internet Archive sayfasını kullanabilirsiniz
    • ArchiveBot, rsync sunucuları vb. için sunucu kiralama veya ArchiveTeam üyelerine bağış konuları uygun IRC sohbet odalarında sorulabilir

Katılınabilecek projeler

  • Mevcut projeler arasında URLTeam 2, URLs, Blice, Tenor, KakaoTV, Wikimedia Etherpad, Medica Bibliothèque Numérique, Recursive Jobs, Roblox Groups, Peing-質問箱-, Microsoft Update, Meta Ad Library, Twitch, Radio Free Asia, Radio Free Europe/Radio Liberty, Voice of America, US Government, Blogger, Telegram, YouTube, GitHub, MediaFire, Pastebin, Imgur, ВКонтакте, Stack Exchange ve Periscope yer alır
    • YouTube projesi, seçilmiş YouTube videolarını arşivler ve video URL'sine IP adresinin kaydedildiği uyarısını içerir
    • GitHub projesi Internet Archive ve GitHub iş birliğiyle yürütülür
    • Periscope projesi PAUSED durumundadır

İlgili okumalar

1 yorum

 
GN⁺ 2024-08-04
Hacker News görüşleri

  • Bu tür projeler kesinlikle gerekli, ancak sadece arşivlemenin ötesine geçip bu verileri halkın gerçekten kullanabileceği hale getirmenin bir yoluna ihtiyaç var
    Reddit muhtemelen birilerinin verileri kazıyıp erişmesi zor yedekler oluşturmasını kendi başına bir tehdit olarak görmemiştir, ama Reddit'in bir kısmının kopyasını çalıştıran bir dağıtık düğüm ağı yerel öncelikli istemcilere veya Lemmy aynalarına veri sağlasaydı çok daha fazla korkardı

    • Çoğu proje WARC dosyaları oluşturuyor, bunları paketleyip archive.org'a yüklüyor ve ardından Wayback Machine'e giriyor: https://web.archive.org/
      Bu arada Archive Team, Internet Archive'dan ayrı bir oluşum
    • Reddit, verileri aynalayıp yayımlayan servislerden epey hoşlanmıyordu ve sonunda API kullanım şartlarını değiştirerek bu servislerin verileri silip kapanmasına yol açtı
    • API'yi istediği an değiştirebilen şirketleri tehdit etmenin burada bir avantaj olup olmadığından emin değilim
      PushShift, Nitter, Youtube Vanced örneklerine bakın
    • BGP'yi eski hale getiren ve DHT/sanal makineler üzerinden küresel olarak not edilmiş paylaşılan içerik/hesaplama adreslemeli bellek kullanan bir P2P geçici çevrimdışı öncelikli internet hayal edilebilir
      Bir şeyin kimliği, onun bizzat bileşimi olurdu

  • İlgili yazılar:
    ArchiveTeam Warrior: imgur'u mümkün olduğunca arşivlemek - https://news.ycombinator.com/item?id=35983510 - Mayıs 2023, 2 yorum
    Help preserve the internet with Archiveteam's warrior - https://news.ycombinator.com/item?id=30524842 - Mart 2022, 51 yorum
    ArchiveTeam Warrior backing up Reddit - https://news.ycombinator.com/item?id=29584622 - Aralık 2021, 71 yorum

  • Bunun Docker ile çalıştırılabileceğini düşündüm ve depoya baktım; sevindirici şekilde her şey hazırdı
    https://github.com/ArchiveTeam/warrior-dockerfile/tree/maste...
    https://github.com/ArchiveTeam/warrior-dockerfile/blob/maste...

  • Kurulum çok kolay
    İnternet tarifem sınırsız hale geldiği için küçük de olsa katkı sağlayabilmek hoşuma gitti
    Kullanmadığım bir Android telefonda ArchiveTeam Warrior betiğini çalıştırıp çalıştıramayacağıma bakmak istedim ama doğrudan desteklenmiyordu ve bu benim beceri seviyemin dışındaydı

    • x86 bir cihazda docker compose konteyneri olarak çalıştırmak gerçekten çok kolaydı
      Keşke Raspberry Pi üzerinde QEMU içinde nasıl kurulacağını araştıracak zamanım olsa; böyle bir compose dosyası yayımlanırsa daha fazla kişi kullanabilir gibi geliyor

  • Birkaç ay önce insanların archive.org gibi servislere disk alanı katkısı yapabilmesini sağlayan bir sistem tasarladım
    "archive.org içeriğinden 100GB barındırmak istiyorum" derseniz, sistem archive.org ile iletişime geçip o anda en nadir bulunan içeriği tespit ederek bunu kullanıcıya itiyor
    Ayrıca, "bu ağda X içeriğini almak istiyorum" dendiğinde bunu bulan bir arama işlevi de var
    Torrent üzerine ince bir sarmalayıcıdan ibaret sayılır, ancak şu anda böyle bir şey yok ve arşiv tarafındaki kişilerle iletişime geçtiğimde pek ilgi görmedi

    • IPFS'nin zaten bunu yapması amaçlanmıyor muydu?
    • Archive Team'in, fiilen bu fikirle aynı olan INTERNETARCHIVE.BAK adlı iptal edilmiş bir projesi vardı
      Ancak bu aracı kullanırsanız telif hakkı ihlali nedeniyle yasayı çiğnemiş olursunuz
    • libgen'de kitaplar için buna benzer bir izleyici var: https://phillm.net/libgen-seeds-needed.php
      Şu anda bozuk görünüyor
    • Keşke filecoin projelerinden biri bunu çözmüş olsaydı
      Sabit bir süre ve sabit sayıda indirme için ücret ödeyip veri blokları barındırma modeli yeterli olurdu
    • Gerçekten harika bir fikir, neden benimsenmediğini merak ediyorum
      Sebebini söylediler mi?

  • Dijital korumaya katkı yapmak istiyorsanız Warrior appliance'ı veya Docker konteynerini çalıştırmayı düşünebilirsiniz

  • İnsanların siteleri indirip sonra Archive Team'in sağladığı arşiv kurulumuyla yüklemesinin avantajını pek göremiyorum
    Archive Team'in siteleri doğrudan indirip kendi arşivine koymasından farkı ne?

    • A) Archive Team tarafında daha az kaynak gerekir
      B) Muhtemelen daha önemlisi, istekler farklı yerlerden geldiği için hız sınırlamasına veya engellenmeye uğrama olasılığı azalır
    • Archive Team, Internet Archive değildir
      archive.org'a itmeden önce önce bir yere indirip tutmanız gerekir

  • Saldırgan olarak benim rastgele çöp veri eklememi ya da indirdiğim sayfayı belirli bir şekilde hatalı biçimde yeniden yazmamı bu projenin nasıl engellediğini merak ediyorum
    HTTP'de bu mümkün görünmüyor; peki HTTPS'de TLS sonlandırmasını kim yapıyor?
    Warrior basit bir TCP proxy'si ve Archive da TLS istemcisiyse güvenli olabilir, ancak https://wiki.archiveteam.org/index.php/ArchiveTeam_Warrior adresinde bu kısım açıkça açıklanmış görünmüyor

    • Engellemiyor, ama pratikte bu bir sorun olmuyor
      Amaç, site kapanmadan önce mümkün olan en kısa sürede olabildiğince fazla veriyi elde etmek
      Paranoya yüzünden arşivleme verimliliğini düşürüp %30 kaybetmektense, veriye %1 oranında çöp karışmasını tercih ederim
      HTTPS durumunda Warrior kelimenin tam anlamıyla wget çalıştırır, WARC dosyası olarak kaydeder ve bu dosyayı takip sunucusuna yükler

  • Raspberry Pi ile katkıda bulunmak istiyorum ama ARM desteğinin olmaması biraz can sıkıcı
    Konteyneri indirip çalıştırıp geçmek istiyorum, ancak kolay bir geçici çözüm yok: https://wiki.archiveteam.org/index.php/ArchiveTeam_Warrior#C...?

    • wget-at'i ARM için derlerseniz bazı tutarlılık sorunları var
      Yine de QEMU kullanıcı modu emülasyonu altında çalıştırılabiliyor ve gerçekten bazı host'larda bu şekilde kullanılıyor

  • README'yi okuyunca şu yönlendirmeyi gördüm
    Version 4 is now available at
    https://warriorhq.archiveteam.org/downloads/warrior4/
    Burada yeni sürümün kaynak bağlantısını içeren bir README var: https://github.com/ArchiveTeam/warrior4-vm
    Bu yeni sürüm wiki ana sayfasında da anılıyor
    An updated Warrior virtual appliance (v3.2, v4.0) is now available with better support for newer projects that utilize wget-at.
    ArchiveTeam'in appliance indirme URL'sini güncellemesi gerekiyor