- Anthony Bourdain’ın kaybolan Li.st gönderilerini, herkese açık web tarama verilerinden yeniden ortaya çıkaran bir proje
- Common Crawl ve Internet Archive kullanılarak li.st alan adında geriye kalan HTML içerikleri tarandı ve kurtarıldı
- Python betiği
commoncrawl_search.py, herkese açık S3 bucket’larından HTML belgelerini otomatik olarak toplamak için kullanıldı
- Çok sayıda gönderi metni kurtarıldı, ancak görsel dosyalarının çoğu kayıp; yalnızca bazı öğeler HTML biçiminde korunmuş durumda
- Kurtarma sonuçları GitHub deposunda yayımlandı; böylece topluluğun gelecekte ek kurtarma ve koruma çalışmalarına katılması amaçlanıyor
Projeye genel bakış
- Bourdain’in kayıp Li.st gönderilerini geri getirmek için herkese açık tarama verilerinden yararlanan bir girişim
- Daha önce GReg TeChnoLogY sitesinde bazı listelerin yayımlandığını görünce, geri yüklemenin mümkün olup olmadığı araştırıldı
- Güvenlik ve crawling alanındaki deneyime dayanarak yalnızca herkese açık erişilebilen veri arşivleri kullanıldı
- Common Crawl belge dizini taranarak
https://li.st/Bourdain* yolundaki veriler toplandı
- Python 3.14.2 ortamında
requirements.txt bağımlılıkları kurulduktan sonra çalıştırılabiliyor
- Komut örneği:
python commoncrawl_search.py "https://li.st/Bourdain*" --all --download
Kurtarma süreci ve araçlar
commoncrawl_search.py, belirli veri kümelerine dizin isteği gönderiyor ve eşleşen sonuçları herkese açık S3 bucket’larından indiriyor
- HTML belgeleri küçük boyutlu olduğu için kurtarma daha kolay gerçekleşiyor
- Kurtarılan çıktılar GitHub deposunda (https://github.com/thecsw/bourdain) düzenlenmiş durumda
- Her HTML dosyası özgün yerleşimi korurken, içerik değiştirilmeden yeniden oluşturuldu
- İçerik yapay zeka üretimi değil; yalnızca kodun bazı bölümleri otomasyon araçlarıyla yazıldı
Kurtarılan başlıca gönderiler
- things-i-no-longer-have-time-or-patience-for: ‘Cocaine’, ‘True Detective’, ‘Beer nerds’ gibi maddeler
- nice-views: Montana, Porto Riko, Nakşa, LA, İstanbul gibi yerlerden manzaralar
- if-i-were-trapped-on-a-desert-island-with-only-three-tv-series: ‘The Wire’, ‘Tinker, Tailor, Soldier, Spy’ vb.
- objects-of-desire: vintage güneş gözlükleri, trepanasyon aletleri, BJJ gi’si, Kramer bıçakları gibi kişisel koleksiyon parçaları
- four-spy-novels-by-real-spies-and-one-not-by-a-spy: Somerset Maugham, Graham Greene gibi yazarlardan casus romanı önerileri
- hotel-slut-that-s-me: dünya çapında otel listeleri ve bunlara yönelik kişisel sevgi ifadesi
- some-new-york-sandwiches, great-dead-bars-of-new-york, guilty-pleasures gibi New York odaklı çok sayıda liste
- Gönderilerin büyük kısmında metin kurtarma başarılı, ancak görsellerin tamamı kayıp
Kurtarılamayan içerik
- Yalnızca David Bowie Related (14 Ocak 2016) gönderisi Common Crawl içinde bulunamadı
Projenin önemi ve sonraki adımlar
- Bu çalışma, dijital arkeoloji niteliğinde bir girişim olarak tanımlanıyor ve geçmiş web içeriklerinin korunabileceğini gösteriyor
- Görsellerin kurtarılması zor olsa da metin arşivi oluşturma açısından başarı sağlandı
- Açık Git deposu sayesinde herkes ek kurtarma çalışmalarına katkıda bulunabiliyor
- İleride kamusal arşiv oluşturma ve uzun vadeli koruma yöntemlerini değerlendirme gerekliliğine işaret ediliyor
1 yorum
Hacker News yorumları
Ben de aynı rabbit hole'a düşüp geçen hafta tam olarak aynı şeyi yaptım
Yaptığım denemenin bağlantısı
Bunu görüp ilham aldıysan bundan bahsetmen hoş olurdu; almadıysan da aynı fikre birbirinden bağımsız şekilde varmış olmamız ilginç
Her durumda hem git'i hem de web sayfasını güncelleyip çalışmandan açıkça bahsettim. Doğrudan sitene bağlantı verdim, senin için uygunsa haber verirsen sevinirim
Bu yazının devamı olarak, zamanla kaybolduğu sanılan Anthony Bourdain'in li.st gönderilerinin tamamını geri getirdim
Bence Tony gibisi gerçekten yoktu
Onun serisini gerçekten seviyordum ama memleketimi ziyaret ettiğinde orayı tamamen yanlış yansıtması hayal kırıklığı yarattı
Düzen karşıtı ve ana akım dışı bakışını anlıyorum ama gidip yerel dolandırıcılarla ve batmış restoran işleten insanlarla takılıp onları ‘ilerici şefler’ gibi tanıttı
Ondan sonra diğer bölümlerine de yeniden farklı gözle bakmaya başladım
Geri getirilen arşivi görmek gerçekten sevindirici :)
Keşke görseller de kurtarılabilse. Bahsettiği plak listesini merak ediyorum
“Great Dead Bars of New York” listesindeki SIBERIA'nın yeniden açıldığını duymak güzel
Bu kez 59th Street/Columbus Circle istasyonunun içinde yeni bir başlangıç yaptı
Web sitesi tasarımından bahsetmemek gerekir belki ama beyaz arka plan üzerindeki açık gri yazı okumayı çok zorlaştırıyor. Özellikle yaşlı gözler için neredeyse görünmüyor
En sevdiği bar olan Siberia yeniden açıldı
Columbus Circle metro istasyonunun güney ucunda, sahibi Tracy hâlâ aynı ve eskisi gibi süssüz bir havası var
İçinde Tampopo olan bir film listesi bence otomatik olarak iyi bir listedir
Bu tür bir kurtarma çalışması yaptığın için gerçekten minnettarım
Bir Bourdain hayranı olarak, insani kusurları olsa da bence yaşadığı dönemin ruhu içinde en ilgi çekici figürlerden biriydi
Onun Parts Unknown serisi, televizyonda gördüğüm en iyi antropolojik içeriklerden biriydi. Bu yazıyı da büyük ilgiyle okudum