Elsevier, her indirme için PDF meta verilerine benzersiz bir hash ekliyor (2022)

 (social.coop)
1 puan yazan GN⁺ 2024-06-11 | 1 yorum | WhatsApp'ta paylaş
  • Akademik PDF’ler paylaşıldığında indirme başına meta veriler erişim zamanı ile birleştirilirse, aynı makale dosyası bile kaynağı izlemek için kullanılabilir
  • Tanımlayıcı değer exiftool ile kontrol edilebilir; üst düzey meta veriler exiftool + qpdf kombinasyonuyla kaldırılabilir
  • PDF’lerde “final published version”ı (VoR) gösteren NISO etiketi ve izin verilen alan adı kısıtlaması da bulunur; Elsevier bu meta verilere sahip PDF’leri tarar
  • Sci-Hub’dan alınan makalelerde de bu meta verilerin kaldığı görülüyor; bu da makale indirmek için kullanılan akademik hesabın tanımlanmasına yol açabilir
  • Farklı tanımlayıcı etiketlere sahip iki PDF, meta veriler kaldırılıp qpdf --deterministic-id uygulandıktan sonra diff açısından aynıydı; ancak ek filigran bulunmadığını genellemek zor

İndirmeye göre değişen Elsevier PDF meta verileri

  • Elsevier PDF’lerine her indirme için benzersiz bir hash meta veri olarak eklenir
  • Aynı makale iki kez indirildikten sonra meta veriler karşılaştırıldığında farklı değerler görünür
  • Bu değer erişim zamanı ile birleştirilirse, paylaşılan PDF’nin hangi indirmeden çıktığını belirlemek için kullanılabilir

Kontrol ve kaldırma için kullanılan araçlar

  • PDF meta verileri exiftool ile doğrudan kontrol edilebilir
  • Üst düzey meta verileri kaldırma komutu:
    • exiftool -all:all= <path.pdf> -o <output1.pdf>
    • qpdf --linearize <output1.pdf> <output2.pdf>
  • Tüm meta verileri kaldırmak için dangerzone veya mat2 kullanılabilir
  • İlgili araçlar:
    • exiftool: meta veri okuma/yazma aracı
    • qpdf: PDF işleme aracı
    • dangerzone: PDF’yi görüntü olarak render edip ardından yeniden OCR yapan GUI aracı
    • mat2: PDF’yi görüntü olarak render eden ancak OCR yapmayan meta veri kaldırma aracı

Otomatik temizleme betiği ve etiket çıkarma

  • Sağlanan shell betiği, belirtilen dizinde veya mevcut dizinde PDF’leri özyinelemeli olarak bulup meta verileri kaldırır
  • Hedef ortam macOS ve Unix türevleridir; qpdf ve exiftool kurulu olmalıdır
  • Her PDF için _clean.pdf soneki eklenmiş temizlenmiş bir kopya oluşturur ve exiftool ile qpdf --linearize uygular
  • Daha sonra doğru şekilde çıkarılan etiketler ve bunları doğrudan çıkarabilen Python kodu gist’e eklendi
  • Başta buna “hash” denmişti, ancak çıkarılan değerde belirgin bir desen var ve ne içerdiği henüz bilinmiyor

NISO etiketi ve Sci-Hub’da kalan izler

  • PDF meta verileri, belge durumunu gösteren NISO etiketi içerir
    • Belge durumu “final published version” (VoR) olarak gösterilir
    • Hangi alan adında bulunması gerektiğine dair kısıtlama da birlikte yer alır
  • Elsevier bu meta verilere sahip PDF’leri taradığı için, kopya paylaşırken meta verileri kaldırmak gerekir
  • Sci-Hub’dan alınan makalelerde de bu meta verilerin korunduğu görülüyor
  • Sci-Hub makaleleri toplanmış akademik kimlik bilgileriyle indiriyorsa, yayıncı bu meta veriler aracılığıyla kapatılması veya korunması gereken hesapları belirleyebilir

Ek filigran olasılığı ve doğrulama sonucu

  • Meta verilerin dışında daha gelişmiş filigranlama bulunma olasılığı devam ediyor
  • Farklı tanımlayıcı etiketlere sahip iki dosya üzerinde yapılan deneyin sonucu:
    • Meta veriler kaldırıldı
    • qpdf’in --deterministic-id bayrağıyla yeniden doğrusal hale getirildi
    • Ortaya çıkan PDF’ler diff açısından aynı çıktı
  • Yalnızca bu sonuçla ek filigran olmadığını genellemek konusunda temkinli olmak gerekir
  • Meta veriler, çok sayıda PDF’yi hızlıca taramaya imkân verdiği için özellikle dikkat çeken bir tanımlama aracıdır

İlgili okumalar

1 yorum

 
GN⁺ 2024-06-11
Hacker News yorumları

  • En başta kendilerinin üretmediği, finanse de etmediği fikirleri paylaşan insanları bulup para ödemedikleri için cezalandırmaya bu kadar uğraştıklarını hayal edebiliyorum
    Bu tür şirketler bana sadece insanlığın ilerlemesini engelleyen varlıklar gibi görünüyor

    • Aslında bunu yapmak o kadar da zor değil, ama ana fikre katılıyorum
      Üstelik bu şirketler renkli görsel basımı gibi ek hizmetler için de yazarlardan akıl almaz paralar alıyor
      Uzak gelecekte okullarda ve üniversitelerde bu şirketlerin toplumsal parazitlere örnek olarak ele alınacağını düşünüyorum
    • Sorun şirketin kendisinden çok bir semptom gibi
      Asıl sorunun, özellikle ABD hükümeti gibi zor kullanma tekelini kullanarak bu şirketlerin böyle iş modellerini uygulamasına yardım eden hükümetler olduğunu düşünüyorum
    • Bir kitabı yazmak için ne kadar emek gerektiğini de düşünmek gerekir
      Kimi yazarlar yıllar harcar, pek çok yazar en az 1 yıl ayırır; kimi akademisyenler tek bir makale için yıllarını verir
      Elsevier de bu işin üretimine ve finansmanına ciddi ölçüde katılan bir ortaktır; oradaki çalışanlar editörlük, dizgi ve dağıtımı üstlenir
      Yazarlar da bu sürecin ortaklarıdır ve çoğu zaman Elsevier'den telif payı alırlar
      Buna rağmen korsanlığı meşrulaştırmak için her türlü zorlama argümanı öne süren insanlar var
      Yoksul bir yazar varsa, yasadışı kopyalamanın onun yazı satarak geçinme becerisini aşındırdığını kabul etmek gerekir
    • Elsevier telif hakkını uygulamaya çalışınca HN onu şeytanlaştırıyor, ama konu yapay zeka eğitim verileri olunca birden gördüğüm en katı fikri mülkiyet savaşçılarına dönüşmeleri komik
    • Anladığım kadarıyla bu yalnızca Elsevier'in suçu değil; sorun, hükümetin araştırma fonlarını ve terfileri Elsevier dergilerindeki yayın sayısına göre dağıtan yapısında

  • Bir belgeyi yayımlamadan önce iki farklı kaynaktan kopya alıp hash'leri karşılaştırmak iyi bir alışkanlık gibi görünüyor
    Veri; görsellere, ses dosyalarına, PDF'lere, programlara, her yere gömülebilir
    En azından Elsevier örneğinde, kullanıcıları izlemek için anahtar kullandıkları oldukça açık görünüyor

    • Ama PDF'lerde çerez onayı açılır penceresi yok ki
      Belki o yasayı sonunda faydalı bir şekilde kullanabiliriz

  • PDF dosyalarından potansiyel kötü amaçlı kodları temizlemek için kullanılan özgür ve açık kaynaklı bir araç olarak DangerZone var; meta verileri de silebiliyor
    Sadece meta veri temizliği için fazla kapsamlı olabilir ama anmaya değer
    https://dangerzone.rocks/

    • Mesele yalnızca meta veriler olmayabilir
      Yeterince uzun bir PDF'de 128 bitlik tanımlayıcı gizlemenin birçok yolu var
      Beyaz arka plan üzerinde beyaz dikdörtgen, yer yer çok hafifçe siyah olmayan pikseller vb. her şey mümkün
      Birçok yöntem, çıktı alınıp tarandıktan sonra bile varlığını sürdürebilir

  • PDF'nin genelini temizlemek ve boyutunu da küçültmek için küçük bir script kullanıyorum
    Kabaca şöyle
    pdftops -paper A4 -expand -level3 file.pdf
    ps2pdf14 -dEmbedAllFonts=true \
    -dUseFlateCompression=true \
    -dOptimize=true \
    -dProcessColorModel=/DeviceRGB \
    -r72 \
    -dDownsampleGrayImages=true \
    -dGrayImageResolution=150 \
    -dAutoFilterGrayImages=false \
    -dGrayImageDownsampleType=/Bicubic \
    -dDownsampleMonoImages=true \
    -dMonoImageResolution=150 \
    -dMonoImageDownsampleType=/Subsample \
    -dDownsampleColorImages=true \
    -dColorImageResolution=150 \
    -dAutoFilterColorImages=false \
    -dColorImageDownsampleType=/Bicubic \
    -dPDFSETTINGS=/ebook \
    -dNOSAFER \
    -dALLOWPSTRANSPARENCY \
    -dShowAnnots=false \
    file.pdf file.pdf
    Gerekirse sonrasında ek meta veriler koyabilirsiniz
    Belirli bir izleme yöntemini kaldırmak için özel olarak tasarlanmış değil, ama çoğu durumda basit ve yeterince kullanışlı

  • Elsevier'den PDF'yi indirin, kendi PDF görüntüleyicinizde açın, yazdır'a basın ve yazıcı seçiminde Print to PDF'yi seçin; yeter

      1. adım olarak Zone Identifier kaydını devre dışı bırakmak ya da bir araçla silmek gerekir
        Bu bilginin dosya kopyalanırken korunma ihtimali yüksek; araca ve formata bağlı olarak sıkıştırılmış dosyanın içine girip daha sonra geri yüklenebilir de
        https://www.digital-detective.net/forensic-analysis-of-zone-...
        Total Commander eklentileri arasında belirli bir dosyanın nereden indirildiğini gösterenler de var
        Birkaç tane kurulu olduğu için tam olarak hangisi bilmiyorum ama muhtemelen şu eklenti: https://totalcmd.net/plugring/ntfsstreamviewer.html
    • Yayıncıdan PDF'yi indirin, PDF görüntüleyicide açın, yazdır'a basın ve gerçekten kâğıda çıktı alın
      Sonra çıktısı alınmış PDF sayfalarını yeniden tarayın, convert, pdfunite ile PDF belgesi hâline getirin ve ghostscript ile sıkıştırın
    • Bunu yapsanız bile karakter aralığı, renk, satır aralığı vb. içine gizlenmiş olabilecek tüm steganografi aynen kalabilir
    • Elsevier'den PDF'yi indirdikten sonra sayfaları PNG görsellerine dönüştürüp yeni bir PDF'de birleştirmek, ardından OCR çalıştırmak da bir yöntem
    • Bunun sonucunda PDF'deki etiketleri ve erişilebilirlik bilgilerini tamamen mahvedebilirsiniz
      Gerçekten kesinlikle gerekli olduğundan emin değilseniz lütfen bunu yapmayın

  • Bu konuyla ilgili olduğu için buraya bırakıyorum
    https://github.com/kanzure/pdfparanoia
    ve
    https://github.com/firstlookmedia/pdf-redact-tools

    • pdf-redact-tools sayfasında şöyle yazıyor: “Warning: This project is no longer maintained. A much better tool is dangerzone.”
      DangerZone bağlantısı, ilk gönderilen Mastodon dizisinde bulunabilir

  • İnsanlığın bilgisini paylaşmayı ve erişime açmayı sağlayan araçlar geliştirmeliyiz

  • Elsevier ve benzeri yapıların yaşamaya devam edebilmesi ve insanların gerçekten bu tür parazitik sistemlere para vermesi, temel nedenleri bulunup analiz edilmesi gereken bir durum
    Olası ipuçları: akademinin nihayetinde tembel olması ve sistemi düzeltme niyetinin olmaması, araştırmaya fazla gömüldükleri için kendi işleriyle doğrudan ilgili olmayan şeylerin kalitesinin berbat olması ve bu sistemi sürdüren kişilere geri dönen bir teşvik yapısının bulunması
    Başka ipuçları var mı?

    • Alana göre karışık
      Örneğin teknoloji alanı büyük ölçüde açık erişim dergilere geçti ve bu, araştırmacıların terfileri için de iyi işliyor
      Ancak kadro güvencesi gibi şeyler Nature’da yayın yapmaya bağlı olduğu sürece, yakın gelecekte Nature’ı yerinden etmek zor

  • Metadata, belge filigranlamasında çok kolay bir hedef
    PDF oluşturucular genellikle her kopyayı benzersiz kılmak için aralıkları, kerning’i, görünmez karakterleri ve her türlü steganografiyi kullanır
    Hash’in ne anlamı var diye düşünüyorum; gerçekte bunun gizli bir değerle benzersiz kopyayı karıştıran bir mesaj kimlik doğrulama kodu olma ihtimali daha yüksek
    Bu da yayıncının aklanmış kopyaları tanımlamasına yardımcı olur
    İki veya daha fazla kopyanız varsa yeniden anonimleştirme yapılabilir; özetleyici dil modellerinin bu işte yararlı olup olmayacağını da merak ediyorum
    Elbette grafiklere de steganografik değişiklikler eklenebilir
    PDF dağınık bir belge formatı olduğundan neredeyse her zaman düz metne dönüştürürüm; genellikle anlam kaybı olmaz

  • Bu uygulama AB’de yasal mı?

    • Elsevier Hollandalı bir şirket ve bir İngiliz şirketine ait; bu yüzden pek sorun olmaz gibi