1 puan yazan GN⁺ 5 시간 전 | 1 yorum | WhatsApp'ta paylaş
  • Anubis honeypot’un Sourceware’de topladığı 2,67 milyondan fazla benzersiz IP’nin %89,3’ü mevcut tehdit listelerinde yer almıyordu; bilinen engelleme listeleri tek başına scraper etkinliğinin büyük bölümünü tespit etmekte yetersiz kalıyor
  • Challenge sayfasına semantik olarak geçersiz HTML ve “Don't click me” bağlantısı eklenerek, bunu izleyen kötü yazılmış scraper’lar anlamsız içeriklere ve ek bağlantılara yönlendiriliyor
  • 2.678.193 benzersiz IP’nin 286.161’i (%10,7) veritabanında kayıtlıydı; bunların %98,6’sı abuse kategorisindeydi ve toplam trafik 229 ülke ile 21.116 ASN geneline yayılmıştı
  • Trafiğin, proxy ağlarına katılan enfekte akıllı ev aletlerinden geliyor olma ihtimali var; ancak toplanan veriler tek başına gerçek cihaz türünü ya da enfeksiyon durumunu kanıtlayamıyor
  • Belirli bir ülke veya operatör ağıyla sınırlı olmayan scraping’e karşı koymak için Anubis gibi bir web uygulama güvenlik duvarı gerekiyor; kökten çözüm içinse eş zamanlı, koordineli küresel müdahale gerekli

Mevcut tehdit listelerinin kaçırdığı scraper’lar

Kayıtlı IP’lerin sınıflandırması ve sağlayıcıları

  • Veritabanında kayıtlı adresler arasında abuse kategorisi, 282.182 adresle %98,6’lık paya sahip
    • datacenter 7.918 (%2,8)
    • proxy 2.562 (%0,9)
    • vpn 1.264 (%0,4)
    • crawler 46
    • tor 17
  • Ayrı flag’lere göre is_datacenter 7.918, is_proxy 2.562, is_vpn 1.264, is_crawler 46 olarak sayıldı
  • Sağlayıcı sayısı 126’ydı; netshield 237.945 adresle (%83,2) en büyük paya sahipti
    • bitwire 96.539 (%33,7), magicteamc 26.475 (%9,3), ipinsights 17.378 (%6,1), threathive 8.422 (%2,9)
    • Bunların yanı sıra netmountains, multacom, fyvri, cbuijs, x4bnet, solispirit, dailyproxy, blackwall, hproxy, Scaleway, AWS, Alibaba Cloud, OVHcloud gibi sağlayıcılar da yer alıyor
    • Tek bir IP’ye birden fazla kategori veya sağlayıcı bilgisi uygulanabildiği için oranların toplamı %100’ü aşabiliyor

Ülkeler ve ağlar genelindeki dağılım

  • Toplam adresler 229 ülkede gözlemlendi; yani belirli bir bölgeyle sınırlı değiller
    • Adres sayısına göre Brezilya 270.937, Hindistan 185.091, Suudi Arabistan 120.372, Meksika 95.449, Türkiye 87.258 ile öne çıkıyor
    • Veritabanına kayıt oranları Bangladeş’te %29,9, Ukrayna’da %27,6, Irak’ta %21,9, Venezuela’da %21,3, Pakistan’da %20,0 olarak görüldü
    • ABD’de 40.828 adresin 3.347’si kayıtlıydı; oran %8,2
  • ISO 3166-1’de 249 ülke yer aldığı ve bunların 193’ünün BM üyesi olduğu düşünüldüğünde, scraper etkinliği dünya geneline yayılmış durumda
  • Adresler 21.116 ASN geneline dağılmıştı
    • AS55836 Reliance Jio Infocomm Limited’de 57.029 adresin 1.749’u kayıtlıydı; %3,1
    • AS45899 VNPT Corp’ta 56.910 adresin 6.831’i; %12,0
    • AS14593 Space Exploration Technologies Corporation’da 31.569 adresin 4.597’si; %14,6
    • AS9541 Cyber Internet Services’te 21.386 adresin 3.696’sı; %17,3
    • Tabloda kalan 18.069 ASN atlanmış durumda

Anubis honeypot’un scraper’ları tuzağa düşürme yöntemi

  • Anubis, scraper sorununun yayılımını ölçmek için tüm challenge sayfalarına aşağıdaki gibi semantik olarak geçersiz HTML ekliyor

/init">Don't click me

  • Normal işleme sürecinde yok sayılması gereken bir bağlantı; ancak takip edilirse üretim maliyeti düşük ve gerçek bilgi içermeyen içerik döndürülüyor
    • Dönen içerikte, başka sayfalara giden iki bağlantı daha bulunuyor
  • Bu yapı, kötü yazılmış scraper’ları korunan web sitesi yerine honeypot’un içine yönlendirirken sorunun ölçeğini ölçmek üzere tasarlanmış

Akıllı ev aletlerinin enfekte olma ihtimali ve müdahalenin sınırları

  • Gözlemlenen trafiğin önemli bir bölümü, proxy ağlarına trafik sağlayan enfekte akıllı ev aletlerinden geliyor olabilir
  • Ancak bu yalnızca bir tahmin; toplanan veriler tekil IP’lerin gerçek cihaz türünü ya da enfekte olup olmadığını doğrudan kanıtlamıyor
  • Ülkeler ve ASN’ler geneline dağılmış bu sorunda anlamlı etki yaratmak için eş zamanlı, koordineli küresel müdahale gerekiyor
  • Scraping’in ölçeği yeterince geniş olduğundan Anubis gibi bir web uygulama güvenlik duvarı işletmek gerekiyor
  • Yayın sonrasında gerçekler ve koşullar değişmiş olabilir; belirsiz veya hatalı görünen noktalar için aceleyle sonuca varmadan önce doğrulama yapılmalı

1 yorum

 
GN⁺ 5 시간 전
Lobste.rs görüşleri
  • script type=ignore çok zekice. elinks gibi araçlar ve scraper’ların kullandığı headless Chrome bunu tamamen yok sayıyor, ama içeriğin kendisi ana merkeze iletilip iş kuyruğuna eklenebiliyor
  • Asıl ilginç sorular ele alınmıyor. İnceleme nasıl yapılacak, düşmanca davranış tespit edilirse ne yapılmalı, bunu merak ediyorum
    Özellikle enfekte bir cihazın komuta ve kontrol (C&C) sunucusuyla iletişim kurup kurmadığını nasıl tespit edeceğimizi daha çok bilmek isterdim
    • Olası tüm akıllı TV modellerini nasıl belirleyeceğimi bile bilmiyorum; her modelde kötü amaçlı yazılımı nasıl inceleyeceğinizi söylemek ise daha da zor. Verilebilecek tek gerçek tavsiye, ücretsiz TV vaat eden korsan uygulamaları yüklememek olur
    • Bir miktar ağ mühendisliği olmadan zor görünüyor. En sağlam yöntem, yönlendiricide LAN üzerindeki kaynak cihaza göre trafiği analiz etmek
      Ölçüt olarak toplam trafik miktarı ya da bağlanılan farklı hedef IP sayısı kullanılabilir gibi görünüyor
  • Buradaki abuse kategorisinin ne anlama geldiğini merak ediyorum
    • Birden fazla anlam birbirine karışmış, o yüzden ayırmak gerekir; ama genelde e-posta spam kaynağı olarak bilinen veya FireHOL’de işaretlenmiş hedefleri ifade ediyor. Bu dosyada abuse diye aratabilirsiniz: https://github.com/TecharoHQ/reputationdb/…