- Son web trafiği analizi sırasında Thinkbot adlı bir web botunun en fazla trafiği ürettiği fark edildi
- Bu bot
robots.txt dosyasını yok sayıyor ve kendini tanıtan ifadesi de yalnızca “sorun varsa IP’yi engelleyin” der gibi son derece özensiz
- Bir ay boyunca 74 farklı IP kullandı ve bunlar 41 ağ bloğuna dağılmış durumdaydı
- İnceleme sonucunda bu ağ bloklarının tamamının Tencent’e ait olduğu görüldü; bunun Great Firewall maliyetinin dışarıya yansıtılması ihtimaliyle bağlantılı olup olmadığı yönünde şüphe doğdu
- Sonunda yaklaşık 470 binden fazla IP’yi kapsayan çok geniş bir engelleme kuralı eklendi
Thinkbot’un ortaya çıkışı
- Web trafiği analiz edilirken Thinkbot adlı web botunun üst sıralarda pay aldığı fark edildi
- User-Agent dizesi şu şekildeydi
> “Mozilla/5.0 (compatible; Thinkbot/0.5.8; +In_the_test_phase,_if_the_Thinkbot_brings_you_trouble,_please_block_its_IP_address._Thank_you.)”.
- “Test aşamasında sorun çıkarırsa lütfen IP’sini engelleyin” ifadesi dışında başvuru yapılacak bir URL bile yoktu
robots.txt dosyasına hiç saygı göstermeden tarama yapıyordu- Site yöneticisi olarak bunu engellemeye çalışsanız da tek bir IP değil, 74 IP adresi kullanıyordu
- Geriye dönük izleme ve ASN sorgusu sonucunda bunun 41 ağ bloğundan geldiği görüldü
- Bu da basit bir tekil IP engellemesiyle savunmanın mümkün olmadığını gösteriyor
Tencent bağlantısı
- Bu 41 ağ bloğunun tamamı Tencent’e aitti
- Yazar, Çin hükümetinin bunu görmezden geliyor ya da teşvik ediyor olabileceğinden ve bunun dış dünyaya Great Firewall maliyetini yansıtma girişimi olarak yorumlanabileceğinden şüpheleniyor
- Çin içinde içerik toplamak serbest kalırken, dışarıda engellenmesi CCP açısından sorun oluşturmuyor; ancak engellemeye çalışan diğer ülkeler ve siteler için ek yük yaratıyor
Güvenlik duvarı engelleme önlemi
- Yazar doğrudan badbots güvenlik duvarı kurallarına Tencent ağ bloklarını ekledi
- Örnek:
43.130.0.0/18, 101.32.0.0/20, 150.109.96.0/19 vb.
- Toplamda 40’tan fazla ağ bloğu eklendi; bu kurallar Tencent’in sahip olduğu tüm IP’leri kapsamasa da 476.590’dan fazla benzersiz IP’yi içeriyor
Sonuç ve benzetme
- Yazar bu durumu, “internette artık iyi şeylere sahip olamıyoruz” gerçeğiyle ifade ediyor
- Bu, yalnızca basit bot trafiği engellemenin ötesinde, internet ekosisteminde güvenin genel olarak zayıfladığını ve kaçınılmaz savunmacı tepkileri gösteren bir örnek
Henüz yorum yok.