Yapay Zeka scraper saldırıları açık web’i sürdürmeyi zorlaştırıyor

• Büyük dil modelleri gibi sistemlerin eğitim verilerini toplamak için yapılan web scraping saldırıları bir yılı aşkın süredir artarken, bağımsız web sitelerinin açıklığını korumasını zorlaştıracak ölçüde trafik yükü büyüyor
• Saldırganlar, milyonlarca sıradan ve mobil cihazdan oluşan konut tipi proxy’ler kullanarak her IP’den yalnızca birkaç istek gönderiyor ve user-agent bilgisini sahteleyerek mevcut IP engellemelerini etkisiz bırakıyor
• Kötü amaçlı yazılımlar, savunmasız medya akış cihazları, ücretsiz VPN’ler ve uygulama SDK’ları proxy ağlarını oluşturuyor; Google’ın IPIDEA ve NetNut’u çökertmesinden sonra saldırı hacminin geçici olarak azalıp yeniden arttığı örnekler var
• Siteler Anubis’in proof of work yaklaşımı, CAPTCHA, giriş/ödeme duvarları ve veri kirletme araçlarıyla karşılık veriyor; ancak LWN, gerçek okurları, arama motorlarını ve Internet Archive’ı engellememek için site optimizasyonuna ve saldırı sırasında maliyeti sınırlamaya odaklanıyor
• Scraper savunmasının ve kullanıcı doğrulamanın maliyeti tüm web’e yüklenirken sürdürülebilir bir çözüm ortaya çıkmazsa, bağımsız siteler savunma duvarlarının arkasına taşınabilir ve açık internet zarar görebilir

---

Giderek büyüyen scraper saldırıları

• 2025’in başlarında ele alınan büyük dil modelleri ve ilgili projeler için eğitim verisi toplama sorunu, bir yıldan uzun süre geçmesine rağmen daha da kötüleşiyor
• Kimliği belirsiz aktörlerin web sitelerine gönderdiği istekler benzeri görülmemiş seviyelere çıktı ve aşırı trafik nedeniyle açık web’i sürdürmek giderek zorlaşıyor

Milyonlarca IP kullanan konut tipi proxy’ler

• Saldırılar, birkaç saat boyunca milyonlarca benzersiz IP adresinden koordineli istekler gönderiyor; her adres siteye en fazla iki üç kez erişiyor
• Saldırganın kontrol ettiği user-agent gibi bilgiler uydurma; her istek, web tarayıcısı kullanan sıradan bir kişinin erişimi gibi gösteriliyor
• Botlar genellikle görselleri veya CSS’i almadığından insanlardan ayırt etmeye yarayan ipuçları var; ancak tespit tamamlandığında ilgili adres bir daha kullanılmadığı için sonradan IP engelleme etkili olmuyor
• Trafik çoğunlukla merkezi komuta-kontrol düğümünün yönettiği ev ve mobil ağlardan geliyor
  • Sıradan cihazlara kurulu yazılımlar, kontrol düğümünden komut alarak web sayfalarını getiriyor ve verileri geri iletiyor
  • Bunların önemli bir kısmı cihaz sahibinin bilgisi veya rızası olmadan çalışıyor; bu şekilde kullanılan sistemlere konut tipi proxy deniyor

Suç amaçlı proxy ağları ve enfekte cihazlar

• Bir tür, scraper’ı kötü amaçlı yazılımla ele geçirilmiş sistemlerde çalıştıran suç amaçlı operatörlerden oluşuyor
• Google, yılın başlarında IPIDEA bot ağını çökertme girişiminde bulunarak çalışma biçimine ilişkin bilgiler paylaştı
  • IPIDEA’nın kesintiye uğradığı dönem, LWN’in scraper trafiğinin belirgin biçimde azaldığı dönemle örtüştü
  • Birkaç ay görece sakin geçti, ancak daha sonra saldırılar yeniden arttı
• Yakın zamanda medya akış cihazlarının kötü amaçlı scraping yazılımı için başlıca taşıyıcı olduğu belirlendi
  • Bazı cihazlar tedarik aşamasından itibaren enfekte
  • Diğer cihazlar ise güvenlikleri zayıf olduğu için satıldıktan sonra kolayca ele geçiriliyor

Ücretsiz VPN ve uygulama SDK’ları kullanan ticari proxy ağları

• Başka bir tür, bir ölçüde yasal şirketler gibi davranıyor ve “etik şekilde elde edilmiş” IP adresleri satıyor
• Bright Data, web sitelerinin erişim kontrollerini ve trafik sınırlamalarını aşma yeteneğini pazarlayan önde gelen şirketlerden biri
  • “Ücretsiz” VPN kullanıcıları, Bright Data’nın trafiği kendi cihazları üzerinden yönlendirmesine izin vermek zorunda
  • Bu VPN’i kullanan telefonlar ve diğer cihazlar, Bright Data’nın konut tipi proxy ağının uç noktaları hâline gelerek web sitesi saldırılarında kullanılıyor
• Benzer şirketler, uygulama geliştiricilerinin ürünlerine bağlayabileceği kütüphaneler sağlıyor ve kullanıcıların ağ bağlantısını devretmeleri karşılığında geliştiricilere ödeme de yapabiliyor
  • Bir şirket, kendi SDK reklamını LWN’de yayımlatıp yayımlatamayacağını sordu, ancak görüşme kısa sürede sona erdi
  • Operatörler, “GDPR uyumluluğu” gibi söylemlerle yasal bir görünüm yaratmaya çalışanlardan açıkça etik dışı olanlara kadar çeşitleniyor
• Bu tür proxy operatörleri, milyonlarca cihazın bağlı olduğu ağın kaynaklarına erişen kodu çalıştırabildiğinden, bu yetkinin yalnızca web scraping için kullanıldığını varsaymak mümkün değil

Model şirketleri ve proxy ağı kullanıcıları

• Model geliştirmeyi ana işi yapan tanınmış şirketler de web’i kendi başlarına scraping ediyor
  • Bu şirketlere kolayca atfedilebilen trafiklerde user-agent içinde kimlikleri açıkça belirtiliyor
  • Genellikle robots.txt gibi kontrol mekanizmalarına uyuyorlar
  • 2003’te yazılmış yazıların yakın zamanda değişip değişmediğini kontrol eder gibi tüm siteyi tekrar tekrar topluyorlar
  • Ancak milyonlarca sistemden başa çıkılamayacak trafik göndermedikleri için en büyük sorun onlar değil
• Konut tipi proxy saldırılarını kimin finanse edip yürüttüğü net değil
  • En ileri model şirketlerinin bu ağları kullandığına dair kanıt bulunmuş değil
  • Bu şirketler modellere veriyi nasıl sağladıklarını ve eğitim verilerinin kaynaklarını açıklamıyor; içerik üreticilerine veya operasyonel sorunlardan endişe edenlere saygı gösterdikleri de görülmedi
• Her açık modelin yanında dışarıdan görünmeyen çok sayıda model bulunabilir
  • Birçok şirket, yapay zeka yarışında öne geçerse çok büyük şirket değerlemelerine ulaşacağı beklentisiyle kendi modellerini geliştiriyor olabilir
  • Çeşitli ülkelerin kamuya kapalı devlet kurumları da kendi modellerine ve eğitim verilerine sahip olmak isteyebilir
  • Büyük suç örgütlerinin de kendi modellerini istemesi muhtemel
• Yapay zeka araçları silah olarak görülmeye başladıkça bir silahlanma yarışı yaşanıyor ve tüm internet bu sürece çekiliyor

Açık interneti korumaya yönelik savunmalar

• Web sitesi işletmecileri, gerçek kullanıcılara etkisini en aza indirirken saldırıları durdurmak için çeşitli savunma mekanizmaları devreye alıyor
• Anubis, erişenlerden proof of work isteyerek scraper’ları engelliyor ve yaygın biçimde kullanılıyor
• Ticari hizmetler “insan olduğunu kanıtla” düğmeleri gösteriyor; diğer siteler ise trafik ışıkları içeren kareleri seçme veya yapboz parçası yerleştirme gibi CAPTCHA’lar istiyor
• Bazı siteler temel işlevleri giriş veya ödeme duvarlarının arkasına taşıdı; iocaine gibi araçlarla scraper’ların aldığı veriyi aktif olarak kirletiyorlar
• Savunma mekanizmalarını kurup sürdürmenin maliyeti ve bunları geçmek zorunda kalan kullanıcıların yaşadığı zorluk, scraper’ların ve bunun bedelini ödeyenlerin tüm dünyaya yüklediği ağır bir külfet

LWN’in savunma yaklaşımı ve kısıtları

• LWN yakın zamanda bugüne kadarki en güçlü scraper saldırısına uğradı; ancak kurduğu savunmalar sayesinde trafiği, gerçek okurların çoğu fark etmeyecek ölçüde karşılayabildi
• Somut savunma yöntemlerini açıklamak saldırganlara karşı hamle bilgisi verebileceğinden bunlar gizli tutuluyor; savunma tarafında da silahlanma yarışı sürüyor
• Öncelik, gerçek okurlar üzerindeki etkiyi mümkün olduğunca azaltmak
  • Anubis site erişimini geciktirerek okurları rahatsız ettiğinden kullanılmıyor
  • Scraper’ların sonunda Anubis’i aşacağı düşünülüyor; bunun işaretleri de şimdiden var
  • Milyonlarca başkasına ait cihazı kullanabiliyorsanız proof of work büyük bir engel değil
• Meşru arama motorlarının ve Internet Archive gibi kuruluşların erişimi de engellenmek istenmiyor
  • Yalnızca baskın arama motoruna erişim izni veren açık bir izin listesi, hizmet kalitesi zaten sorunlu olan tekelci işletmenin konumunu daha da güçlendirir
  • LWN, bugüne kadar belirli bir arama motoru için izin listesi olmadan meşru erişimi korumayı başardı
• Sitenin bazı kısımları agresif biçimde optimize ediliyor; saldırı sırasında yüksek maliyetli işler en aza indiriliyor
  • Anonim okurlar zaman zaman bu önlemlerden etkilenebilir, ancak giriş yapmış kullanıcılar etkilenmiyor
  • Savunma önlemlerinin etkin olduğu saldırı durumlarında yanıt süreleri bazen normalden daha hızlı olabiliyor
• Mevcut önlemler kalıcı bir çözüm olarak görülmüyor; etkileri ortadan kalktığında bir sonraki karşılığın değerlendirilmesi gerekiyor

NetNut’un çökertilmesi ve geçici sakinlik

• Google, 2 Temmuz’da ABD Federal Soruşturma Bürosu (FBI) ve diğerleriyle iş birliği yaparak NetNut konut tipi proxy ağını çökerttiğini duyurdu
• Bu müdahalenin ardından scraper saldırılarının seviyesi bir ölçüde düşmüş görünüyor; ancak geçmiş deneyimler bu sakinliğin uzun sürmeyebileceğini gösteriyor
• Google Play Store, NetNut bulaşmış uygulamaları inceleyecek
• Büyük uygulama mağazası işletmecileri, konut tipi proxy işlevi taşıyan uygulamaların mağazaya girmesinin neden bu kadar kolay olduğuna yanıt vermiyor

Savunma duvarlarının arkasına itilen internet

• Tüm internet savunma duvarlarının arkasına taşınmadan ve yaratıcılığı teşvik eden açık ağ ortadan kalkmadan önce daha sürdürülebilir çözümlere ihtiyaç var
• Saldırıları tetikleyen sektör, bağımsız web sitelerinin içeriğini aldıktan sonra sitelerin yok olmasını umursamıyor; aynı tutum gezegen ve ekonomi için de sürüyor
• Büyük dil modellerini ve ilgili teknolojileri işleten şirketlere asgari etik standartlar uygulanmadıkça bu davranış devam edecek ve web sitesi işletmecileri kendilerini savunmak zorunda kalacak

[GN⁺]

Lobste.rs yorumları

• Son zamanlarda öğrendiğim her türden alenen şüpheli iş arasında konut tipi proxy en sarsıcı olanıydı.
  https://spur.us/blog/smart-tv-apps-residential-proxy-sdks adresinde ayrıntılı okudum; bunun yasal olduğuna inanmak zor. Botnetlerle aynı kategoriye koyup yasallaştırılmış botnet diye adlandırmak gerekir.

  • Gerçekten kınanmayı hak eden bir iş. Yalnızca doğrulanmış ve onaylanmış iş ortaklarının kullandığını söylüyorlar ama konut tipi proxy’lerin tek bir meşru kullanım alanı bile aklıma gelmiyor. Gerçekten böyle bir kullanım var mı?
  • Konut tipi proxy düzenlemesi konusunda dikkatli olmak gerekir. Bunu hedefleyerek düzenleme yapılırsa, konut tipi proxy botnetleri dışında çok daha fazla şey etkilenir.

• Bir başka kurban da bağlantı denetleyicileri. Bir sitede ölü bağlantı olup olmadığını kontrol etmek epey zorlaştı.
  Vaktim olsa, içeriğin hâlâ canlı olup olmadığını doğrulamak için Common Crawl projesinden yararlanmayı denerdim.

  • Sohbet uygulamalarının gönderen tarafında oluşturduğu bağlantı önizlemeleri de zarar görüyor. Bir XMPP istemcisi olan gajim’e bu özelliği kazandırmış olmaktan memnundum ama pratikte bağlantı önizleme isteklerinin çok sık “insan olup olmadığınız kontrol ediliyor” ekranına takılması moral bozucu.

• Sonunda GitHub depolarının geçmişini listelemek gibi maliyetli işlemlerin hepsi kimlik doğrulama duvarının arkasına alınacak, geri kalanı da statik hâle getirilip CDN üzerinden sunulacak.

  • Merkezileşme ve devlet gözetimi gibi kaygılar nedeniyle CDN son çare olmalı; önce sunucunun kendisinden daha fazla performans elde edilmesi gerektiğini düşünüyorum.
    Uygulama düzeyinde daha fazla içeriği statik hâle getirmek, veritabanı sorgularını azaltmak ve önbellek kullanmak açıkça yardımcı olur. Uzun süre performans konusunda pek kaygılanmama lüksümüz vardı, ama artık küçük sitelerde bile buna daha fazla dikkat etmek gerekiyor; bu da her yerde Cloudflare’ın “tarayıcı kontrol ediliyor” ekranını görmekten çok daha iyi.
    Küçük bir VPS’te Apache’nin her istek için ayrı bir süreç fork’ladığı geleneksel yöntem yüzünden sorun yaşadığım olmuştu. LAMP sunucularıyla uğraşarak büyüdüğüm için Apache tanıdık ve rahat geliyor, ama donanımı en verimli kullanan seçenek değil; sonunda daha önemli olan da bu. Elimde ampirik veri yok ama Caddy gibi bir sunucunun yükü daha iyi kaldıracağını düşünüyorum, bu yüzden bir sonraki sunucu yükseltmesinde geçmeyi planlıyorum.
  • Benim Forgejo sunucum da aynı durumdaydı. Sürekli kötü niyetli trafiği Anubis ile yönetmeye çalıştım, ancak ayarları bu trafiğe göre nasıl uyarlayacağımı tam olarak anlayamadım ve yavaş doğrulama bulmacalarıyla bizzat karşılaşmak da hoşuma gitmedi.
    fail2ban de kullandım ama ölçek büyüyünce düzgün karşılık veremedi. Sonunda blog yazımda özetlediğim güvenlik kurallarını Cloudflare’a bıraktım. Cloudflare’a uzun vadeli bağımlı olmaya isteksizdim, ama yazının alt tarafındaki CPU kullanım grafiğini görünce fikrim değişti.
  • Buna karşılık Git depoları ile crawler’ların uyumu aşırı derecede kötü. Dinamik olarak üretilen bağlantılar kombinatoryal patlamaya yol açıp geçici çözümlerden oluşan bir crawler tuzağı yarattığı için, az çok düzgün bir crawler, yolunda uzun onaltılık dizgeler bulunan URL’lerden aktif olarak kaçınır.
    Git host’larına büyük maliyet bindirmesine rağmen, şaşırtıcı biçimde birçok host depoların içine derinlemesine crawl edilmesini engelleyecek şekilde robots.txt ayarlamıyor.

• “Siteyi savunmak için aldığım önlemleri açıklamam istendi, ancak bariz nedenlerle ayrıntılı konuşmak istemiyorum. Bu düzeyde bile bir silahlanma yarışı yaşanıyor” kısmı içimi acıtıyor.
  Ben de bu mücadelede epey başarılı oldum, ama müştereklerin trajedisi yüzünden kullandığım çok basit önlemleri açıklarsam etkisi azalır. Gerçekten ilginç bir konu ve özgün fikirler de var; bunları blogda yazmak isterdim ama yazamamak üzücü.