Amazon’un yapay zeka tarayıcısı Git sunucumu kararsız hale getirdi

• Amazon’un yapay zeka tarayıcısı yüzünden Git sunucum kararsız hale geldi

• Destek blogu: Blogu beğeniyorsanız Patreon üzerinden Xe’yi destekleyebilirsiniz

• Patreon aboneliği: EthicalAds reklamı

• Düzeltme (2025-01-18 23:50 UTC): Gitea sunucusuna istekleri kabul etmeden önce çalışma kanıtı kontrolü yapan bir proxy yazdım. Adı Anubis ve yakında bununla ilgili bir blog yazısı yayımlayacağım. Şimdilik https://git.xeserv.us/ adresinde görülebilir. Biraz kaba ama yeterince iyi çalışıyor

• Düzeltme (2025-01-18 19:00 UTC): Vazgeçtim. Gitea sunucusunu VPN’in arkasına taşıdım. Sunucuyu botlardan korumak için çalışma kanıtlı bir ters proxy üzerinde çalışıyorum. Yakında tekrar erişime açacağım

• Düzeltme (2025-01-17 17:50 UTC): Ingress yapılandırmasına şu parçayı ekledim:

  nginx.ingress.kubernetes.io/configuration-snippet: |
    if ($http_user_agent ~* "(Amazon)" ){
      return 418;
    }
  

  Bot hâlâ başka IP’lerden saldırıyor. İsteklerin yaklaşık %10’unda amazonbot user-agent yok. Sonra ne yapmam gerektiğini bilmiyorum. Gelecekten nefret ediyorum

• Yardım çağrısı: AmazonBot’u işleten kişiden git.xeserv.us alan adını engellenen alan adları listesine eklemesini istiyorum. Amazon’da tanıdığınız biri varsa lütfen bu mesajı iletin. Git sunucumu tarayacaksanız, donanım yükseltme maliyetine denk bir ödeme yapabilmeniz için benimle iletişime geçin. Gitea sunucusunu kamuya kapatmak istemiyorum ama gerekirse yapacağım. Yapay zeka tarayıcı botlarını engellemek anlamsız. Botlar yalan söylüyor, user-agent değiştiriyor ve konut IP adreslerini proxy olarak kullanıyor. İsteklerin durmasını istiyorum

• robots.txt dosyasını zaten tüm botları engelleyecek şekilde yapılandırdım:

  User-agent: *
  Disallow: /
  

  Daha ne yapmam gerektiğini bilmiyorum

[GN⁺]

Hacker News görüşü

• Bir avukattan "açık bir ihtarname" hazırlamasını isteyip bunu Amazon'a ileterek sorunu çözmeyi deneyebilirsiniz

  • Amazon durmazsa, cezai şikayet yoluyla dikkat çekilebilir

• Web sitesine insanların ziyaret etmeyeceği bağlantılar ekleyip bunları robots.txt içinde yasaklayarak yapay zeka tarayıcılarını engelleme yöntemi öneriliyor

  • Bir IP adresi bu bağlantıları ziyaret ederse 24 saat engelleniyor

• Yapay zeka ve SEO botları robots.txt'ye neredeyse hiç uymuyor ve engellenmeleri zor

  • Bir yapay zeka tarayıcısı erişim istiyorsa kurallara uymalı ya da ücret ödemeli

• Amazon dışında başka bir aktörün yapay zeka tarayıcısı kılığına giriyor olma ihtimali var

  • Dönen konut IP'leri ve değişen user-agent dizeleri şüpheli görünüyor

• Kişisel sunucularda yapay zeka tarayıcıları nedeniyle CPU kullanımının aniden yükselmesi sorunu yaşanıyor

  • robots.txt ve user-agent tabanlı engelleme listeleriyle sorun azaltıldı, ancak bunun kalıcı olup olmayacağı belirsiz

• Yapay zeka tarayıcılarını engellemek yerine zararlı içerik sunarak sorunun çözülebileceğini düşünenler var

  • Amazon bunu fark ederse sorunu çözmek için para harcama ihtimali olabilir

• Bunun Amazon kılığına girmiş bir DDoS saldırısı olabileceği de öne sürülüyor

  • İsteklerin konut IP'lerinden gelmesi şüphe uyandırıyor

• Pinboard sitesi de yapay zeka tarayıcıları nedeniyle trafikte büyük artış yaşayıp çöktü

  • IP aralıklarına göre engelleme yapılamadığı için CAPTCHA kullanmak zorunda kaldı

• Amazon'un AWS kredisi vererek trafik aşımı maliyetlerini telafi etmesi gerektiğini düşünenler var

  • Bunun reklam geliriyle dengelenebileceği umuluyor

• Nginx ile engelleme yapılandırılmadan önce Bytespider ve Amazonbot toplam trafiğin %80'ini oluşturuyordu

  • ClaudeBot, Redmine'da 5 yıllık trafiği bir ay içinde aştı