FOSS altyapısı yapay zeka şirketlerinin saldırısı altında

 (thelibre.news)
1 puan yazan GN⁺ 2025-03-21 | 1 yorum | WhatsApp'ta paylaş
  • SourceHut, KDE GitLab, GNOME GitLab, LWN, Fedora, Inkscape, Diaspora, Read the Docs gibi birçok FOSS altyapısı, yapay zeka crawler’ları ve yapay zeka tarafından oluşturulan güvenlik raporları nedeniyle kesinti, engelleme ve operasyonel yük yaşıyor
  • Crawler’lar robots.txt dosyasını yok sayıyor veya git blame, Git günlükleri ve commit sayfaları gibi pahalı endpoint’leri tekrar tekrar istiyor; on binlerce IP ve sahte User-Agent ile normal kullanıcı trafiğine karışmaya çalışıyor
  • GNOME, Anubis proof-of-work mekanizmasını devreye aldı; ancak yaklaşık 2 saat 30 dakika içinde gelen 81.000 isteğin yalnızca %3’ü geçebildi ve bu da trafiğin çoğunun bot olabileceğini gösterdi
  • Edge sürümü engelleme, oturum açmamış kullanıcılara kısıtlama, subnet/ülke engelleme, IP engelleme listeleri, yapay zeka crawler’ları için robots.txt/.htaccess gibi önlemler alındı; gerçek kullanıcılar da gecikme veya erişim engeli yaşadı
  • Açık iş birliğine dayanan açık kaynak projeleri, özel hizmetlere göre daha geniş bir maruz kalma yüzeyine sahip olduğundan yapay zeka scraping’i ve LLM halüsinasyonu güvenlik raporları, bakımcıların zamanını ve operasyon kapasitesini doğrudan tüketiyor

Birçok FOSS altyapısında tekrarlanan kesintiler

  • SourceHut’ın kurucusu ve CEO’su Drew DeVault, LLM şirketlerinin robots.txt dosyasına saygı göstermeden veri crawl ederek SourceHut’ta ciddi kesintilere yol açtığını eleştirdi
  • KDE GitLab altyapısı, Alibaba aralığındaki IP’lerden gelen yapay zeka crawler’ları nedeniyle aşırı yüklendi ve KDE geliştiricileri geçici olarak GitLab’a erişemedi
  • GNOME GitLab’da, kesintiye yol açan yapay zeka scraper’larını engellemek için Anubis proof-of-work challenger’ının varsayılan yükleme ekranı görünmeye başladı
  • Vakalar biriktikçe yapay zeka scraper’larının saldırganlığı artıyor, açık iş birliğini temel alan FOSS topluluklarının operasyon yükü de büyüyor

Crawler’ların çalışma biçimi ve engellemenin zorlukları

  • Drew DeVault’a göre LLM crawler’ları robots.txt taleplerine uymuyor ve maliyeti yüksek sayfalar dahil tüm depoyu tarıyor
    • Hedefler arasında git blame, Git günlüklerinin tüm sayfaları ve depodaki tüm commit’ler yer alıyor
    • Crawler’lar on binlerce IP’den rastgele User-Agent kullanıyor; her IP, kullanıcı trafiğine karışmak için en fazla bir HTTP isteği gönderiyor
  • Bu yöntem nedeniyle azaltım önlemleri geliştirmek zorlaşıyor ve SourceHut’ta yüksek öncelikli işler haftalarca ya da aylarca gecikiyor
  • Botlarla insanları ayırt etmek zor olduğu için gerçek kullanıcılar da zaman zaman etkilendi ve bu SourceHut kesintilerine yol açtı
  • Drew, tüm yapay zeka şirketlerinin robots.txt veya User-Agent bildirimlerini aynı şekilde ele alıp almadığını ayırmıyor

KDE ve GNOME’un tepkisi

  • KDE sysadmin ekibinden Ben’e göre KDE GitLab’da DDoS’a yol açan IP’lerin tamamı MS Edge olduğunu iddia ediyordu ve bunun nedeni Çinli yapay zeka şirketleriydi
    • Ben, OpenAI ve Anthropic gibi Batılı LLM işletmecilerinin en azından doğru User-Agent ayarladığını düşünüyor
    • Geçici çözüm, botların iddia ettiği Edge sürümünü engellemekti
    • Botların User-Agent değiştirerek karışmaya çalışma eğilimi olduğundan bunun nihai çözüm olarak kullanılması zor
  • GNOME geçen yıl kasımdan beri sorun yaşıyordu ve oturum açmamış kullanıcıların merge request’leri ve commit’leri görmesini engellemek için hız sınırlaması uyguladı
    • Bu önlem gerçek oturum açmamış kullanıcılar için de sorun yarattı
  • Daha sonra GNOME Anubis’e geçti
    • Anubis, tarayıcıya hesaplama görevi veriyor; tarayıcı zaman harcayıp çözümü sunucuya gönderdiğinde erişime izin veriliyor
    • Geliştirici bunu “nükleer karşılığa yakın bir önlem” olarak nitelendirdi ve yapay zeka scraper botlarının robots.txt gibi standartlara uymaması nedeniyle mecbur kalınan bir seçim olduğunu belirtti
  • Anubis de kullanıcı etkisi bıraktı
    • Aynı konumdan çok sayıda kişi bağlantı açarsa daha yüksek zorlukta görevler sunulabiliyor
    • Bir kullanıcı 1 dakikalık gecikme, başka bir kullanıcı telefonda yaklaşık 2 dakikalık bekleme yaşadı
    • GitLab bağlantısı sohbet odalarına yapıştırıldığında veya Triple Buffering GNOME merge request’i Hacker News’te ilgi gördüğünde bu durumlar ortaya çıktı
  • GNOME sysadmin’i Bart Piotrowski’nin paylaştığı verilere göre yaklaşık 2 saat 30 dakika içinde toplam 81.000 isteğin yalnızca %3’ü Anubis proof-of-work kontrolünden geçti
    • Anubis geçiş oranı: {p:3}
    • Bu, trafiğin %97’sinin bot olabileceğine işaret ediyor

LWN, Fedora ve Inkscape’te engelleme örnekleri

  • LWN’i işleten Jonathan Corbet, yapay zeka scraper botlarının DDoS’u nedeniyle sitenin “bazen yavaş olabileceğini” kullanıcılara bildirdi
    • Gerçek insan okuyuculara sunulan trafiğin toplamın yalnızca küçük bir bölümü olduğunu söyledi
    • Botların bir dönem yüzlerce IP’den aynı anda eriştiğini, kendilerini bot olarak tanımlamadığını ve yalnızca robots.txt dosyasını okumadığını belirtti
  • Fedora projesi sysadmin’i Kevin Fenzi de yapay zeka scraper sorunu yaşadı
    • Bir ay önce pagure.ionun ayakta kalmasını sağlamak için müdahale etmek zorunda kaldı
    • Sonrasında durum kötüleşti; birden fazla subnet engellendi ve gerçek kullanıcılar da etkilendi
    • Çaresiz bir durumda Brezilya’nın tamamı engellendi; bu engellemenin hâlâ sürdüğü anlaşılıyor
  • Neal Gompa, tüm bir ülkeyi engellemenin de sınırlı olduğunu ve Fedora altyapısının yapay zeka scraper’ları yüzünden “haftalar boyunca düzenli olarak çöktüğünü” belirtti
  • Inkscape de geçen hafta aynı sorunu yaşadı
    • Martin Owens, bunun geçen yılki tipik Çin kaynaklı DDoS olmadığını; birden fazla şirketin spider ayarlarını yok sayıp tarayıcı bilgilerini sahtelediği bir durum olduğunu düşünüyor
    • Prodigius engelleme listesini oluşturdu ve yapay zeka yapan büyük bir şirkette çalışıyorsanız Inkscape web sitesine artık erişemeyebileceğinizi söyledi

IP engelleme listeleri ve ortak karşılık denemeleri

  • Frama software’dan BigGrizzly de kötü LLM crawler’larıyla flooded oldu ve sahte User-Agent kullanan 460.000 IP’lik bir engelleme listesi oluşturdu
    • Bu listeyi paylaşabileceğini söyledi
  • ai.robots.txt projesi, yapay zeka şirketleriyle ilişkili web crawler’larının herkese açık bir listesini oluşturmaya yönelik daha kapsamlı bir girişim
    • Robots Exclusion Protocol’ü uygulayan bir robots.txt sağlıyor
    • Listedeki yapay zeka crawler isteklerine hata sayfası döndüren bir .htaccess dosyası da sağlıyor

Diaspora ve Read the Docs trafik verileri

  • Dennis Schubert’in Diaspora altyapısına ilişkin analizinde, tüm web trafiğinin kayda değer bir kısmının yapay zeka şirketlerinin botlarından geldiği görüldü
    • OpenAI User-Agent botu tüm web trafiğinin dörtte birini oluşturuyor
    • Amazon %15, Anthropic ise %4,3 paya sahip
    • Toplam isteklerin yaklaşık %70’inin yapay zeka şirketlerinden geldiği hesaplandı
  • Schubert, bu botların bir kez crawl edip gitmediğini, her 6 saatte bir geri geldiğini ve robots.txt dosyasını umursamadığını söylüyor
    • Hız sınırlaması uygulanırsa başka IP’ye geçiyorlar
    • User-Agent string’iyle engellenirlerse bot olmayan bir User-Agent string’ine geçtiklerini söylüyor
    • Bunu tüm internete yönelik bir DDoS olarak tanımlıyor
  • Read the Docs, “AI crawlers need to be more respectful” başlıklı yazısında tüm yapay zeka crawler’larını engelleyince trafiğin %75 azaldığını açıkladı
    • Trafik azalma oranı: {p:75}
    • Trafik günde 800 GB’den 200 GB’ye düştü
    • Bu sayede ayda yaklaşık 1.500 dolar tasarruf sağlandı
    • Crawler’ların birkaç gün içinde onlarca TB veri indirdiği vakalar da oldu
    • Birden fazla IP kullandıkları için tamamen engellemek zor
  • Schubert’e göre Google ve Bing gibi “normal” crawler’lar birleştiğinde bile %1’in altında küçük bir paya sahip

Yapay zeka üretimi güvenlik raporlarının yarattığı bakım yükü

  • Sorun scraper’larla sınırlı kalmayıp yapay zeka üretimi hata raporlarına da yayılıyor
  • Curl projesinden Daniel Stenberg, “The I in LLM stands for Intelligence” başlıklı yazısında yapay zekanın ürettiği hata raporları sorununu ele aldı
    • Curl bir bug bounty projesi yürütüyor
    • Son dönemde birçok hata raporu yapay zeka tarafından üretildi; dışarıdan bakınca makul göründükleri için geliştiricilerin doğrulamak üzere zaman harcamasına neden oluyor
    • Ancak raporlarda yapay zekadan beklenen tipik halüsinasyonlar bulunuyor
  • CPython, pip, urllib3, Requests gibi projelerin güvenlik raporu triage ekiplerinde yer alan Seth Larson da benzer bir sorun yaşıyor
    • Açık kaynak projelerinde son derece düşük kaliteli ve spam niteliğinde LLM halüsinasyonu güvenlik raporları artıyor
    • Bu raporlar ilk bakışta meşru görünebildiği için çürütmek zaman gerektiriyor
  • Güvenlik raporlarına yanıt vermek maliyetli; makul görünen ama uydurulmuş hata raporlarıyla uğraşmak bakımcılara büyük ek yük bindiriyor
  • Larson, güvenlik açığı tespitinde yapay zeka veya LLM sistemleri kullanılmamasını istiyor
    • Mevcut sistemlerin kodu anlayamadığını; güvenlik açığı tespitinin kod anlayışı ile niyet, yaygın kullanım biçimi ve bağlam gibi insan düzeyinde kavramları anlamayı gerektirdiğini söylüyor

FOSS üzerinde daha büyük etki yaratan yapısal yük

  • FOSS projeleri çoğu zaman ticari ürünlere göre daha az kaynağa sahip
  • Topluluk odaklı projelerde altyapının daha büyük bölümü herkese açık olduğundan crawler’lara daha fazla maruz kalıyor
  • Herkese açık issue, güvenlik bildirimi ve iş birliği altyapısı gerektiği için yapay zeka scraper’ları ile yapay zeka üretimi issue’lar aynı anda yük oluşturuyor
  • Sonuçta kesinti müdahalesi, engelleme politikaları, kullanıcı zararını azaltma ve sahte güvenlik raporlarını inceleme işleri açık kaynak bakımcılarının zamanını tüketiyor

İlgili okumalar

1 yorum

 
GN⁺ 2025-03-21
Hacker News görüşleri

  • Burada da bir örnek var: https://about.readthedocs.com/blog/2024/07/ai-crawlers-abuse... Kaynak yazıda da alıntılanan bir metin; büyük ölçekli internet altyapıları işleten tanıdıklarımın hepsi benzer şeyler yaşıyor.
    Bu yazı bu tür örnekleri tek bir yerde iyi toparlıyor. Yazıyı kaleme alırken de söylediğim gibi, bunlar resmen güven sermayesini tamamen yakıyor.
    Bu alandaki büyük girişimlerden biri bizimle doğrudan çalıştı, maliyetleri iade etti ve crawler hatasını da düzeltti. Buna karşılık Facebook e-postalara yanıt vermedi ve User Agent içindeki bağlantı 404 veriyordu. Şirketteki bir mühendis yazıyı görüp doğru e-posta adresini verdi ama oraya da 3 kez göndermeme rağmen yanıt alamadım

    • Yapay zeka şirketleri, güven sermayesinin önemli olmadığı varsayımıyla hareket ediyor gibi görünüyor. 100 milyar dolarlık sermayeye sahip 800 kiloluk bir goril gibi istediklerini yapıyorlar.
      İstesek de istemesek de yapay zeka her ürüne girecek ve istesek de istemesek de tüm verileri emecekleri tavrındalar
    • “Tek bir crawler 2024 Mayıs’ında sıkıştırılmış HTML dosyalarından 73 TB indirdi ve bant genişliği maliyeti 5.000 doların üzerine çıktı” kısmını görünce tekrar okudum.
      Ağırlıkla dedicated server üzerinde ayda yüzlerce TB trafik işleyen bir altyapı işletiyorum ve trafik maliyeti TB başına kabaca 0,50 ila 3 dolar düzeyinde. Bölgeye göre değişiyor ama AWS çıkış trafiği maliyeti gerçekten akıl almaz seviyede
    • Yanıt yoksa e-posta yerine accounts payable ekibine fatura gönderin
    • 3 kez e-posta gönderip de yanıt alamadıysanız, o noktadan sonra bunu bug ya da hata değil, DDoS olarak görmek gerekmez mi?
    • Neden onlara dinamik olarak üretilmiş çöp bilgi vermiyoruz? Hiç bilgi vermemekten daha eğlenceli olurdu

  • Projemin önizleme görselinde böyle görünmesi gerçekten gerçek dışı hissettiriyor. Harika! Denemek isterseniz burada: https://github.com/TecharoHQ/anubis
    Şimdiye kadar gördüğüm kadarıyla gerçekten çalışıyor gibi. Gerçek kullanım ortamında nasıl başarısız olduğunu görmek için blogumda xeiaso.net üzerinde dağıttım

    • Kullanıcıya şu anda ne yapması gerektiğine ve o sayfada neler olduğuna dair biraz açıklama eklenirse iyi olur.
      Bir yükleme animasyonu bileşeni var ama bunu birkaç hafta önce Gnome issue tracker’da ilk gördüğümde proof of work yaklaşık 20 saniye sürmüştü ve ne olduğunu anlayamamıştım. Başta engellendiğimi ya da captcha’nın yüklenmediğini sanmıştım.
      Şimdi ne olduğunu biliyorum ama “bot olup olmadığını doğruluyoruz” sayfası tek başına bakıldığında %100 net görünmüyor
    • Bu yaklaşımı gerçekten seviyorum. İnternetin vahşi batı gibi işlemesi sorun değil ama sorumluluk eksikliği hoşuma gitmiyor.
      Siteyi ücretsiz açık tutmak isteyen taraf için, ekonomik yükü crawler’lara aktarmanın iyi bir yolu. Veriyi istiyorlarsa maliyeti alan taraf ödesin.
      Arama motorlarından düşme gibi bir dezavantajı var ama hizmeti küresel ya da P2P indeksleyicilere kaydetmemek için de bir neden yok
    • Hoşuma gitti, her zamanki gibi iyi iş çıkarmışsın.
      Ayrıca https://news.ycombinator.com/item?id=43422781 bağlamında, istenen bir shitcoin’in mikromiktarını hesaplayan bir yöntem eklenirse kriptonun gerçekten faydalı bir kullanım alanı daha ortaya çıkabilir
    • Anubis, ancak çok tanınmadığı sürece işe yarar. Tanınır hale gelirse crawler’lar GPU/ASIC ile proof of work çözmeye başlar ve o zaman iş biter
    • Arada sırada senin yaptığın bir şeye rastlamak hoş oluyor. Blog tarzı anlatım biçimini de seviyorum, o yüzden Anubis’e daha yakından bakacağım

  • Bu hızla giderse bu, yalnızca özgür ve açık kaynak altyapısının sorunu değil. Elbette bunun maden ocağındaki kanarya olması nedeniyle özellikle empati duyuyorum, ama sonuçta bu, anonim internet erişiminin genel bir sorunu.
    Siteleri bir kimlik doğrulama duvarının arkasına koyabilirsiniz, ancak yeni botlar eskisi gibi değil; CAPTCHA çözüyor ve gerçek kullanıcıları taklit ediyor. Özellikle konut tipi IP’ler ve sahte User Agent kullanırlarsa ya da makalede anlatıldığı gibi Playwright benzeri şeylere bağlı gerçek User Agent bile kullanırlarsa durum daha da öyle.
    Sonunda sitelerin kredi kartı, Worldcoin ya da aynı derecede iç karartıcı başka ikameler istemeye başlamasından başka ne kalacak ki?

    • Zaten yolun yarısına gelmiş durumdayız. OpenStreetMap haritalaması yaparken kendi web sitesi olmayan yerel işletmeleri her aradığımda bunu hissediyorum.
      Bunlar Facebook, Instagram, X vb. platformları dijital kartvizit gibi kullanıyor. Ben normalde Facebook ya da Instagram kullanmıyorum, X’i de bıraktım ve hesabım da yok; ama bu tür bağlantıları takip edince ya sadece bilginin bir kısmı görünüyor, sonra hesap aç ya da çık git diyen bir pencere beliriyor ya da ne olduğu belirsiz bir hatayla karşılaşıyorum.
      Özel topluluklara katılmak sorun değil, ama herkese açık görüneceğini düşünerek paylaşılan bilgiye böyle engeller konması gerçekten sinir bozucu.
    • Sessiz kısmı yüksek sesle söylemek gerekirse, bunun bu kadar iç karartıcı olmasının en büyük nedenlerinden biri, bunun sadece yıkım değil, ilgili kötü aktörlere bileşik getiriyle kazanç sağlayan bir yıkım olması. İçerik kazıma bunun sadece başlangıcı.
      Maliyet artışı yüzünden bir site sonsuza dek kapanıyor mu? Harika, çünkü artık insanlar tüm belgeler için AI kullanmak zorunda kalacak. CAPTCHA’dan vazgeçilip kredi kartı ya da telefon numarası isteniyor mu? Harika, çünkü internetin anonimliğinden biraz daha eksilmiş oluyor.
      Veri sızıntıları yüzünden dolandırıcılık artıyor mu? Harika, çünkü bunu önlemek için AI gerekecek. Kötü niyetli aktörler için neredeyse herkesin kazandığı bir oyun bu.
      İnternetin Balkanlaşması uzun zamandır tartışılıyor. İnsan, böyle tehditlerin ya da zaten kontrolden çıkmış bir çöplük olduğu gerçeğinin durumu daha da kötüleştirme konusunda biraz temkin yaratacağını sanıyor; ama insanların kaldırabileceği taciz ve sürtünmenin sınırlarını zorlamanın zaten önemi yok. Çünkü gerçekte bir seçenek yok.
    • Emin değilim. Küçük bir tarayıcı oyunu işletiyorum ve sunucu düzenli olarak LLM scraper’ları tarafından tamamen dövülüyor, ama bot tarafından oluşturulmuş gibi görünen tek bir yeni hesap bile henüz görmedim.
      Yeni kayıt oranı da fark edilir biçimde değişmedi. Hem oyunda hem de vikide durum böyle ve scraping trafiğinin büyük kısmı vikiye yöneldi. Scraping azalmazsa vikiyi neredeyse tamamen bir kimlik doğrulama duvarının arkasına koymak zorunda kalma ihtimali yüksek.
    • Bu, sonraki X isteğini yapmak için şu kadar token işlenmeli gibi bir modele dönüşebilir. Tabii kulağa oldukça ütopik geliyor.
    • Mutlaka bir kimlik doğrulama duvarının arkasına koymak gerekmiyor. Her istek için anonim mikro ödeme hizmetleri kullanmak da gayet mümkün.
      Eğer fazla ziyaretçi almak bir web sitesinin varlığını tehdit eden bir internet düzenindeysek, bu, içinde yaşadığımız internetin uzun ömürlü olacak şekilde kurulmadığı anlamına gelir.

  • Geçmişte arama motorları böyle bir şeye yol açtığında sektör, yasal düzenleme gelmesini önlemek için uzlaşmış ve robots.txt belirtimini oluşturmuştu. Bu yüzden bir hukuki çerçeve oluşmadı.
    Şimdiyse bu uzlaşının parçası olmayan, aç yeni nesil indeksleyiciler var; rekabet baskısı nedeniyle mümkün olduğunca çok veri kazımaya çalışıyorlar ve robots.txt’yi düpedüz yok sayıyorlar.
    Her hâlükârda yasama yoluna gidilmeliydi ve robots.txt’yi yok sayanlara engelleme, para cezası, hız sınırlaması vb. uygulanmalıydı.

    • Bu planı beğenip beğenmediğimden emin değilim. Yasadışı AI’nin, yasal AI’den daha fazla bilgiye ve faydaya sahip olmasına izin verilmemeli.
      Topyekûn yasaktan başka seçenekler de var.
    • ABD Temsilciler Meclisi’nde ya da Kongre’de robots.txt’nin ne olduğunu bilen tek bir üye bile varsa şaşırırım.
    • ABD ya da AB yasaları Çin, Tayland veya Rusya’dan gelen trafiği nasıl durdurabilir ki? En fazla interneti parçalar; bu da “en iyi ihtimal” değil, korkunç bir fikir.

  • Ben de yakın zamanda saldırıya uğradım [0]. Birkaç açık kaynak paket kodunu barındıran küçük bir Forgejo örneği işletiyorum; herkese açık olması gerekiyor ama tamamen mahvoldu ve oluşturulan ZIP arşivleri diski doldurdu.
    Aynı şeyi yaşayan tek kişi ben değilim. Benim durumumda Alibaba Cloud IP aralıklarını engelleyince saldırı şimdilik yatıştı.
    Forgejo örneği çalıştırıyorsanız DISABLE_DOWNLOAD_SOURCE_ARCHIVES değerini true olarak ayarlamanızı şiddetle tavsiye ederim. Crawler’lar yine CPU’yu sonuna kadar meşgul edecektir, ama en azından disk ZIP dosyalarıyla dolup taşmaz.
    [0] https://blog.nytsoi.net/2025/03/01/obliterated-by-ai

    • “Oluşturulan ZIP arşivleri diski doldurdu” ifadesi, ZIP dosyalarının anında oluşturulduğu kötü bir yazılım tasarımı demek.
    • Bunun yerine, açık internette sunulmak üzere düzgün tasarlanmış, iyi yapılmış bir yazılıma geçmek daha iyi olabilir.
      ZIP dosyası oluşturup, onu bütünüyle diske yazıp, sonra tek seferde istemciye gönderen bir tasarım tamamen korkunç ve kullanılamaz bir yaklaşım. Doğru tasarım, belleği asgari kullanarak ve hiç disk kullanmadan, kademeli üretip istemciye aktarabilmelidir.
      Böyle saçma bir tasarımın varlığı, geliştiricilerin verimliliği neredeyse tamamen göz ardı ettiğinin işareti ve benzer ölümcül sorunların yığınla bulunması da muhtemel.
      Örneğin Forgejo kaynak koduna kabaca bakınca, tüm Git işlemleri için özel bir kütüphane kullanmak yerine “git” sürecini başlatıyor gibi görünüyor. Doğrulamadım ama bu tür işlemlerin ilgili işlemi yapmanın en verimli yolundan çok uzak olması beni şaşırtmaz.
      Bu kadar aşırı derecede özensiz bir yazılım çalıştırıldığında CPU’nun %100’e çakılı kalması ve sunucunun kullanılamaz hale gelmesi de şaşırtıcı değil.

  • Buradaki büyük sonuç, Google’ın ve genel olarak reklamcılığın web üzerindeki hakimiyetinin ortadan kalkıyor olmasıdır
    Botları engellemenin tek yolu CAPTCHA, ama bu durumda arama indeksleyicileri de siteyi indeksleyemez. Sonuçta arama motorları siteyi indeksleyemez ve artık değer sunamaz hale gelir
    Şu anda LLM’lerde bulunan bilginin kurumasında biraz gecikme olabilir, ama artık hiç kimse web’i otomatik şekilde kazıyamayacak gibi görünüyor
    Her şey yanıp kül olacak gibi duruyor

    • Aslında bunun kurt ve tavşan popülasyonları gibi bir Lyapunov kararlılığı olacağını düşünüyorum. Bu senaryoda biz tavşanız
      AI popülasyonu azalınca insan içeriği artar, bu da AI için daha fazla besin olur ve AI yeniden artar. Sonra insan ifadesi bastırılır ve insanlar daha da sessizleşir. AI’nin besini azalınca AI düşer, gürültü azalır ve insanlar yeniden büyür. Bu döngü usandıracak şekilde tekrar eder
    • Şahsen bunun Web Environment Integrity’nin asıl motivasyonlarından biri olduğunu düşünüyorum. Google’ın indeksleyebilmesi, başkalarının ise edememesi
      Zor bir ikilemin içindeyiz. Yerleşmiş mevcut devleri mi istiyoruz, yoksa ucuz ve açık barındırmayı mı?
    • Google zaten siteleri kazıyıp arama sonuçlarında doğrudan cevap gösteriyor. Trafiği önemsiyor ve reklam alanı satmak istiyorsam, artık neden sitemin Google tarafından indekslenmesini isteyeyim ki?
      Reklam tabanlı sitelerin önemli bir kısmı kararacak. Ziyaretçileri sadece botlar olacak çünkü
    • Kimlik doğrulamalı taramaya geçilirse mevcut arama motorlarının konumu daha da güçlenecek. Çünkü yalnızca davet edilen tarayıcılar erişebilecek
      Basit bir araç olursa çoğu kişi yalnızca Google, Bing ve en fazla bir iki tanesine daha izin verecektir
    • En iyi CAPTCHA aşma teknolojisine sahip AI şirketi kazanacak ve LLM çıktısına daha sofistike biçimlerde reklam yerleştirecek

  • Küçük çaplı sabotajla ilgilenen varsa, mikroblogumdaki gerçek bilgiyi bir ölçüde “boğmayı” başarmış gibi görünüyorum
    LLaMa ile gerçek her bir gönderi başına onlarca çelişkili gönderi ürettim ve insanların tıklamaması için görünmez biçimde bağlantıladım. Yani Bannon tarzı bir şekilde bölgeyi çöple doldurmak gibi

    • Bu yaklaşımın kullanıldığını gördüm ama başarı oranını bilmiyorum. Mantıken makul görünüyor
      İnsanların fiilen göremeyeceği yolları açıkça referans veriyorsun ve o yollara gelen trafiği bot sayıyorsun. Botlar buna dayanamıyor
    • Evet. Yalnız bunu robots.txt dosyasına mutlaka eklemek gerekir ki sadece kötü robotlar zarar görsün
    • Bunu dün okudum ve daha büyük ölçekte nasıl hafifletilebileceğini düşündüm. Web sitesinin rastgele sanal yollar veya endpoint’ler üretip botları yerelde sunulan bir Babel Kütüphanesi’ne[0] yönlendirmesi ve örümcekleri işe yaramaz metinlerle kirletmesi gibi
      Botun kazımak istediği tam endpoint’leri bildiği iyi yapılandırılmış sitelerde işe yaramaz, ama daha keşif odaklı spider thread’lerini yavaşlatabilir gibi geliyor
      [0] https://libraryofbabel.info/
    • Bölgeyi çöple doldurmak yerine, ZIP bombası benzeri şeyler sunmak ya da hesaplama kaynaklarını boşa harcatmak gibi doğrudan sabotaj nasıl olur?

  • VideoLAN’danım
    Biz de aynı şekilde forumlarımız ve Gitlab’ımızın AI şirketlerinin botları tarafından dövüldüğünü görüyoruz
    Çoğu robots.txt’ye uymuyor

    • Bunu çözmek için aldığınız önlemleri belgelediniz mi?

  • Bu çılgınlık. Sonunda arama motorları tarafından indekslenmeyen bir web sürümüne gidip gitmeyeceğimizi merak ediyorum. 90’lardaki gezinmeye benzer, web sitelerinin ancak birbirine bağlantı verirse keşfedildiği bir web yani
    LLM scraping’ine çözümün, erişim izni vermeden önce tarayıcıya proof of work yaptırmak olması hoşuma gidiyor. Yeni siteler bunu benimsemeye başlar mı diye merak ediyorum
    O zaman arama motorlarında indekslenmez ama fikri mülkiyeti korumaya yardımcı olur

  • Bunu şimdiye kadar hiç düşünmemiştim ama hem LLM ürünleri hem de bulut bilişim hizmetleri sunan şirketlerin iki taraftan da para kazanması çılgınca
    Satabilecekleri bir LLM ürünü elde ediyorlar, aynı zamanda artan yükten doğan çıkış trafiği maliyetini ve hesaplama maliyetini de alıyorlar. Böyle bakınca, verimsiz LLM scraping’ini dert etmeleri için ne teşvik var? Ne kadar dağınık kalırsa, diğer imparatorluk olan bulut depolama çıkış ücretlerinden o kadar para kazanıyorlar