Cloudflare’ın yeni pazaryeri, web sitelerinin AI scraping botlarından ücret almasını mümkün kılıyor

• Cloudflare, web sitesi sahiplerinin site içeriklerinin scrape edilmesine yönelik erişimi yapay zeka model sağlayıcılarına satabileceği bir pazaryerini gelecek yıl kullanıma sunmayı planladığını açıkladı
• Bu pazaryeri, Cloudflare CEO’su Matthew Prince’in yayıncıların yapay zeka botlarının web sitelerini nasıl ve ne zaman scrape ettiğini daha iyi kontrol edebilmesine yönelik daha büyük planının son aşaması
• İlk adım olarak Cloudflare, ücretsiz bir observability aracı olan AI Audit’i duyurdu
  • Web sitesi sahiplerine, yapay zeka modellerinin siteyi ne sıklıkla scrape ettiğine dair analizleri görebilecekleri bir dashboard sunuluyor
  • AI Audit üzerinden web sitesi sahipleri yapay zeka botlarını engelleyebilir veya belirli web scraper’lara izin verebilir
  • AI Audit demosu, web sitesi sahiplerinin her scraper’ın nereden geldiğini görmesini sağlıyor ve OpenAI, Meta, Amazon gibi yapay zeka model sağlayıcılarının siteyi ne sıklıkla ziyaret ettiğini gösteren isteğe bağlı bir pencere sunuyor
• Yapay zeka sektöründeki sorunun çözülmesi
  • Yapay zeka model sağlayıcıları binlerce küçük web sitesini scrape ederek bunu LLM’leri çalıştıran bilgi kaynağı olarak kullanıyor
  • Web sitelerinin çoğu bunun karşılığında herhangi bir ödeme almıyor ve bu durum birçok web sitesinin iş modelini bozabilir
  • Cloudflare, web sitesi sahiplerinin yapay zeka botlarını engelleyebilmesini sağlayan bir düğme yayınladı
• Müşteri taleplerinin yansıtılması
  • Cloudflare müşterileri, hangi yapay zeka modellerinin sitelerine erişebileceğini seçebilecekleri araçlar talep etti
  • Cloudflare’ın yeni araçları, bazı yapay zeka crawler’larını engellerken diğerlerine izin verilmesini sağlıyor
• Pazaryerinin hedefi
  • Cloudflare’ın pazaryeri, küçük yayıncıların yapay zeka model sağlayıcılarıyla anlaşma yapabilmesini sağlayacak
  • Web siteleri scrape ücretini belirleyebilecek veya yapay zeka laboratuvarlarından kredi talep edebilecek
• Yapay zeka ekosistemi üzerindeki etkisi
  • Bazı yapay zeka şirketlerinin içerik için şu anda hiçbir ücret ödemediği durum sürdürülebilir değil
  • Cloudflare CEO’su, bu pazaryerinin uzun vadede yapay zeka ekosistemi için faydalı olacağını düşünüyor

GN⁺ özeti

• Cloudflare, web sitesi sahiplerinin site içeriklerinin scrape edilmesine yönelik erişimi yapay zeka model sağlayıcılarına satabileceği bir pazaryeri başlatmayı planladığını açıkladı
• AI Audit aracı sayesinde web sitesi sahipleri, yapay zeka modellerinin sitelerini ne sıklıkla scrape ettiğini analiz edebiliyor
• Bu pazaryeri, küçük yayıncıların yapay zeka model sağlayıcılarıyla anlaşma yapmasını sağlayarak içerikleri için karşılık almalarına yardımcı olacak
• Bu da yapay zeka ekosisteminin sürdürülebilirliğini artırmaya katkıda bulunabilir

[yangeok]

Niyet güzelmiş.

[GN⁺]

Hacker News görüşleri

• Common Crawl, OpenAI ve Antropic ile birlikte "Providers" listesinde yer alıyor

  • Common Crawl, yapay zeka eğitiminin yanı sıra çeşitli amaçlarla da kullanılıyor
  • Wayback Machine'in başlıca içerik kaynaklarından biri
  • Common Crawl projesinin amacı, farklı şirketlerin ayrı ayrı crawler çalıştırması yerine Common Crawl'ın verileri toplayıp standart bir formatta sunması
  • CloudFlare içerik erişimini kısıtlarsa bunun büyük etkileri olabilir
  • Çoğu web sitesinin erişimi kısıtlamak için güvenlik ürünleri kullandığı bir dünyaya gidiyor olabiliriz

• OpenFoodFacts, OpenStreetMap ve Wikipedia DDoS saldırılarına uğruyor

  • Veriler ücretsiz indirilebildiği halde botlar her şeyi scrape ediyor
  • Bu da gereksiz trafik yaratıyor ve maliyetleri artırıyor
  • Bu bir telif hakkı sorunu değil; botların verimsizliği ve operatörlerin ilgisizliğiyle ilgili
  • Bir çözüme ihtiyaç var

• Crawling'i engellemeye çalışmak anlamsız bir uğraş olabilir

  • Bu özellik, zaten çok fazla veri crawl etmiş büyük oyuncuları daha da güçlendirebilir
  • Hatalı pozitifler ve aşırı captcha kullanımı nedeniyle kullanıcılar etkilenebilir

• Cloudflare, kötüye kullanıma karşı koruma hizmetini yeni bir yöntemle sunuyor

  • Cloudflare, kötüye kullanan taraflarla iş birliği yaparak bir "marketplace" oluşturuyor
  • Cloudflare'in hizmetini kullanmazsanız kötüye kullanım devam edecek
  • Bu, koruma parası talep etmeye benzetilebilir

• World Wide Web'in geleceğine dair soru işaretleri

  • Sonsuza kadar sürecek gibi görünüyordu ama bir gün IRC gibi ortadan kaybolabilir
  • Altın çağı çoktan geçti ve "AI" sonun başlangıcı olabilir

• Daha fazla ayrıntı Cloudflare blogunda görülebilir

  • AI Audit demosu, web sitesi sahiplerinin AI modellerinin siteyi nasıl scrape ettiğini görmesini sağlıyor
  • OpenAI, Meta, Amazon gibi scraper'ların siteyi kaç kez ziyaret ettiğini görebiliyorsunuz

• AI Audit kullanılan Bingeclock örneği

  • Cloudflare'in duyurusundan sonraki 48 saatte ilginç değişiklikler yaşandı
  • Ödeme programı ilginç, ancak trafikteki düşüş nedeniyle web sitesi verimsiz hale gelebilir
  • AI scraper'ların muhtemelen yalnızca asgari ödeme yapması beklenir

• Sonraki adım: üretken yapay zeka ile içerik üretmek ve Cloudflare bunu taradığında ödeme almak

• Aynı siteyi tekrar tekrar scrape etmek büyük bir israf

  • Cloudflare değişiklikleri ve güncellemeleri yönetebilirse çok fazla kaynak tasarrufu sağlanabilir
  • Site, değişiklikleri doğrudan Cloudflare'e bildirir ve Cloudflare bunu AI'a iletir
  • AI değişiklikleri satın alır, Cloudflare siteye ödeme yapar ve marjını korur