- AI crawler’ları için içerik sahiplerinin erişim sırasında ücret talep etmesini sağlayan yeni bir hizmet duyuruldu
- İçerik üreticileri için üç seçenek sunuluyor: ücretsiz izin verme, tamamen engelleme veya ücretli erişime izin verme
- Ücretlendirme, standart HTTP 402 Payment Required yanıtı temelinde çalışıyor ve Cloudflare ödeme ile mutabakat altyapısını sağlıyor
- Crawler’lar ve içerik sahipleri, programatik kimlik doğrulama ve ödeme sayesinde şeffaflık ve güvenlik elde ediyor
- Hizmet özel beta olarak başlıyor; ileride farklı kullanım senaryoları ve dinamik fiyatlandırma desteğine genişletilmesi planlanıyor
AI tüketim ortamındaki değişim
- Bugüne kadar birçok yayıncı, içerik üreticisi ve web sitesi sahibi, AI crawler’ları için yalnızca tüm erişime izin verme ya da tamamen engelleme şeklinde ikili bir seçim yapabiliyordu
- Cloudflare, içerik sahiplerinin kontrolünü güçlendirmeyi temel ilke olarak benimseyerek, AI crawler’larını tamamen engelleme, ücretsiz izin verme ya da yalnızca istenen crawler’lara seçici erişim tanıma seçeneklerini destekleyen bir yapı hedefliyor
- Yüzlerce medya şirketi, yayıncı ve büyük sosyal platformla yapılan görüşmeler sonucunda, AI crawler’larına erişim verip bunun karşılığında gelir elde etme ihtiyacının güçlü olduğu görüldü
- Daha önce crawler’larla tek tek pazarlık yaparak erişim izni vermek gerekiyordu; ancak ölçek ve pazarlık gücü eksikliği nedeniyle bu, küçük siteler için fiilen mümkün değildi
'crawl başına ücretlendirme (pay per crawl)' modelinin gelişi
- Cloudflare, ücretsiz ya da engelle şeklindeki uç seçeneklere ek olarak üçüncü bir seçenek olarak erişimi ücretlendirmeyi sunuyor
- Bu sayede içerik sahipleri, internet ölçeğinde dijital varlıklarını gelirleştirebiliyor
- Temel teknik yapı taşı, neredeyse unutulmuş HTTP 402 Payment Required durum kodu. Crawler ödeme niyetini bildirirse içerik
200 OK ile sunuluyor; aksi halde 402 yanıtı ile fiyat bildiriliyor
- Cloudflare, Merchant of Record rolünü üstlenerek ödeme işleme ve teknik altyapıdan sorumlu oluyor
Yayıncıların kontrol yetkisi ve fiyat politikası
- Yayıncılar, sitenin tamamı için sabit birim fiyat belirleyebiliyor
- izin ver (ücretsiz sunum)
- ücretlendir (belirlenen fiyat ödendiğinde sunum)
- engelle (erişim yok ve gelecekte ilişki kurulabileceğine dair bilgilendirme)
- Crawler bazında ücretlendirme istisnaları, ücretsiz erişim izni veya bireysel pazarlık gibi esnek politika yönetimi destekleniyor
- Cloudflare’ın güvenlik politikalarıyla (WAF, bot yönetimi vb.) entegre çalışıyor; önce mevcut güvenlik duvarı uygulanıyor, ardından pay per crawl kuralı devreye giriyor
Kimlik doğrulama ve ödeme protokolü: Web Bot Auth
- Sistem, yalnızca belirli crawler’ların ödeme yapıp erişim hakkı alması için tasarlandığından crawler kimliği sahteciliğini (spoofing) önlüyor
- Crawler’ların Ed25519 anahtar çifti oluşturması, JWK biçiminde herkese açık anahtar dizinine kayıt yaptırması ve bilgileri Cloudflare’a iletmesi gerekiyor
- Kimlik ve ödeme niyeti, HTTP message signature (
Signature-Agent, Signature-Input, Signature) başlıkları ile kanıtlanıyor
Ücretli içeriğe erişim yöntemi
- İki protokol destekleniyor
- reaktif (önce keşif): crawler ücretli URL’yi istediğinde
402 yanıtı ve fiyat bilgisi gelir → kabul ederse yeniden istekte crawler-exact-price başlığı eklenir
- proaktif (önce niyet): ilk istekte
crawler-max-price başlığı ile ödeme üst sınırı gönderilir → eşik altındaysa 200 OK ve ücretlendirme bilgisi döner
- Fiyat pazarlığı ve ödeme niyetinin ifadesi programatik biçimde destekleniyor
Mutabakat ve finansal işlemler
- Crawler işletmecileri ile içerik sahiplerinin Cloudflare hesaplarına ödeme bilgilerini kaydetmesi gerekiyor
- Doğrulanmış her ödeme talebi ve
200 OK yanıtı için ücretlendirme olayı kaydediliyor; Cloudflare bunları toplayıp crawler’a faturalandırıyor ve yayıncıya ödeme yapıyor
Agent çağında değişimin başlangıcı
- pay per crawl, çevrimiçi içerik denetim teknolojisinin evrimini simgeliyor
- Programlanabilir varlık değeri yaklaşımıyla üreticilerin korunması ve yeni iş modeli alanlarının genişlemesi bekleniyor
- Gelecekte içerik türüne veya yola göre dinamik fiyatlandırma, AI trafik hacmine dayalı oran belirleme, büyük ölçekli lisans yönetimi gibi genişleme alanları tartışılıyor
- HTTP 402’nin benimsenmesiyle, AI/agent sistemlerinin dijital kaynaklara erişim koşullarını programatik olarak müzakere ettiği bir geleceğe hazırlık yapılabiliyor
Başlangıç bilgileri
- pay per crawl özelliği şu anda özel beta olarak sunuluyor
- Özelliği kullanmak isteyen crawler’lar ve içerik üreticileri ayrı başvuru bağlantısı üzerinden iletişime geçebiliyor
- Cloudflare ayrıca DDoS savunması, internet erişimini hızlandırma, internet uygulamaları geliştirme, hacker engelleme ve Zero Trust uygulamaları gibi alanları da destekliyor
İlgili ek bilgiler ve eğilimler
- 'Content Independence Day' gibi girişimlerle crawler’ların ücretsiz taramasını engelleme hareketi ve Cloudflare’ın robot yönetimi çözümleri genişliyor
- 2024–2025 arasında AI crawler trafiğinin %18 arttığı, GPTBot’un %305, Googlebot’un ise %96 büyüdüğü açıklandı
- Açık anahtar tabanlı message signature ile crawler kimlik doğrulamasını güçlendiren özellik de aynı anda devreye alındı
5 yorum
Çeviri: https://rosettalens.com/s/ko/introducing-pay-per-crawl
Bunun yapay zeka botu olup olmadığını neye göre ayırt edecekler?
Yapay zeka olup olmadığından bağımsız olarak, biri kafaya koyarsa crawling'i de tespit edemiyorlar.
Cloudflare’ın derdi para kazanmak demek
Sonuçta para kazanmaya çalışanların hepsi oraya toplanacak
Cloudflare’ın hacmi büyüyecek
Veri de niteliksel bir düşüş yaşayacak
Naver de Instagram da YouTube da, işin içinde para olan her yerde aynı eğilimi gösterdi
Hacker News görüşleri
Bence bu, istediğimiz mikro ödeme biçimi. Coinbase kısa süre önce kripto para ve 402 durum kodunu kullanan bir kütüphane tanıttı; adı x402 x402 GitHub bağlantısı
Web iş modelinin reklam aracılarından ziyade böyle bir şey olması gerektiğini düşünüyorum. Reklam teknolojisi sektörü verilerimizi kalıcı biçimde sömürdü, medyayı kirletti ve demokrasiye de zarar verdi. On yıllar sonra bugünkü reklam modelinin ne kadar zararlı olduğunu anlayıp, ilgili şirketleri Big Tobacco gibi düzenleyip cezalandırabileceğimizi umuyorum. Brave'in BAT'i de iyi bir girişim ama x402 daha genel bir çözüm gibi duruyor. Yine de kripto paraya yönelik olumsuz algı ve reklam sektörünün güçlü etkisi yüzünden bunun yerleşmesi kolay görünmüyor
Kripto para kullanmak istemiyorum, içerik için kripto para almak istemiyorum ve aracıya da komisyon ödemek istemiyorum. Mikro ödemelerde kripto kullanmak, pratikte kripto ekosistemini büyütmenin bir aracı gibi geliyor. Ayrıca herkesin hangi coin ile ödeme yapılacağı konusunda uzlaşması da zor. Her sitenin farklı coin kabul ettiği ya da sadece tek bir stablecoin kabul edilmesi gereken bir durum ortaya çıkarsa bunu kontrol etmek de zorlaşır. Cloudflare'in yöntemi daha iyi. Bu modelde parayı gelir elde eden taraf ödüyor, sıradan kullanıcılardan ücret istenmiyor. Ve kripto para da kullanılmıyor
Umarım yanılıyorumdur ama mikro ödemeler için fırsatın çoktan kaçtığı hissine kapılıyorum. Eski tuşlu telefonlardaki ön ödemeli yükleme gibi, “internete 10 TL yükle” ve siteler bunu mikro ödeme olarak düşsün şeklinde bir yapı olsaydı gerçekten tutardı. Ama artık böyle bir sistemi kurmak ve tüm pazarın katılımını sağlamak için çok fazla altyapı ve uzlaşma gerekiyor; zamanlama kaçmış gibi geliyor
Bu teknoloji gerçekten çok ilginç geliyor. Doğru anladıysam, protokolün adresi ve ödeme tutarını verdiğinde anında yanıt verecek şekilde tasarlanmamış olması dikkatimi çekiyor. Sonraki denemeler, tutar ve cüzdan adresinin checksum'u dönene kadar beklese ve bu checksum'u üçüncü taraflar doğrulasa, her sunucunun doğrulama mantığını uygulaması gerekmezdi. Gerçek bir dijital ekonomi kurmak için iki şey lazım: 1) içerik yalnızca talep eden tarafından tüketilebilmeli ve kopyalanıp saklanamamalı, 2) içerikte insanlar tarafından verilmiş bir itibar ya da derecelendirme sistemi olmalı. İlki DRM veya homomorfik şifreleme ile, ikincisi ise DAO'laşmış değerlendirme kurumlarıyla çözülebilir. Bir değerlendirici olarak DAO'ya katılmak için blokzincir tabanlı itibar kanıtı paylaşılabilir ve pahalı kripto para stake etmek (=lisans) güveni artırabilir. BitTorrent indeksleri gibi, içerik ile değerlendiriciler birbirine bağlanabilir ve aracı reklamlar da ortadan kaldırılabilir. Bu yapı tamamlanırsa uzmanlığı olan insanlar değer üretimine katılırken aracılar devre dışı bırakılabilir ve insanlar içerik ekonomisinin merkezine yerleşebilir. İçeriğin çift ödeme sorununu çözersek, insanlar sürekli ödüllendirilirken çevrimdışı uzmanlıklarını da geliştirebilir. Örneğin iyi kitap ya da film ararken Amazon veya Goodreads puanlarına bakıyoruz ama mevcut puan sağlayıcılarının o ölçüde çıkarı yok. Eğer bu tür puan içerikleri değerlendirme kurumu gibi güven kazanırsa, tek tek eserlerin değeri de artabilir. Herkes kendi itibarını korumaya teşvik edilir
Bu kavramın kendisi yeni değil. Ben de 2018'de 402 durum kodunu kullanan ln-paywall adlı bir proje yapmıştım
Bence bu yaklaşım tamamen yanlış. Cloudflare aslında sadece “eskisi gibi crawl edin ama artık daha fazla para ödeyin” diyor ve bunun karşılığında haklı çıkaracak bir değer sunmuyor. Crawling, AI şirketleri ya da yeni arama motorları için rekabet avantajı değil. Sadece maliyet yaratan ve odağı dağıtan bir iş. Bu şirketlerin altyapıyı paylaşarak iş birliği yapması daha mantıklı. Her şirketin sitelere ayrı ayrı erişmesi yerine, tek bir crawler tüm siteleri ziyaret eder ve şirketler kendi filtrelerini belirleyip eşleşen URL'ler oranında katkı yapar. Çoklu trafik yerine tek bir crawler olur, robots.txt kuralları da teknik ve sözleşmesel olarak zorunlu tutulursa, istenmeyen içerik verilmez; bunu aşmak isteyenlerin kendi crawler'larını teknik olarak sürdürmesi gerekir ki bu da ciddi bir yüktür. Buna ödeme ekleseniz bile, daha önce hiç görülmemiş sayısız çöp sayfa için ödeme yapma ihtimali yüksek olduğu için değeri düşük olur. Bu modelde AI şirketleri veya arama motorları için crawling daha ucuz ve kolay olur, siteler için de yük ciddi biçimde azalır ve engelleme etkisi artar. Ama Cloudflare sadece “para verin” diyor; fazla hayal gücünden yoksun ve ikna edici değil
Burada doğru teşvik yapısını görmek için pazarın diğer tarafına bakmak gerektiğini düşünüyorum. İçerik üreticisinin sorunu siteye trafik gelmesi değil, o trafik için uygun karşılığı alamaması. Sekiz şirket sitemdeki tüm sayfaları günde on kez ziyaret etse bile, piyasa fiyatı düzeyinde ödeme alıyorsam sorun yok. O zaman bu sekiz şirket için maliyet artık dışsallaştırılmamış olur ve birleşip ortak crawling yapmaları için teşvik doğar. Bu yaklaşım aslında herkes için daha mantıklı
Common Crawl aslında buna benzer bir rol üstlenmek içindi ama ironik şekilde AI girişimleri veriyi o kadar açgözlü biçimde çekmeye başladı ki, son dönemde yük yüzünden neredeyse kullanılamaz hale geldi. Bu yüzden web crawling aracılığı pazarı için alan açılabilir ve şirketler açısından crawler'ı dış kaynak kullanımıyla yürütmek pek çok açıdan avantajlı olabilir. Elbette bunun yeterince büyük bir iş pazarı oluşturacak kadar güçlü bir ihtiyaç olup olmadığı henüz net değil ama düzgün web veri erişimi ya da crawling kapasitesine ihtiyaç olduğu açık
Web crawling'in AI şirketleri için rekabet avantajı olmadığı görüşüne katılmıyorum; güncel bilgiyi ya da belirli kaynakları hızlı yansıtabilme yeteneği açıkça bir avantaj. Sorun şu ki, bunlar site içeriğini alırken siteye hiçbir şey ödemiyor ve trafik de göndermiyor, dolayısıyla web ekosistemini yıkıyorlar. Özellikle site sahipleri açısından AI botlarının benim bilgimi okuyup bana sıfır değer döndürmesi büyük sorun
Crawling trafiği bir miktar para getiriyorsa altyapı maliyetini karşılamak sorun olmaz. Geçmişte de yüksek trafik yüzünden sitelerin ölmesi nadirdi. Son dönemde ya 1) giderek daha fazla site botları, scraper'ları vb. doğrudan engelliyor ya da 2) bunu yapamayan yerler (erişim kontrolü zor olan veya gelir modeli olmayan siteler) bombardımana tutuluyor. Eğer böyle bir düzende sitelere gerçekten para ödenirse, en azından aşırı bot trafiğinin yükü karşılanabilir, hatta üstüne kazanç da sağlanabilir
Yine de böyle bir maliyet yapısının iş birliği için doğrudan teşvik oluşturabileceğini düşünüyorum
Sonuçta bu yüzden Google AI'da da üstünlüğünü koruyacak. Çoğu kişi Googlebot'un sitesini crawl etmesini ister. Bu sayede trafik gelir ve Google bu indeksi AI eğitimi için de kullanır. Tekelleşmeye açık olabilir ama iki taraf için de faydalı. Ama OpenAI, Anthropic, Meta gibi crawl edip hiçbir karşılık vermeyen şirketlerse, sitemin crawl edilmesini isteyen pek az kişi olur. Bu yüzden Cloudflare'in bu politikası zamanında gelmiş görünüyor. Eğer bu politika başarılı olursa Cloudflare için de muazzam bir fırsat olur
Google'ın “AI Overview” özelliği yüzünden tıklama oranları ciddi biçimde düşüyor. Eskiden Google iki sayfa crawl ettiğinde bir ziyaretçi gelirdi; altı ay önce oran 6:1'di, şimdi 18:1. Değişen şey AI Overviews. OpenAI daha da kötü; altı ay önce 250:1'di, şimdi 1.500:1, yani AI orijinal bağlantılara giden trafiği tamamen kesiyor. (Twitter referansı: https://twitter.com/ethanhays/status/1938651733976310151)
Ben bir startup'ım, bu yüzden sitemin AI tarafından crawl edilmesini aslında istiyorum. İnsanlar ChatGPT'ye “$CompanyName nedir” diye sorduğunda şirketimizin avantajlarının ve ana mesajının doğru yansımasını istiyorum. Geleneksel SEO içeriği de AI eğitim verisi olarak kullanılabilir. AI araçlarına web'deki güçlü ve zayıf yönleri özetlemesini istediğinizde, "top 10 tools for X" gibi bir şirketin kendi blogunda yayımladığı liste yazıları sık sık kaynak oluyor. Turizm ofisleri gibi büyük kurumlar ya da kendi bakış açısını dünyaya ikna edici biçimde yaymak isteyen yapılar için de durum aynı
OpenAI, Anthropic ve Meta'nın insanların bizzat yazdığı içeriği crawl edip hiçbir karşılık vermemesi eleştiriliyor ama devlet kurumları ya da büyük şirketler gibi bazı yapılar için crawl edilmek bazen avantaj bile olabilir. Örneğin küresel bir AI, “kanguruları nasıl görebilirim?” sorusuna Avustralya yerine Yeni Zelanda'daki bir hayvanat bahçesini önerirse bu sorun olur. Doğru bilginin AI modellerine yansıması, çok geniş kitleler üzerinde etki kurabilmek açısından önemli
Google'ın Google Books gibi projeleri de var; bu yüzden diğer Batılı şirketlerin bu ölçekte eğitim verisi toplaması zor, Çinli şirketler ise telif haklarına pek aldırmadığı için bu da önemli bir fark yaratıyor
Google'ın AI'da mutlaka üstün olduğunu düşünmüyorum. Tüketici açısından Google'ın AI Overview özelliği çok sık ciddi hatalar yapıyor. Teknik olarak iyi API'ler, kalite veya özellikler sunabilir ama sıradan kullanıcının gördüğü başlıca AI deneyimi pek iyi değil
Teknolojinin kendisi güzel ama tüm crawler'ların Cloudflare kullanmak zorunda olması hoşuma gitmiyor. Sanırım Google Chrome geliştiricileri bir zamanlar Web Monetization API önermişti; ödeme yapısı dağıtık olursa tek bir şirkete bağımlı kalınmaz
İyi bir yön ama hâlâ birçok eksiği var. En ideal yapı, kullanım amacına göre farklı ücretlendirme yapmak olurdu. Mesela bir site “araştırma amacıyla” crawl ediliyorsa neredeyse ücretsiz olmalı. “Ticarileştirilecek AI eğitimi” içinse çok pahalı olmalı diye düşünüyorum. Böyle bir şeyi düşünmek zorunda kalmamız üzücü ama artık eski model fiilen yasaklanmış gibi, yani karşılıksız tam ücretsiz açık erişim gerçekçi değil. Aslında biri tüm bilgiyi ücretsiz sunan dünya çapında bir kütüphane kursa ve buna uygun bir fikri mülkiyet tazmin sistemi de olsa, tüm insanlık kazanırdı. Teknik sınırlamaların çoğunu aşmış bir çağdayız ama bugün hâlâ fiili bir “kartelvari” kısıtlama düzeni sürüyor. Bu yüzden şimdilik mecburen “o zaman bari bedelini ödeyin” noktasındayız
Böyle olursa sonunda kâr peşinde koşan insanlar her türlü açığı bulup sömürür, niyet edilmediği halde veriyi yeniden satar ya da sisteme sızar. Mesela “araştırma ücretsiz” dendiğinde biri “ben araştırma için geldim!” der ama fiilen veriyi kendi iştiraklerine satıp kazanç sağlayabilir
Böyle “tüm verileri ücretsiz paylaşan bir kütüphane” teknik olarak mümkün görünse de asıl mesele ekonomik sürdürülebilirlik. Erişim maliyeti aşırı düşerse sınırsız kopyalama ve aşırı kötüye kullanım sistemi çökertir. Aslında belirli bir düzeyde kısıt, iş birliği ve kalite artışı için daha iyi teşvik yaratır. (Biyolojideki r/K stratejisi gibi.) Kısıt olduğunda birim başına değer artar, bu da daha yüksek kaliteli bilgi ve hizmetlerin gelişmesini sağlayabilir. Sonuçta çevrimdışı halk kütüphaneleri belki de bu optimuma en çok yaklaşan yapıydı
HN'nin bu konuyu küçümsediğini düşünüyorum; bu çok büyük bir değişim. Tüm web'in %20'si Cloudflare üzerinde. Bu özellik tüm müşterilere, hatta ücretsiz blog sahiplerine kadar sunulursa, blog sahiplerinin de para kazanabildiği ilginç bir yapı ortaya çıkar
Yakında tarayıcıyı her kullandığımızda mikro ödeme yapmamız gereken bir düzene geçip internetin ortadan kalkacağından korkuyorum
Ben zaten Cloudflare'in bot tespiti yüzünden çok zaman kaybediyorum. Chrome+uBlock kullanıyorum; yakında ödeme isteği ekranı da görürüm herhalde. CAPTCHA çıkarsa siteyi kullanmayı bırakıp başka yere gidiyorum
Aslında onlarca reklam ve paywall ile uğraşmaktan daha iyi bile olabilir
AI crawler'larının engelli kullanıcılar için web gezinti yardımcı aracı olarak kullanıldığı durumları da düşünmek gerekiyor. UI otomasyon özellikleri zaten çeşitli doğrulama süreçlerinde sık sık engelle karşılaşıyor
Site sahibi bu tür crawler'lara izin verebilir. Kötü niyetli aktörlerin iyi niyetli gibi davranarak erişmesi sorunu ise zaten mevcut; örneğin Google web crawler'ına izin verip Gemini eğitimi için erişimi engellemek isteyenler var. Dolayısıyla buna yönelik teknik çözümler gerekli
Bir bireysel kullanıcının crawler kullanarak web'i “gezmesi” tam olarak ne demek, bundan emin değilim. AI browser doğrudan crawler değildir. Crawler, tüm web sitesini toplu halde toplamak/hasat etmek için kullanılan araçtır
ARIA diye bir erişilebilirlik standardı zaten var ve büyük sitelerin çoğu bunu uyguluyor. Erişilebilirlik için AI'a aslında gerek olmamalı ve kullanılmamalı da
Eskiden internette faydalı arama sunan şirketleri “iyi şirket” sanırdım. Şimdi de Cloudflare'in DDoS koruması, CDN ve AI'dan koruma gibi “iyi şeyler” yaptığını düşünüyorum. Ama ileride bu şirketten de nefret etmemiz mümkün olabilir
Cloudflare herkesin nefret ettiği bir şirket değil ama etkisi büyüdükçe tedirginlik artıyor. Bluesky'nin “the company is tomorrow's adversary” sözü vardı; Cloudflare de güçlü bir “rakip/hasım” haline geliyor
Gerçek hayattaki arkadaşlarım zaten Cloudflare'den nefret ediyor
İnternette “iyi şeyler” yaptığı söyleniyor ama Cloudflare'in getirdiği doğrulama sürtünmesi yüzünden ben Stack Exchange yerine LLM'leri daha sık kullanır oldum
Genel olarak bu fikre katılıyorum ama büyük şirketler veriye ulaşmak için türlü dolambaçlı yollar bulacaktır; özellikle Google arama motoru bahanesiyle ücretsiz crawl etmeyi sürdürebilir. Ayrıca gerçekten başarılı olursa bunun maliyeti büyük ihtimalle son kullanıcıya, yani bize yansır
Google arama gerekçesiyle veriyi ücretsiz crawl etse bile, ikinci aşamada Google'ın sayfa başına ücret ödemesi sağlanamaz mı diye düşünüyorum. Her makalede crawler'ın erişemeyeceği bölümler ücret seviyelerine göre ayrı ayrı tanımlanabilir; örneğin önemli haberler için yüksek ücret, genel bilgi, LLM eğitimi ya da dahili araştırma gibi amaçlar içinse lisans türüne göre farklı fiyatlar belirtilebilir. Cloudflare milyonlarca site için aradaki merkez/hub rolünü üstlenirse bu gayet mümkün bir yapı gibi görünüyor
Daha fazla yayıncı Googlebot'u da engelleyecek. Çünkü Google zaten AI arama yanıtlarıyla yayıncıların gelirini elinden alıyor