- Tüm paketlerdeki müşteriler otomatik trafiği Search·Agent·Training olarak ayırıp izin verebilir veya engelleyebilir; böylece mevcut toplu yapay zeka botu engellemesine göre daha ayrıntılı politika ayarı mümkün hale geliyor
- Sınıflandırma ölçütü yapay zeka kullanıp kullanmamak değil, sitede gerçekleştirilen eylem ve içerik kullanım amacı; çok amaçlı crawler’lara ilgili tüm kurallar uygulanıyor ve amaç bazlı crawler ayrımı öneriliyor
- 15 Eylül 2026 itibarıyla yeni alan adlarının reklam gösterilen sayfalarında Training ve Agent varsayılan olarak engellenecek, Search’e izin verilecek; Googlebot·Applebot·BingBot gibi çok amaçlı crawler’lara en kısıtlayıcı kural uygulanacak
- Enterprise Bot Management için BotBase üzerinden bilinen botların ve agent’ların sınıflandırma ve tespit ID’leri aranabilecek;
immediate·reference·full içerik kullanım düzeyleri ve robots.txt için use sinyali de devreye alınıyor
- Verified artık otomatik izin anlamına gelmiyor; RFC 7239’daki
Forwarded header’ını kullanan geçişli güven ile operatör ve içerik kullanım biçimi bilgisinin aracı katmanların ötesine taşınması hedefleniyor
Yapay zeka trafiğini kullanım amacına göre kontrol etmek neden gerekli?
- Geçmişte web crawling, site içeriğini toplama karşılığında arama trafiği geri döndüren bir ilişkiydi; ancak yapay zeka eğitimi, içerikleri alırken site sahibine değer geri döndürmemesi nedeniyle sorun yarattı
- Cloudflare bir yıl önce tek tıklamalı Block AI Bots seçeneğini ve Pay-Per-Crawl marketplace hizmetini başlattı
- İçerik sahipleri orijinali korumak ve karşılığını almak istiyor; ancak tüm otomasyonu topluca engellemek bu ihtiyacı karşılamakta yetersiz kalıyor
- Küçük siteler, arama görünürlüğü elde etmek için yapay zeka eğitimine de izin vermek ya da eğitimi engelleyip keşfedilebilirliğini kaybetmek arasında kalabilir
- Bu yapı, arama ve eğitim için aynı botu kullanan mevcut arama şirketlerinin lehine işliyor
- Rekabet farkını kapatmaya çalışan yeni oyuncular için tespitten kaçınma teşviki doğuyor
- Google Arama gibi sonuç sayfasında doğrudan yanıt veren hizmetlerin ortaya çıkmasıyla, botun yapay zeka olup olmamasından çok ne yaptığı, neyi sakladığı ve nasıl yeniden dağıttığı daha önemli bir ölçüt haline geldi
Search·Agent·Training sınıflandırması
- Tüm müşterilerin yönetebileceği yapay zeka odaklı kullanım senaryoları üçe ayrılıyor
- Search: İçeriği önceden toplar veya indeksler ve daha sonraki sorulara yanıt verir; site sahibi yönlendirme trafiği veya buna denk bir karşılık bekleyebilir
- Agent: İnsan adına gerçek zamanlı görevler yürütür; ChatGPT-User gibi sohbet toplama botları ile Gemini·Claude’un Chrome’u kontrol ettiği tarayıcı agent’ları buna dahildir
- Training: İçeriği alıp modeli eğitir veya ince ayar yapar; veri yapay zeka tabanlı yapılara kalıcı olarak emilir ve performans iyileştirmede kullanılır
- Tek bir crawler birden fazla amaca sahip olabileceği için geçerli tüm sınıflandırmalar birlikte izlenir
- Arama indeksi oluşturma, agent görevi ve model eğitiminin tamamını yürüten işletmecilere, ziyaret amacını ve erişim yetkisini açıkça belirtmek için amaç bazlı üç ayrı crawler kullanmaları öneriliyor
- Reklam doğrulama, feed toplama, agent işlemleri gibi otomatik davranışlar da ayrıca sınıflandırılıyor; ancak Search·Agent·Training için tüm site sahiplerinin doğrudan yönetebileceği özellikler sunuluyor
Tüm paketlere sunulan kontroller ve yeni varsayılanlar
- Mevcut Block AI Bots ön ayarı ağırlıklı olarak model eğitimi için kullanılan tek amaçlı botları engelliyordu; yeni ayarlar ise Search·Agent·Training bazında kontrolü Free pakete kadar sunuyor
- 15 Eylül 2026 itibarıyla Cloudflare’e yeni kaydedilen alan adlarının reklam gösterilen sayfalarında şu varsayılanlar uygulanacak
- Training ve Agent varsayılan olarak engellenecek
- Search varsayılan olarak izinli olacak
- Reklam, insanların sayfayı ziyaret edip görmesi için tasarlanmış bir gelirleştirme sinyali olduğundan, insan dikkatinin önüne geçebilecek Training ve Agent engelleniyor
- Search, ziyaretçileri siteye yönlendirme davranışına en yakın olduğu için varsayılan olarak izinli
- Search ve Training’i birlikte yürüten çok amaçlı crawler’larda en kısıtlayıcı kural öncelikli olacak
- Training’i engellemeyi seçen müşteriler için Googlebot·Applebot·BingBot da engellenecek
- Bu hem yeni yapay zeka trafiği yönetimi seçenekleri hem de mevcut Block AI Bots hizmeti için geçerli olacak
- Mevcut müşteriler, 15 Eylül’den önce Security settings bölümünden değişikliği reddettiklerini belirterek Search de yapan Training crawler’ları için mevcut ayarlarını koruyabilir
BotBase’in sağladığı bot görünürlüğü ve davranış sınıflandırması
- Enterprise Bot Management’a eklenen BotBase, Verified botlar ve agent’lar dahil bilinen otomatik trafiğin aranabilir bir veritabanıdır
- Cloudflare dashboard üzerinden tüm Verified bot ve agent listesini ve yeni sınıflandırmaları görmek mümkün
- Belirli bir botun trafiği filtrelenebilir
- Tespit ID’si kopyalanıp Security kurallarında kullanılabilir
- Özel ekrana Bot Management configuration card üzerinden erişilebilir
- İlk aşamada görünürlüğe odaklanılıyor; 2026’nın ikinci yarısında ise sitenin bilinen otomatik içerik kullanımını doğrudan kontrol eden bir yönetim merkezine dönüştürülmesi planlanıyor
- BotBase, botun sitede gerçekleştirebileceği davranışlara göre bir veya daha fazla kategori atıyor
- Search: Arama sonuçlarında görünürlük için crawling
- Agent: İnsan talimatıyla sayfaları ziyaret eden agent
- Training: Model eğitimi veya ince ayar için crawling
- Transact: Kullanıcı adına ödeme işlemleri
- Data Collection: Fiyat toplama, rekabet istihbaratı toplama, üçüncü taraf analizleri
- Security Testing: Zafiyet taraması ve sızma testi
- SEO: SEO crawling’i, site denetimi, erişilebilirlik kontrolü
- Ads Verification: Reklam yerleşimi doğrulama ve reklam sahtekarlığı tespiti
- Social / Link Preview: Sosyal platformlar ve mesajlaşma uygulamalarında bağlantı önizlemesi
- Feed Fetching: RSS okuyucuları, podcast toplayıcıları, haber feed’i botları
- Monitoring & Operations: Çalışma süresi izleme, webhook’lar, sağlık kontrolleri
İçerik kullanım düzeyleri ve robots.txt sinyali
- Botların topladığı içeriği saklama ve yeniden kullanma biçimini içerik kullanımı (content use) düzeyleriyle yönetmeye yönelik bir özellik geliştiriliyor
immediate: Yalnızca etkileşim kurar; saklamaz veya yeniden kullanmazreference: Varsayılan değer olarak indeksler, bir kısmını alıntılar ve asıl metne bağlantı verirfull: Özetleyebilir ve yeniden üretebilir
- Bot sınıflandırması ile içerik kullanım düzeyleri birleştirilerek “Search·SEO·Ads Verification’a izin ver, ancak en fazla
reference düzeyine kadar” gibi politikalar oluşturulabilir
- Her bot için ayrı kural yazmadan davranış grubu bazında erişim kararı verilebilir
- Content Signals kapsamını genişleten
use sinyali robots.txt içinde test ediliyor
use=immediateuse=referenceuse=full
- robots.txt içindeki içerik kullanım değerleri doğrudan engelleme uygulamaz; site sahibinin tercihini iletir
- Mevcut yönetilen robots.txt içinde
search=yes,ai-train=no kullanan müşterilere use=reference eklenecek
User-agent: *
Content-Signal: search=yes,ai-train=no,use=reference
Allow: /
- BotBase, her botun içerik kullanım biçimini de izler; sinyalleri kötüye kullanan botlar Verified statüsünü kaybeder ve artık izinli sayılmaz
- İçeriği tamamen yeniden üreten botlar şu anda Verified statüsü alamaz
Verified’ın değişen anlamı
- Geçmişte tüm Verified botlara varsayılan olarak izin veriliyordu ve bu ölçüt Bot Fight Mode ile Enterprise Bot Management kural şablonlarına yansıtılmıştı
- Artık doğrulanmamış botlar varsayılan olarak engellenmeye devam ediyor; ancak Verified botlara da otomatik olarak izin verilmiyor
- Verified, ilgili kategoride izin verilebilir bir bot olduğu anlamına gelir; gerçek erişim, Search gibi ilgili kategoriye izin verilip verilmediğine göre belirlenir
- Bir bot operatörünün Verified statüsü alması için iki koşulu karşılaması gerekir
- Kimliğini dürüstçe göstermeli
- Bu dürüstlük temelinde elde ettiği erişim yetkisini kötüye kullanmamalı
- Cloudflare sınıflandırmasında operatörlerin doğru yansıtılıp yansıtılmadığını yönetebilecek bot operatörlerine yönelik araçlar da geliştiriliyor
Aracı platformlardan geçen geçişli güven
- Otomasyon veya agent’lar, bunları yapan şirket tarafından doğrudan işletilmeyebilir; tek bir geliştirme platformu, kurumlardan bireysel geliştiricilere kadar binlerce operatörün isteklerini onlar adına yürütebilir
- Site sahibi→bot sahibi şirket→son kullanıcı şeklindeki ilişki geçişli güven (transitive trust) olarak tanımlanıyor
- RFC 7239 kapsamındaki
Forwarded header’ı kullanılarak, proxy sürecinde kaybolan operatör bilgisinin isteğe dahil edilmesi öneriliyor
Forwarded: for="openai"
- İçerik kullanım düzeyi de birlikte aktarılabilir
Forwarded: for="openai";use="reference"
- Bir site belirli bir operatöre izin verdiğinde, güvenilen birden fazla aracı katmandan gelen isteklere de aynı politika uygulanabilir; ayrıntılı format web bot doğrulama dokümanlarında bulunabilir
- Cloudflare arkasındaki web alan adlarının oranı %20’yi aştığı için güven statüsünün kaybı operatörler açısından gerçek bir caydırıcı unsur olabilir
- Bot ve insan trafiği karıştığında, geçişli güven yalnızca kimliğini açıklayabilecek durumda olan kullanıcılara uygulanabilir
Uygulama durumu ve işletim ilkeleri
- Yeni yapay zeka trafiği seçenekleri şu anda tüm mevcut müşterilere sunulmuş durumda ve zone Settings üzerinden ayarlanabiliyor
- Yeni varsayılanlar ve sınıflandırma sistemi, site sahiplerinin içeriği kimin nasıl kullandığına karar verebildiği; otomasyon operatörlerinin amaçlarını ne kadar şeffaf açıkladıkça o kadar fazla erişim elde ettiği bir yapıyı hedefliyor
- Web ve otomatik trafik değiştikçe ayrıntılı politikalar ayarlanmaya devam edecek; ancak içerik üreticilerinin tercihini ve güveni merkeze alan ilke korunacak
1 yorum
Hacker News görüşleri
Googlebot, arama dizinleme ve Gemini eğitimi için aynı tarayıcı altyapısını kullandığından, 15 Eylül’den itibaren Cloudflare’ın “eğitimi engelle” politikasına takılacak
En kısıtlayıcı kural öncelikli uygulandığı için, eğitimi engelleyen müşteri sitelerinde Googlebot, Applebot ve BingBot gibi çok amaçlı tarayıcılar da engellenecek
Arama tekeli olan bir şirketin bu tür davranışını engellemek tam da rekabet hukukunun işi; bu yüzden en azından AB düzenleyicilerinin devreye girmesini umuyorum ve erişim loglarındaki tüm Googlebot tarama kayıtları tazminat için dayanak olabilir
Google’a içeriği bu şekilde kullanmamasını doğru şekilde nasıl reddedebileceğimi aramayla bile zor bulabildiğim için ayrıca sinir bozucuydu
Cloudflare’ın yeni alan adlarında reklam gösteren sayfalar için eğitim ve ajan taramasını varsayılan olarak engelleyip aramaya izin verme tutumu, silahlanma yarışının iki tarafında da yer alıyormuş gibi hissettiriyor ve bu yorucu
Bir yandan ajanlar ve yapay zeka ürünleri yapan teknoloji sağlarken, diğer yandan böyle politikalar yürüten bir şirketi gönül rahatlığıyla kullanmak zor
Web alan adlarının %20’sinden fazlasına dayanarak “güven statüsü” verip geri alabilecek bir gücü olumlu biçimde öne çıkarmaları da şaşırtıcı
Cloudflare özelliği yerine Anubis gibi iş ispatı (PoW) kullanımının değerlendirilmesini isterim
Cloudflare korumalı sitelerde CAPTCHA bile olmadan tamamen engellenme durumu artıyor; tek tek siteler önemli olmasa bile bu tercihin internetin temelini aşındırma süreci kasvetli
Tamamen engellendiyseniz, bunun Cloudflare’dan çok tüm VPN’leri veya belirli ülkeler dışındaki kullanıcıları engelleyecek şekilde ayarlanmış site tarafı kararı olma ihtimali yüksek
Siteye kimin erişebileceğini giderek daha baskın hale gelen tek bir şirkete gönüllü olarak bırakmak tedirgin edici
“Bot” ve “yapay zeka”yı refleks olarak engellerseniz, aslında kullanıcı adına çalışan yapay zeka ajanları da erişemez; yani politikanın varsayımı da hatalı
Cloudflare ile webin nihai olarak ne istediğini bilmiyorum. Anthropic, DeepMind, OpenAI ve Google’ın tarama maliyetini ödeyeceğini sanmıyorum; bunun yerine Reddit gibi büyük tartışma kaynaklarıyla özel anlaşmalar yapmaları daha olası
Yeni bilgiyi bağlama getiren özellikler sürecek ama bu gelişigüzel scraping ile aynı şey değil
Google, soruları doğrudan cevaplayıp kullanıcıları artık neredeyse hiç orijinal sitelere göndermeyen bir modele geçmekte başarılı olursa, webde içerik yayımlamanın ekonomik değeri geniş ölçekte ortadan kalkar. Bu haliyle Google teknik ve hukuki olarak engellenip içerik alamaz ve herkes kaybeder
Herkesin bedava çalıştığı, değerin yalnızca Google ve yapay zeka motorlarına aktığı bir dünya da, içerik üretiminin tamamen durduğu bir dünya da sürdürülebilir değil; ama sonunda neredeyse tüm içeriğin ücretli hale gelmesi ihtimali var
Yine de mikro ödeme şimdiye kadar tamamen başarısız oldu ve sürtünmeyi yeterince azaltacak bir yol bulunamazsa değerli içeriğin çoğu kilitlenebilir, keşif ve erişim maliyeti büyüyebilir, içerik endüstrisinin tamamı hızla küçülebilir. Yalnızca büyük tutarlı ödemeler kalırsa ticari web çok daha küçük olur; kalite artabilir ama bedeli büyük olur
Öncülük etmesi ayrı mesele ama bu tür kararlarda tüm paydaşların dikkate alınabilmesi için IETF’nin doğrudan dahil olması gerekir; aksi halde internet parçalanabilir
Mevcut büyük şirketler bunu karşılayıp yeni girenler için dev bir mali engel yaratabileceklerinden, hatta bunu memnuniyetle karşılayabilirler
Cloudflare müşterileri de ücretsiz ya da ucuz hizmetler üzerinden paylarını aldıkları sürece, şirketin büyük yapay zeka firmalarına nasıl davrandığını pek umursamayabilir
Yalnızca Google, OpenAI, Grok, Claude ve Perplexity’ye izin verip diğer botları engelleyen bir ayar mümkün mü diye merak ediyorum
Şu anda gerçek ziyaretçi gönderen tek yer Google ama gelecekte diğer büyük yapay zeka servisleri de gönderebilir
“Anonim botları engellemek” de bir alternatif olabilir. Yapay zeka botları çoğaldıktan sonra gerçek insan taklidi yapan ev tipi IP’lerden gelen devasa isteklerden ciddi zarar görüyorum ve bu trafik gelir getirmeden sadece maliyet çıkarıyor
Amazon CloudFront’ta buna yardımcı olan bir özellik olup olmadığını da merak ediyorum
Cloudflare’ın, web sitelerinin yapay zekayla nasıl ilişki kuracağını seçmesine ve hatta yapay zeka trafiğini gelire dönüştürme yolları sunmasına izin veren az sayıdaki platformdan biri olmasını takdir ediyorum
Tarama başına ücretlendirme programı hakkında yeni bir gelişme olup olmadığını merak ediyorum
Yapay zeka eğitimini engelledim ve bunun Google arama botunu da durdurup trafiği yarıya düşürdüğünü gördüm; o yüzden tavsiye etmem
Gerçekten bu özelliği kullanan var mı merak ediyorum. Scraper’ların para ödeyeceğinden şüpheliyim, ödeseler bile ekonomik olarak anlamlı olacak kadar ödeyip ödemeyecekleri konusunda kuşkuluyum