Cloudflare Radar: Yapay Zeka İçgörüleri

• Cloudflare Radar’a AI Insights’e özel bir sayfa eklendi; AI botu ve tarayıcı trafiği, DNS tabanlı üretken yapay zeka hizmeti popülerliği, robots.txt yönergeleri ve Workers AI model kullanım eğilimleri tek ekranda görülebiliyor
• AI botu ve tarayıcı trafik grafiği, ai.robots.txt listesine dayanarak önde gelen UA’ler için zaman serisi/özet verileri sunuyor ve Radar API ile Data Explorer üzerinden ayrıntılı analiz sağlıyor
• 1.1.1.1 DNS verilerini kullanan üretken yapay zeka hizmet sıralaması, günlük toplulaştırmayla değişim eğilimini gösteriyor; 2025 Ocak ayı sonunda DeepSeek’in hızlı yükselişi (26/1’de görünme → 29/1’de 3. sıra) gibi yeni hizmetlerdeki ani değişimleri ortaya koyuyor
• robots.txt analizi, ilk 10.000 alan adındaki AI ile ilgili Allow/Disallow yönergelerini toplayarak kategori bazlı engelleme eğilimlerini görselleştiriyor; haber ve medya alanında yaygın izin vermeme eğilimini gösteriyor
• Workers AI model/görev popülerliği, paylaşılan verilere dayanarak model ve görev bazında kullanım eğilimleri ile dönem karşılaştırmaları sunuyor ve hızla evrilen model ekosisteminin akışını anlamaya yardımcı oluyor

---

Genel Bakış

• Cloudflare, Radar’a AI Insights sayfasını ekleyerek yapay zeka ile ilgili trafik eğilimleri, hizmet popülerliği, erişim kontrolü ve model kullanımı verilerini entegre biçimde sunuyor
• Veri kaynakları arasında 1.1.1.1 DNS trafiği, ai.robots.txt kullanıcı aracısı listesi, Workers AI paylaşılan verileri ve Radar API/Data Explorer entegrasyonu yer alıyor

AI botu ve tarayıcı trafik eğilimleri

• İlk 5 AI botu/tarayıcısının etkinliği zaman aralıklarına göre görselleştirilerek istek yoğunluğu ve periyodiklik anlaşılabiliyor
  • Kullanıcı aracısı toplama ölçütü olarak ai.robots.txt listesi referans alınıyor ve sürekli güncelleniyor
  • Zaman serisi/özet API uç noktaları üzerinden programatik erişim destekleniyor
• Data Explorer içinde tüm AI bot kümesine yönelik genel eğilimler incelenebiliyor
  • Operatörler bölge, dönem ve UA ölçütlerine göre anomali trafiğini kontrol edebiliyor
  • İç yanıt politikalarıyla korelasyon analizi için kullanılabiliyor

Üretken yapay zeka hizmetlerinin popülerliği

• 1.1.1.1 DNS istek hacmine dayalı olarak açık üretken yapay zeka hizmetlerinin göreli sıralaması günlük bazda sunuluyor
  • 2023/2024 yıllık incelemelerinde ChatGPT’nin 1. sırayı koruduğu kaydedildi
  • 2025 Ocak sonlarında 6–10. sıralardaki oynaklığın yüksek olduğu gözlemlendi
• DeepSeek, 26 Ocak’ta ilk kez göründükten sonra 29 Ocak’ta 3. sıraya hızla yükseldi
  • Hızla büyüyen yeni hizmetleri tespit etmek için faydalı yüksek frekanslı sıralama verileri sunuluyor
  • Radar API’de serviceCategory=Generative%20AI parametresiyle ham zaman serisi verilerine erişilebiliyor

robots.txt dosyası analizi

• İlk 10.000 alan adı düzenli olarak toplanarak AI ile ilgili Allow/Disallow yönergeleri sayılıyor
  • Grafik, tam izin/tam engel ile kısmi izin/kısmi engeli kullanıcı aracısı bazında özetliyor
  • Haber ve medya kategorisi, AI UA’lerine yönelik yaygın engelleme eğilimini gösteriyor
• Allow yönergeleri açısından açıkça izin veren site sayısında belirgin bir düşüş var
  • UA belirtilmemesi ve joker karakter olmaması durumunda varsayılan tam izin davranışına dikkat edilmeli
  • Radar API ve Data Explorer ile bot ve yönerge bazında filtre analizi destekleniyor

Workers AI model ve görev popülerliği

• Workers AI içinde açıkça desteklenen model ve görevlerin (Task) kullanım eğilimleri, paylaşılan veriler temelinde görselleştiriliyor
  • Model popülerliği/görev popülerliği ayrı ayrı zaman serisi ve özet olarak sunuluyor
  • Data Explorer’daki dönem karşılaştırma (timeCompare) özelliğiyle önceki aya göre artış/azalış analizi yapılabiliyor
• Model örnekleri: metin üretimi, görsel üretimi, konuşma tanıma, görsel sınıflandırma gibi çeşitli görevler kapsanıyor
  • Güçlü yeni modeller çıktığında erken görünürlük sayesinde proaktif yanıt için kullanılabiliyor

Sonuç ve çıkarımlar

• Yapay zeka ekosistemi yüksek oynaklık gösteriyor ve yeni hizmetlerin kısa sürede hızla büyüdüğü çok sayıda örnek var
  • Üretken hizmetlerin yaygınlaşmasıyla birlikte içerik kazıma, telif hakkı ve erişim kontrolü meseleleri sürekli bir gerilim alanı oluşturuyor
• AI Insights sayfası, trafik, popülerlik, erişim kontrolü ve model kullanımını entegre biçimde sunarak sektör gözlemcileri ve uygulayıcıların güncel eğilimleri takip etmesine yardımcı oluyor
  • Operatörler, Radar API ve Data Explorer üzerinden otomatik izleme ve raporlama sistemi kurabiliyor
  • robots.txt yönerge stratejileri ile CDN/güvenlik politikalarını ilişkilendirerek AI botlarına karşı yanıtı daha rafine hale getirebiliyor

[GN⁺]

Hacker News yorumları

• OpenAI'nin WebBotAuth üzerinden doğrulama durumunun "In Progress" olduğu görülüyor; bu, Cloudflare'ın "iyi botlar" için kapı bekçisi olmaya çalıştığını düşündürüyor. "In Progress" gibi bir durumun var olması bile anlamlı; diğer şirketlere doğrudan "No" denirken OpenAI'ye "şimdilik değil ama planlarını CF'e bildirdi" deniyor.
  • Cloudflare'ın burada iki taraflı gelir yaratmaya çalıştığı anlaşılıyor: CDN müşterilerinden ücret alıyor, şimdi de o müşterilerin içeriğine erişim hakkı için yeniden para almak istiyor. OpenAI'nin böyle sıkıştırıldığını görmek keyifli olsa da işin burada biteceğini sanmıyorum. Kagi ya da diğer arama motorlarının ucuz ve kullanışlı kalıp kalamayacağı şüpheli; Internet Archive gibi hizmetlerin bu ortamda nasıl çalışacağını da merak ediyorum.
  • Cloudflare'ın web sitelerindeki istenmeyen trafiği engelliyor olması neden bu kadar şaşırtıcı geliyor anlayamıyorum. Zaten onların iş modeli bu.
  • Aslında botları daha makul biçimde doğrulamanın bir yoluna çok uzun zamandır ihtiyaç vardı. Bu yalnızca AI botlarına özgü bir mesele değil.
  • Cloudflare artık internetin kapı bekçileri arasına katılmış görünüyor. Şimdilik bu tür doğrulamayı almaya çalışan yalnızca OpenAI ve Amazon da bir ölçüde onu izliyor gibi. Diğer şirketlerin bu taleplere direnmesini umuyorum.
  • Eastdakota (Cloudflare CEO'su) "Bugünlerde herkes yeni dönemin oyununa girebilmek için didiniyor; sana yine bir yer ayarlayabilirim" gibi bir şey söylüyor, Sam de (muhtemelen OpenAI tarafı) "Yerimden edildiğimin farkında değildim" diye karşılık veriyor. Eastdakota'nın cevabı da "Tam anlamıyla dışlanmış değilsin ama pişman olunacak noktaya gelindi" şeklinde.
• Gerçekten çarpıcı veriler. "Generative AI services popularity" grafiğinde ChatGPT'nin birinci olması sürpriz değil ama Character.AI'nin Anthropic, Perplexity ve xAI'yi geçerek ikinci sırada olması şaşırtıcı. Bu verinin, hizmetlerin DNS önbellekleme stratejilerinden ciddi biçimde etkilenmiş olabileceğini düşünüyorum. Bir diğer ilginç grafik de "Workers AI model popularity". Burada llama-3-8b-instruct, nisandan beri %30-40 payla ilk sırada gidiyor; bu kadar popüler küçük bir LLM pek sık görülmez. Aslında Meta'nın m2m100-1.2b ya da Alphabet'in Gemma 3 270M modelinin daha çok kullanılacağını sanıyordum. Muhtemelen insanlar CF worker'a yükleyebilecekleri en güçlü modeli tercih ediyor. Daha geniş popülerlik analizi için "LLM Assistant Census" blog yazıma bakabilirsiniz.
  Generative AI hizmet sıralamasını gör
  Workers AI model sıralamasını gör
  LLM Assistant Census
  • DNS önbelleğinin sonuçları neden çarpıttığını merak ediyorum. Cloudflare bir siteyi proxy'lediğinde tüm HTTP isteklerini görebiliyor; istatistikleri yalnızca DNS sorgularına göre toplamış olmaları pek olası gelmiyor. Başka bir yorumda DNS'ten söz edilmişti; sanki istatistik toplama yöntemine dair eksik bir şey var.
  • Character.AI genç kullanıcılar arasında çok popüler, bu yüzden ikinci sırada olması o kadar da şaşırtıcı değil.
• Son zamanlarda şirketlerin web'i ne kadar derin taradığını incelemeye çalışıyordum; sonuçta OpenAI botu en kapsamlısı çıktı. 405 bağlantıyı takip etmiş.
  Tarama verilerinin ayrıntıları
  • İlginç istatistikler; benim honeypot'umda GPTBot en fazla 92 seviye derinliğe kadar indi. Muhtemelen sitem daha az ilgi çekiciydi.
• Cloudflare, bot sınıflandırmasında AI Bot'un ne olduğuna kendisi karar veriyor. Örneğin Common Crawl'ın CCBot aracı çeşitli amaçlarla kullanılıyor ve 10 binden fazla araştırma makalesinde atıf almış durumda; buna rağmen Cloudflare CCBot'u doğrudan "AI Bot" sayıyor. Oysa çoğu site yöneticisinin hangi botların AI Bot kabul edildiğini ya da bu listenin neden böyle oluşturulduğunu bildiğini sanmıyorum.
• "Top Browser & user agents" bölümünde Firefox'un payının %3,8 olması üzücü.
  Cloudflare tarayıcı istatistikleri
  • Bence Firefox, ilk 5 tarayıcı içinde varsayılan olarak ön yüklü gelmeyen tek tarayıcı. İnsanların çoğu varsayılandan sapacak kadar rahatsız olmuyor; bu yüzden %90'dan fazlası Firefox gibi alternatifleri aramaya bile gitmiyor.
  • İlk dönemlerde Firefox daha iyi bir tarayıcıydı ve diğer tarayıcıların sunmadığı gerçekten faydalı özellikler sayesinde pazar payı kazanmıştı. Bugünün Firefox'u ise farklılaşmayan bir Chrome taklidinden ibaret. Eklentiler gibi şeylerden habersiz sıradan bir kullanıcının Firefox'u seçmesi için bir neden yok. Firefox gerçekten faydalı özellikler (örneğin yerleşik reklam/dikkat dağıtıcı engelleme) sunarsa pazarını geri kazanabilir, ama bunu yapma niyetinde görünmüyor.
  • Bir reklam şirketinin yaptığı tarayıcıyı insanların gönüllü olarak nasıl kullandığını anlayamıyorum. Chrome kullanıcılarının çoğu muhtemelen bunun farkında değil ama burada yazıları okuyanlar arasında bile Google'ın ve Chrome'un gerçekte ne olduğunu bilerek kullanmaya devam eden çok kişi vardır.
  • Firefox'un Cloudflare istatistiklerinde otomatik olarak bot diye sınıflandırılması nedeniyle pazar payı rakamından ne kadar düştüğünü merak ediyorum.
  • Firefox user agent bilgisini düzgün şekilde, hatta belki varsayılan olarak bile, göndermediği için bu oran gerçekte olduğundan daha düşük görünüyor olabilir.
• DNS isteklerine dayalı AI sıralama verisi ilginç. 4 haftalık pencerelerde Character.AI hafta sonları düzenli olarak ikinci, Claude üçüncü; hafta içi ise ikisi yer değiştiriyor. Ama grafikte sıralama değişimi pazar-pazartesi aralığında görünüyor; muhtemelen bunun nedeni ABD saat dilimi ile UTC arasındaki fark.
• Bu veri hem AI şirketleri hem de yayıncılar için son derece değerli. Cloudflare, kimin neyi ne zaman ve ne kadar taradığı konusunda eşi benzeri görülmemiş bir görünürlüğe sahip oluyor. Bunun yakında premium ücretli ürünlere (önce bot doğrulama hizmeti, ayrıntılı tarama analitiği vb.) dönüşeceğini düşünüyorum.
  • Bu, Cloudflare'ın büyümesi için çok güçlü bir kaldıraç olacak. OpenAI ve benzeri büyük oyunculardan mümkün olan en fazla geliri çıkarmayı hedefliyor.
• Anthropic API ile arama yapıldıktan sonra kullanıcı trafiği bağlantı değiştirilmeden ilgili siteye yönlendirilirse, Cloudflare bu aramayı Anthropic tarafıyla eşleştiremeyebilir. Bu nedenle taramaya karşı yönlendirilen trafik oranı gerçekte olduğundan farklı görünebilir.
• Muhtemelen bu tür istatistiklere, kimliğini gizlemek için residential proxy gibi yöntemler kullanan kötü niyetli tarayıcılar dahil değildir.
• Kimsenin WebBotAuth doğrulaması konusunda Cloudflare'a boyun eğmemesini ve bu girişimin başarısız olmasını içtenlikle umuyorum.