AI tarayıcıları çağında, log dosyası analiziyle arama görünürlüğündeki kör noktalar nasıl okunur

AI arama sistemlerinin (ChatGPT, Claude, Perplexity vb.) web’i tarayıp yanıt ürettiği bir döneme girdik; ancak Google Search Console benzeri, AI platformlarının sitemi nasıl topladığını gösteren resmî araçlar neredeyse yok. Bu yazı, sunucu log dosyalarının bu boşluğu doldurabilecek fiilen tek araç olduğunu açıklıyor ve AI tarayıcılarının davranış kalıplarını analiz etmenin ve buna göre aksiyon almanın somut yollarını ele alıyor.

AI aramasındaki görünürlük boşluğu

• Geleneksel SEO ile AI araması arasındaki fark: Google aramasında gösterim, tıklama, indeks durumu ve tarama verileri görülebilirken, AI arama sistemlerinde böyle bir geri bildirim döngüsü neredeyse hiç yok.
• Log dosyalarının rolü: Sunucu logları, tüm istekleri, tüm URL’leri ve tüm tarayıcıları filtresiz biçimde kaydeder; bu nedenle AI sistemlerinin sitenize gerçekte nasıl eriştiğini anlamak için en ham ama aynı zamanda en güvenilir veridir.
• Yeni araçların ortaya çıkışı: Bing Webmaster Tools içinde Copilot ile ilgili içgörüler sunulmaya başlandı; Scrunch ve Profound gibi AI görünürlüğüne odaklanan platformlar da ortaya çıktı. Ancak bunların çoğu yalnızca sınırlı zaman aralıkları sunduğundan, uzun vadeli desen analizi için yetersiz kalabiliyor.

İki tür AI tarayıcısı

• Eğitim (Training) tarayıcıları: GPTBot, ClaudeBot, CCBot, Google-Extended vb. bu gruba girer; büyük veri setleri oluşturmak ve model eğitimi için içerik toplarlar. Gerçek zamanlı sorgulardan bağımsız ve dağınık biçimde çalıştıkları için, sadece kısa dönem loglarla etkin olup olmadıkları anlaşılmayabilir.
• Arama-yanıt (Retrieval) tarayıcıları: ChatGPT-User ve PerplexityBot gibi tarayıcılar bu gruptadır; kullanıcıların gerçek zamanlı sorularına yanıt vermek için belirli URL’lere seçici biçimde erişirler. Etkinlik hacimleri düşüktür ve öngörülmeleri zordur; ancak hangi sayfalara kadar ulaştıkları, içeriğinizin AI yanıtlarına yansıyıp yansımadığını anlamak için ipucu verir.

Log dosyalarında bakılması gereken temel desenler

• Erişim olup olmadığı (Discovery): AI tarayıcıları loglarda hiç görünmüyorsa, robots.txt engeli, CDN katmanındaki hız sınırlaması ya da sitenin baştan hiç keşfedilmemiş olması ihtimalleri düşünülmelidir.
• Tarama derinliği (Crawl Depth): AI tarayıcıları çoğu zaman yalnızca ana sayfada veya üst seviye gezinme sayfalarında kalır. Derin alt sayfalara ulaşamazlarsa, AI sistemlerinin sitenin bütün bağlamını kavraması zorlaşır.
• Tarama yolları (Crawl Paths): JavaScript tabanlı gezinme ya da zayıf iç bağlantı yapısı olan sitelerde, AI tarayıcılarının erişebileceği alan ciddi biçimde daralır. Sitenin önemli bir bölümü fiilen görünmez hale gelebilir.
• Tarama sürtünmesi (Crawl Friction): 403 (engellendi), 429 (hız sınırı) veya yönlendirme zincirleri gibi yanıt kodları AI tarayıcılarına gösteriliyorsa, zaten sınırlı olan etkinlik daha da baskılanabilir.

Pratik analiz yöntemi

• İşe, barındırma ortamındaki erişim loglarını dışa aktarmakla başlanır; Screaming Frog Log File Analyzer gibi araçlar kullanılırsa veriler kullanıcı aracısı (tarayıcı kimlik dizgesi), URL ve yanıt kodu bazında yapılandırılabilir.
• Tarayıcı türüne göre segmentleri ayırmak kritik önemdedir. AI tarayıcıları ile Googlebot’un davranışlarını yan yana karşılaştırdığınızda, Google tarafından iyi taranan ama AI sistemleri için kör noktada kalan alanlar ortaya çıkar.
• Taranabilir sayfalar ile gerçekte taranmış sayfaları karşılaştırmak, teknik olarak erişilebilir olsa da pratikte hiç ziyaret edilmemiş sayfaları belirlemeyi sağlar.

Uzun vadeli analiz için log saklama stratejisi

• Barındırma ortamının sınırları: Çoğu hosting hizmeti yalnızca birkaç saatlik veya birkaç günlük log tutar; bu da uzun vadeli takibi zorlaştırır.
• Harici depolama kullanımı: Logları Amazon S3 veya Cloudflare R2 gibi bulut depolama alanlarında sürekli saklamak, zaman içindeki tarama kalıbı değişimlerini izlemeyi mümkün kılar.
• Otomasyon: SFTP üzerinden logları düzenli olarak alan zamanlanmış işler (n8n gibi workflow araçları veya script’ler kullanarak) kurulursa, manuel uğraş olmadan analiz edilebilir bir veri seti biriktirilebilir.

Dikkat edilmesi gerekenler

• CDN veya güvenlik katmanı (Cloudflare vb.) kullanılıyorsa, bazı tarayıcı istekleri origin sunucuya ulaşmadan engellenebilir ve bu nedenle loglara hiç düşmeyebilir. Logda görünmüyor olması, erişim denemesinin hiç olmadığı anlamına gelmez.
• Edge düzeyi loglama (CDN katmanında log toplama) eklenirse bu boşluk büyük ölçüde kapatılabilir.

Artık optimize edilen şey tek bir tarayıcı değil

AI sistemleri içerik keşfi ve dağıtım yollarında giderek daha derin rol almaya başladıkça, arama görünürlüğü artık yalnızca Googlebot’u düşünerek yönetilebilecek bir konu olmaktan çıkıyor. Log dosyası analizi gösterişli bir teknik olmayabilir; ancak AI tarayıcılarının davranışını gözlemleyebileceğiniz neredeyse tek pencere olması, ona güçlü bir pratik değer kazandırıyor. Ölçüme şimdi başlayan ekiplerle başlamayan ekipler arasındaki fark, AI aramasının trafik akışını gerçekten değiştirmeye başladığı anda ancak tam olarak hissedilebilir.