Google, Bear Blog’un tamamını arama dizininden kaldırdı ama nedeni bilinmiyor

• Kişisel blog blog.james-zhan.com, açıldıktan yalnızca bir ay sonra Google arama dizininden tamamen çıkarıldı
• Google Search Console (GSC) içinde RSS beslemesi URL’si yanlışlıkla doğrulandıktan hemen sonra, tüm gönderiler “Crawled – currently not indexed” durumunda görünmeye başladı
• Alan adı ayarları, içerik kalitesi, dahili bağlantı yapısı gibi birden çok olası neden kontrol edildi ancak sorun bulunamadı
• Bear Blog kurucusu Herman’ın yardımıyla DNS, HTML/CSS ve platform kaynaklı sorunlar da elendi; ayrıca diğer arama motorlarında dizinleme normal çalışıyordu
• Sonunda blog yeni bir alt alan adına taşındı ve Google’ın doğal dizinlemesine bırakılmasına karar verildi; neden hâlâ belirsiz

---

İlk durum

• Blog 4 Ekim’de açıldı ve ilk uzun güncel olaylar köşesi tarzı yazı yayımlandı
  • Google Search Console’a (GSC) site haritası gönderilip dizinleme talebi yapıldıktan sonra ertesi gün hemen arama sonuçlarında görünmeye başladı
  • Sonrasında her yeni yazı yayımlandığında dizinleme talebi tekrarlandı ve normal şekilde yansıdı

Sorunun ortaya çıkması

• 14 Ekim’de GSC’de bir URL’nin dizine eklenmediğini belirten mesaj görülünce “Validate” düğmesine tıklandı
  • Bu URL, gerçek bir sayfa değil RSS beslemesiydi(feed/?type=rss)
• 20 Ekim’de GSC’den “bazı düzeltmeler başarısız oldu” e-postası geldikten sonra tüm yazılar dizinden çıkarıldı
  • Durum mesajı: “Page is not indexed: Crawled – currently not indexed”
  • Site haritasını yeniden göndermek ve tekil URL’ler için dizinleme istemek de işe yaramadı

Nedenin izini sürme

• Dizin doğrulamasının başlatıldığı gün ile tüm gönderilerin dizin dışı kalmaya başladığı gün aynıydı
  • RSS beslemesini doğrulama girişiminin sorunu tetikleyip tetiklemediği belirsiz
• Sonrasında yeni yayımlanan yazıların tamamı da aynı hata durumunda kaldı
  • 3 Kasım’da dizinde kalan son gönderi de kaldırıldı

Olası nedenlerin kontrolü

• Alan adı sorunu: GoDaddy üzerinde kullanılan james-zhan.com, başka bir alt alan adında normal biçimde dizinleniyordu → neden değil
• İçerik kalitesi: Diğer Bear Blog örnekleriyle karşılaştırıldığında içerik miktarı veya kalitesi açısından sorun yoktu → neden değil
• Yetersiz dahili bağlantı: Bear Blog’un varsayılan yapısı aynıydı ve diğer bloglar normal dizinleniyordu → neden değil
• Diğer etkenler: Bear Blog kurucusu Herman’ın kontrolüne göre
  • DNS, HTML/CSS ve platform ayarlarının tümü normaldi
  • Özel CSS kodu da dizinlemeyi etkilemiyordu

Diğer arama motorları ve alınan önlemler

• DuckDuckGo, Bing ve Brave gibi arama motorlarında blog normal şekilde dizinleniyordu
  • Bu yüzden teknik bir kusurdan çok Google taraflı bir sorun olduğu düşünülüyor
• Blog yeni bir alt alan adına (journal.james-zhan.com) taşındı
  • Alan adı GoDaddy’den Porkbun’a aktarıldı
  • URL yönlendirmesi ayarlanarak eski bağlantıların yeni bloga otomatik gitmesi sağlandı
• Yeni blog için GSC’ye site haritası gönderilmedi ve doğal dizinlemeye bırakıldı
• Neden hâlâ ortaya çıkarılamadı; yazar da Google’ın dizinleme sisteminin şeffaf olmamasını sorguluyor

[GN⁺]

Hacker News yorumları

• Bu yıl blog trafiğim keskin biçimde düştü. Nedeni araştırınca iki şey çıktı
  1. AI Overview yüzünden. Gösterim ve sıralama aynı kaldı ama tıklama oranı sert düştü. Kullanıcılar sadece özeti okuyup tıklamıyor
  2. spam görünürlük sorunu vardı. Arama sayfasında kullanıcı sorgusu h1 olarak gösteriliyordu ve Google bunu spam içerik olarak algıladı.
     AI Overview benim kontrol edebileceğim bir şey değil ama arama sayfasına noindex ekleyince trafik bir hafta içinde toparlandı
     Ayrıntıları blog yazımda derledim
  • İkinci sorun Negative SEO saldırısı gibi görünüyor. /search sayfası cache’lenip crawler’lara açılmış olabilir.
    Arama sayfaları cache’lenmemeli ve X-Robots-Tag ile noindex uygulanması iyi olur
  • Eylül civarında Google’ın tıklama/gösterim sayım yönteminde bir değişiklik oldu. Önceki verilerle karşılaştırma yapılamadığı söyleniyor.
    Bundan sonra trafiği kendi analitik araçlarımızla takip etmek gerekecek gibi görünüyor
  • Google bunu uzun zamandır planlıyor olabilir diye düşünüyorum.
    1. SEO sitelerini çoğaltıp faydalı içeriği aşağı it
    2. Reklamları en üste koyup daha da geri it
    3. AI özetleri getirip kullanıcının tıklaması için sebep bırakma
       Artık insanlar sadece özetleri ve reklamları görüp çıkıyor
  • Şunu merak ediyorum. Biri blogumda “crypto” diye arama yaptığında, o sonuç sayfası Google tarafından nasıl indeksleniyor?
    Acaba başka bir siteden o arama URL’sine link verildiği için mi crawl edildi?
  • AI Overview ortadan kalkacak gibi görünmüyor. Sıradan kullanıcılar sadece özeti okuyor.
    Google özet cümlelerine kaynak linkleri koyarsa tıklama oranı biraz toparlanabilir
• Bu örnek doğru olsun ya da olmasın, sorun Google’ın şeffaf olmayan yaptırım yapısı.
  Bir site yaptırım aldığında nedenini öğrenmek de itiraz etmek de mümkün değil.
  Google fiilen bir gatekeeper rolü oynuyor.
  Kamusal bir altyapı gibi çalıştığı için buna uygun bir destek sistemi ve sorumluluk gerekli.
  Regülasyon her derde deva değil ama bu ölçekte utility benzeri şirketler için en azından asgari bir erişim güvencesi yükümlülüğü olmalı
  • Bu daha çok bir gatekeeper sorunu değil, tekel sorunu gibi. Google hem indeksleyiciye hem de arama aracına sahip
  • Google etik bir sorumluluk hissediyorsa, reklam teklif rekabetini gevşetip meşru sitelerin ilk sayfada görünmesini sağlamalı.
    Şu anda aramada görünmek için reklam vermek gerekiyor
• 6 ay önce Ahrefs’in tavsiyesiyle URL yolundaki Unicode karakterleri kaldırıp yönlendirme koydum.
  Sonuç olarak indekslenen sayfa sayısı binlerden 100’e düştü
  Ekran görüntüsüne bakın.
  6 ay geçmesine rağmen düzelmedi. Kişisel bir proje olduğu için sorun değil ama bir iş olsaydı çok öfkelenirdim
  Güncellenmiş ekran görüntüsü
  • Muhtemelen Google kaynaklarını AI’a yoğunlaştırdığı için cache geçersiz kılındıktan sonra yeniden crawl edilen sayfaların sıralaması değişti
  • Google ihtiyaç duyduğu içeriği zaten topladı. Artık web siteleri AI eğitimi için rakip haline geldi
  • Ders basit — çalışıyorsa dokunma
  • Ben de aynı şeyi yaşadım. Binlerce sayfa indeks dışı kaldı ve sonunda reklam tabanlı içerik işini kapattım
• Google Maps’te çok sayıda yasadışı ilan var. Ruhsatsız konaklama yerleri ya da alkollü içki satan dükkânlar rahatça listelenebiliyor.
  Bir süre faaliyet gösterince bazen “mevcut kullanım hakkı” olarak da kabul ediliyor.
  Hatta mahkemede Google Maps ekran görüntülerinin delil olarak sunulduğunu gördüm
  • Ben de böyle bir mağduriyet yaşadım. Google Maps’te yakındaki bir çilingiri aradım ama
    aslında bu bir dolandırıcı işletmeydi. Kilidi bozup 600 dolar istediler.
    Bildirince Google hızlıca kaldırdı ama bence böyle şeylerde kayıt aşamasında gerçek kimlik doğrulaması gerekli
  • Bu, eski haritacıların eklediği Trap Street hikâyelerini hatırlatıyor.
    Sorun şu ki bazen gerçeklik haritaya göre değişebiliyor
  • Bu ilanlara diğer reklamlardan farklı davranılıp davranılmadığını merak ediyorum.
    İdari süreçlerde sık sık “itiraz gelmediyse sorun yoktur” yaklaşımı görülüyor
  • Bu bir tür hukuki sitogenez (legal citogenesis) gibi — yanlış bilginin resmî belgeye dönüşmesi durumu
• Son zamanlarda Google arama kalitesi sert biçimde düştü.
  Sitem yinelenen içerik diye yanlış algılanıyor ve indeks dışına çıkarılıyor.
  Bing’de sorun yok ama Google bu hatayı yapıyor
  • Ben de benzer hissediyorum. Hugging Face’in popüler modelleri aramada çıkmıyor,
    Reddit sayfalarıysa sadece alakasız bir dile çevrilmiş sürümleriyle görünüyor.
    Muhtemelen deduplikasyon mantığı hatalı çalışıyor
  • Belki SNI isteklerinin yanlış yönlendirildiğini kontrol etmelisiniz.
    Başka bir domain üzerinden reverse proxy kullanılırsa Google bunu yinelenen olarak indeksleyebiliyor.
    Canonical etiketi ve mutlak yol linkleri kullanmak iyi olur
  • Hem Amazon hem Google sahte ürünler ve spam sonuçlarla dolu
  • Bing tüm sitelerimde iyi çalışıyor ama Google hepsinde başarısız oluyor
  • Bugünlerde Google arama neredeyse işe yaramaz durumda. Temel yeteneğini böyle ihmal etmiş olması şaşırtıcı
• Ben de aynı sorunu yaşadım. Hugo Bear teması kullanıyorum ve yakın zamanda Bing’de tamamen indeks dışı kaldı.
  17 yıldır sorunsuz çalışan bir blogdu
• Muhtemelen RSS doğrulama hatası spam bayrağını tetiklemiş olabilir.
  Spam çok arttığı için yanlış pozitifler de artmış gibi görünüyor
  • Tek bir RSS hatası yüzünden bütün sitenin indeks dışına çıkması ciddi bir sorun olur.
    Böyle bir yaklaşım ters etki yapıp meşru içerik oranını düşürür
• Açıkçası “Google de-indexed my Bear Blog” başlığını görünce ayı blogu hakkında sanıp tıkladım
  • Gerçekten ayılarla ilgili bir blog bulursanız beklenmedik sonuçlar görebilirsiniz
  • Ben de başlıktaki “Bear”ın neden geçtiğini hâlâ bilmiyorum
  • Sessiz bir tilki (quietfox) olarak, insanın kendini koruması önemli ^^
• Bu, önceki HN başlığına benziyor.
  Google’ın kimin hayatta kalacağına karar veren bir yapı olması açısından aynı
  • İlgili bir örnek olarak şu yazı da var.
    RSS hatası sadece ilgisizliği tetikleyen unsur olmuş olabilir
  • Eskiden TripAdvisor, Birleşik Krallık’taki yerel yorum pazarının %60’ını elinde tutuyordu.
    Google Maps buna gerçekten bu kadar hızlı yetişmiş olabilir mi?
    Instagram ya da TikTok’un etkisi de göz ardı edilemezken,
    bu biraz da Google’a fazla yetki atfeden bir yorum gibi duruyor
• Google arama büyük siteleri kayırıyor ve yeni siteleri dezavantajlı hale getiriyor.
  Sonunda bu bir tavuk mu yumurtadan, yumurta mı tavuktan sorununa dönüyor.
  Küçük siteler görünürlük alamadığı için büyüyemiyor,
  büyük sitelerse hiçbir sorun yaşamadan üst sıralarda kalmaya devam ediyor