ChatGPT kaynakları gerçekte nasıl seçiyor? (ağ trafiği analizi)

• Bir oturum açılmış Pro hesabında birkaç gün boyunca toplanan yaklaşık 1.240 kaynak kaydı analiz edilerek, yalnızca nihai yanıttan görülemeyen kaynak hattı, sorgu sınıflandırması, arama terimleri ve yürütülen modelin tarayıcı JSON'unda görülebildiği gösteriliyor
• Tüm web sonuçlarına serp, labrador, bright, oxylabs değerlerinden birine sahip bir result_source ekleniyor; ticari, alışveriş, finans ve hava durumu sorgularında çoğunlukla Bright Data hattı olan bright gözlemleniyor
• Sorgular 6 adet turn_use_case türünden birine sınıflandırılıyor ve text ise web araması yapılmadan yalnızca eğitim verisiyle yanıtlanıyor. Güncellik gerektiren 10 sorgunun 3'ünde de arama yapılmadı, ancak bu tek bir hesaptan elde edilen sınırlı bir sonuç
• Thinking modeli tek bir ürün karşılaştırmasını yaklaşık 15–40 alt sorguya genişletiyor; resmi fiyat sayfalarını site: ile arıyor veya fiyatı tahmin ettikten sonra $, € gibi dizeleri bularak doğruluyor
• Getirme, alıntılama ve marka anma birbirinden farklı; resmi sayfadaki fiyat ve teknik özellikler JavaScript ya da görsellerin arkasına gizlenirse, G2 gibi üçüncü taraf kaynaklar onun yerine alıntılanabiliyor. Gerçekler düz HTML olarak sunulmalı ve değerlendirmeler de inceleme, Reddit ve karşılaştırma içeriklerinden sağlanmalı

---

Araştırmanın kapsamı ve sonuçları yorumlama ölçütü

• Bir kişinin oturum açılmış ChatGPT Pro hesabı ile birkaç gün boyunca onlarca arama çalıştırılarak yaklaşık 1.240 kaynak kaydı toplandı
  • Sorguların çoğu SaaS ve teknoloji alanına eğilimliydi
  • Bu, tüm evrendeki kaynak sıklığını ölçen bir çalışma değil; tarayıcıya iletilen iç alanlar ve davranışların gözlemsel kaydı
• Büyük ölçekli görünürlük araştırmaları binlerce promptun nihai yanıtındaki marka görünürlüğünü sayar, ancak iç işleme adımları sonuçlardan çıkarımla anlaşılabilir
• Bu analizde ağ yanıtı JSON'unda motor içi etiketler doğrudan görüldü
  • sonuç bazında result_source
  • sorgu bazında turn_use_case
  • arama sağlayıcı isimleri
  • ChatGPT'nin ürettiği arama terimleri
  • gerçekten yürütülen model
• Sonuçların güven düzeyi ikiye ayrılmalı
  • Yapısal gerçekler: alan ve değerlerin varlığı, text sorgularında web aramasının atlanması, Thinking modelinin çok sayıda site: araması ve fiyat doğrulaması gibi trafikte tekrar tekrar doğrulanan yapılar
  • Sıklık gözlemleri: bright oranı, Reddit alıntı sırası, YouTube'un alıntılanmaması gibi, tek hesap ve sınırlı sorgu seçimine göre değişebilecek sayılar ve sıralamalar
• Reddit'in gövde metnini alabilmesine karşın YouTube arama sonuçlarında çoğunlukla yalnızca metadata alınması, gözlenen yönelimi mekanik olarak destekliyor. Yine de kesin oranlar için daha büyük bir örneklem gerekiyor

Paket yakalama değil, tarayıcı HTTP incelemesi

• Wireshark paketleriyle sorgu ve yanıtların okunamama nedeni, gerçek ileti gövdelerinin TLS ile şifrelenmiş olması
  • Hedef ana makine adı ve IP ile ChatGPT uygulamasının TCP yerine QUIC tabanlı HTTP/3 kullandığı gibi metadata görülebilir
  • QUIC'in ilk paketi, belirtimde tanımlı sabit bir anahtarla karartıldığı için araçlar bunu çözüp ClientHello içindeki şifrelenmemiş sunucu adını gösterebilir
  • Sonraki istek ve yanıt gövdeleri ise korumalı payload içinde kaldığından okunamaz
• Sorgu, yanıt ve metadata içeren JSON, şifre çözümünden sonraki tarayıcı DevTools Network panelinde incelenmeli
• Otomasyon sürecinde iki sorun yaşandı
  • Temiz bir otomasyon Chrome'unda farklı bir motor çalıştırılınca birkaç sorgudan sonra Cloudflare insan doğrulama ekranı tekrar tekrar çıktığı için, gerçek oturumu olan Chrome'a geçildi
  • ChatGPT yanıtları sayfa yüklenirken açılan uzun ömürlü bir bağlantı üzerinden aktarıldığından, oturum ortasında kurulan bir hook ile baştan itibaren yakalamak mümkün olmadı

Her kaynağa eklenen result_source

• DevTools'ta Preserve log açılıp yanıtlar arandığında, ChatGPT'nin getirdiği tüm web sonuçlarına result_source eklendiği görülüyor
• Mark Williams-Cook bu değerlerden 3'ünü paylaşmıştı; Metehan de kalan değeri daha önce bulmuş olabilir
• Gözlenen değerler dört tane
  • serp: açık webin temel katmanı; Yahoo ve StreetInsider gibi haber sitelerinde çoğunlukla burada görülüyor
  • labrador: Reuters, The Guardian, WSJ, FT, Wikipedia, arXiv gibi yerleşik yayıncılardan oluşan bir izinli liste gibi görünüyor; snippet yaklaşık 1.080 karaktere kadar sağlanıyor
  • bright: ticari web scraping sağlayıcısı Bright Data'yı işaret ediyor ve alışveriş, finans, hava durumu, yerel sorgularda öne çıkıyor
  • oxylabs: rakip scraping sağlayıcısı Oxylabs'ı işaret ediyor ve yerel basın ile bazı açık web sonuçlarına eğilimli
• labrador içinde OpenAI ile içerik anlaşması olan çeşitli yayıncılar bulunduğundan lisanslı bir katman gibi görünüyor, ancak trafik verisiyle sözleşme ilişkisi doğrulanamaz
• bright ve oxylabs için de sözleşme ya da ödeme yapısı bilinmiyor. Yine de açık web getirmelerinin bu iki hat üzerinden geçtiği ve her sonucun hangisi tarafından getirildiğinin alandan görülebildiği anlaşılıyor
• Toplanan örneklemde en çok getirmeyi bright yaptı
  • Reuters, WSJ, Wikipedia, TechRadar: labrador
  • Reddit, Forbes, rtings: bright
  • Khaleej Times, Gulf News gibi Körfez bölgesi yayınları: oxylabs
• Dubai hava durumu sorgusunda tek bir yanıt içinde bile roller ayrıştı
  • metoffice.gov.uk, accuweather.com, timeanddate.com: bright
  • khaleejtimes.com, gulfnews.com, whatson.ae: oxylabs
• Gerçekten erişilebilir scraping katmanlarında görünür olmak için, gerçekler ve sayılar düz HTML içinde bulunmalı; script, PDF ya da görsellerin arkasına gizlenmemeli
• Sadece erişimi zor yayıncı katmanına bel bağlamak yerine, üçüncü taraf haberler, PR, marka anmaları, bağlantılar ve Reddit üzerinden scraper'ların okuyabildiği sayfalarda da yer almak gerekiyor

Hiç web araması yapmayan text sorguları

• ChatGPT, arama yapmadan önce soruyu turn_use_case olarak sınıflandırıyor; gözlenen değerler 6 adet
  • instant search
  • shopping
  • text
  • local
  • thinking
  • image generation
• text olarak sınıflandırılırsa web araması çalıştırılmıyor, yalnızca eğitim verisiyle yanıt veriliyor
  • “Lastik patlağı nasıl değiştirilir”
  • “Sıralı iki listeyi birleştiren bir Python fonksiyonu yaz”
  • “Bu cümleyi 4 dile çevir”
• Güncellik ve güvenlik açısından kritik olan “Tip 2 diyabet için en güncel tedavi kılavuzu” da text olarak sınıflandırılıp web araması olmadan işlendi
• Bilerek güncel bilgi talep eden 10 sorunun 3'ü arama yapılmadan işlendi, ancak bu sınırlı bir test olduğu için genel bir oran olarak alınamaz
• Sınıflandırma yalnızca konuya değil, sorgunun ifade edilişine de bağlı
  • “Yakınımdaki en iyi kahve” local hattına geçiyor
  • “Satın alınacak en iyi 4K TV” shopping'i etkinleştiriyor
  • “İncelemeleri olan en iyi 4K TV” genel aramada kalıyor
  • Matematik soruları thinking akıl yürütme modeline gidiyor
  • “Bu hafta Tesla hissesi” instant search'te kalıyor
• Bir sayfa üretmeden önce hedef sorgunun gerçekten web arayıp aramadığı kontrol edilmeli
  • Kullanım kılavuzu ya da tanım sorguları text olarak işleniyorsa, mevcut sayfa kalitesinden bağımsız olarak arama sonuç hattına giremez
  • Böyle sorgularda markanın görünmesi için uzun vadede otorite inşa etmek ve Common Crawl gibi tarayıcıların siteyi görebilmesini sağlayarak gelecekte eğitim verisine girme ihtimali oluşturmak gerekir

Tek bir soruyu onlarca aramaya genişletme biçimi

• Tüm konuşma ChatGPT'nin kendi API'sinden çekildiğinde, modelin çalıştırdığı fan-out sorgular görülebiliyor
  • Hızlı modeller genelde yalnızca yeniden yazılmış tek bir arama terimi çalıştırıyor
  • Thinking modeli, tek bir ürün karşılaştırma sorusunda karmaşıklığa bağlı olarak yaklaşık 15–40 alt sorgu üretiyor
• Karşılaştırma sürecinde birden fazla arama kalıbı arka arkaya geliyor
  • Tedarikçi fiyat sayfalarını doğrudan site: ile arıyor
  • Önce fiyatı tahmin edip sonra bu tutarın doğru olup olmadığını arıyor
  • Promptta olmayan Scrunch AI gibi araçları araştırma sırasında keşfedip karşılaştırma kapsamını genişletiyor
  • Yeni bulduğu araçların fiyatlarını da zincirleme şekilde kontrol ediyor
• Yalnızca arama sonucunu getirmekle kalmıyor, tarama aracının find, open, click komutlarını sunucu tarafında yürütüyor
  • $, €, 99, Agency gibi dizeleri doğrudan arıyor
  • Bu, kullanıcı ekranını işleten bir ajan değil; sunucu tarafı aracın sayfa sonuçlarını gezmesi
• “keyword insights pricing” sorgusunda site:keywordinsights.ai/pricing çalıştırılıyor ve “Starter $58, Pro $145, Advanced $299” gibi değerler tahmin edildikten sonra HTML içinde para birimi sembolleri aranarak doğrulanıyor
• Fiyat ve temel sayılar, görsel yerine HTML metni olarak sunulmalı; JavaScript toggle'ları veya dinamik veri yüklemelerinden kaçınılmalı
• Yalnızca insanın yazdığı cümleleri hedeflemek yerine, modelin düzenleyip çalıştırdığı arama terimleri ile site:alanadiniz.com/pricing türü doğrudan kontrollerde de bilginin bulunabilir olması gerekiyor

Getirme, alıntılama ve anma farklı sonuçlardır

• Kaynakların üç bağımsız durumu var
  • Getirilmiş (Fetched): sayfa model bağlamına girer ama okuyucuya görünmez; result_source nesnesinde görülebilir
  • Alıntılanmış (Cited): belirli bir cümlenin arkasında tıklanabilir kaynak olarak bağlanır
  • Anılmış (Mentioned): yanıtta marka adı ya da site chip'i görünür, ancak ilgili iddianın kaynağı değildir
• Sınırlı teknoloji ve ticari sorgu örnekleminde Reddit ve YouTube sırasıyla 278 ve 201 kez getirildi
  • Reddit 11 kez alıntılandı
  • YouTube hiç alıntılanmadı
• YouTube arama sonuçlarında video dökümlerinden ziyade metadata alınırken, Reddit başlıklarında gövde metni sayfada bulunduğu için belirli cümlelere kaynak bağlamak daha kolaydı
• Dışarıdaki büyük ölçekli analizlerde de aynı yönelim görülüyor
  • Ahrefs 1,4 milyon ChatGPT promptunda Reddit alıntı oranını %1,93, YouTube alıntı oranını %0,51 buldu
  • Profound da iki hizmet arasında aynı farkı doğruladı
• Küçük örneklemde en çok alıntılanan tek alan adı Reddit'ti; ardından rtings, TechRadar gibi inceleme siteleri ve tedarikçi sayfaları geldi
• Tedarikçi sayfaları kendi fiyat ve teknik özellikleri için kaynak olarak alıntılanıyor
  • Zoho, Semrush ve VPN sağlayıcıları kendi bilgilerinin dayanağı olarak bağlandı
  • Hangi ürünün en iyi olduğuna dair değerlendirmeler ise çoğunlukla üçüncü taraf sayfalardan alıntılandı
• Alıntı, tüm yanıta değil belirli bir cümleye bağlandığı için, yalnızca konu ilgisi yetmez; tam olarak bir iddiayı en iyi desteklemek gerekir
• Sonuçlar alan adı düzeyinde deduplikasyona uğruyor; aynı sitedeki zayıf 20 sayfa tek bir sonuçta birleşebilir
• Her fan-out sorgusu için düşük kaliteli çok sayıda sayfa üretmektense, iddia başına güçlü tek bir sayfa oluşturmak daha avantajlı
• Şirketiniz hakkındaki değerlendirme iddiaları, şirket sayfasından değil üçüncü taraf incelemeler, Reddit ve karşılaştırma içeriklerinden besleniyor; metin de videoya göre doğrudan alıntıya daha uygun

Resmi sayfa okunamadığında kaynağın değişmesi

• Tarayıcıya iletilen trafikte alan adı otorite skoru, güven ağırlığı ya da sıralama formülü gibi gizli ranking skorları görülemiyor
  • İlgili mantık OpenAI sunucularında kalıyor
  • Sadece tarayıcı verisiyle “ChatGPT ranking faktörleri” diye kesin iddialar satmak için bir dayanak yok
• Kaydedilmiş Thinking modeli akıl yürütmesinde, kaynak seçiminin nasıl yapıldığı cümlelerle yer alıyor
  • Fiyat ve teknik özellik gibi gerçeklerde resmi sayfalar önceleniyor
  • Ahrefs karşılaştırmasında resmi sayfadan Lite $129, Standard $249, Advanced $449 doğrulanıyor ve daha güncel fiyat sayfası alıntı hedefi olarak seçiliyor
• Profound ve Peec için fiyat arama sonuçlarında doğrudan görünmedi; bunun JavaScript ile yüklenmiş olabileceği kaydedildi
• Resmi sayfa parse edilemezse model G2 gibi üçüncü taraf kaynaklara dönüyor
  • Resmi fiyat doğrulanmak istendi ama sayfada bulunamadı
  • Sonuç olarak şirketin kendi sayıları başka sitelerdeki sayfalar temel alınarak alıntılandı
• Fiyat ve ürün özellikleri JavaScript ile yüklenmemeli ya da görsel içine konmamalı; crawl edilebilir metin olarak sunulmalı
• Kolay okunur fiyat sayfası, şirketin kendi gerçeklerinin doğrudan alıntılanma olasılığını artırır; ancak öneri ve değerlendirmeler ayrıca inceleme, Reddit ve dürüst karşılaştırma içeriklerinden sağlanmalıdır

Kişiselleştirme, yerel arama ve doğrulanamayan alanlar

• Bir kaynağın diğerine neden tercih edildiği, modelin kaydettiği kendi açıklaması dışında sunucu tarafı mantığa ait olduğu için doğrulanamıyor
• Kişiselleştirme tüm sorgulara değil, yalnızca ilgili bazı sorgulara seçici olarak uygulanıyor
  • Kullanıcının geçmiş işleriyle örtüşen sorgularda personal_sources: ["convo_search", "gmail", "files"] göründü
  • İncelenen 3 konuşmadan, kullanıcı geçmişiyle eşleşen 1 tanesinde geçmiş konuşmalar genel bir “en iyi araçlar” yanıtında kullanıldı
• Bazı yanıtlar dışarıdan optimize edilemeyen kişisel verilerden oluştuğu için, sonuçlar kullanıcıya göre değişebilir ve görünürlük puanları da oynayabilir
• Yerel aramada local_results_limit değeri 2 olarak ayarlı
  • Yakındaki en iyi kahveyi sorunca ilk 10 değil, yalnızca 2 yer dönüyor
  • Yerel aramada ilk 2 içine giremezseniz yanıtta görünmüyorsunuz
• Shopping hattı yalnızca tek bir sorguda gözlendi; başka bir araştırmacının tek bir sorguda gördüğü sonuçla doğrudan çeliştiği için, şu an için yapısı kesinleştirilemiyor
• Yapı yaklaşık 1.240 kayıtta tekrar tekrar görüldü, ancak SaaS ve teknoloji ağırlıklı küçük ticari sorgulardan çıkan oranlar için farklı sektörlerde daha büyük doğrulama gerekiyor
• Sistem her hafta değişebileceğinden, yapı kalsa bile sayılar hareket eden bir anlık görüntü olarak görülmeli

Doğrudan doğrulama yöntemi ve eklentiler

• Ek izin olmadan, kendi tarayıcınızda temel hattı görebilirsiniz
  • ChatGPT'de Cmd+Option+I ile DevTools'u açın
  • Network'te Preserve log'u etkinleştirin
  • Sorguyu çalıştırdıktan sonra Cmd+Option+F ile yanıtlarda result_source arayın
• Fan-out, alıntılar ve akıl yürütmeyi görmek için Console'da bir kez allow pasting yazıp, web araması yapılmış konuşmanın /backend-api/conversation/ verisini okuyabilirsiniz
• Verilen script, mevcut oturumun access token'ı ile yalnızca kendi konuşma verinizi okur ve kaynak alan adlarıyla hatları tablo olarak yazdırır
  • techradar.com ve whathifi.com: labrador
  • soundguys.com ve rtings.com: bright
  • khaleejtimes.com: oxylabs
  • streetinsider.com: serp
• Toplanan alanları değiştirerek arama terimleri, alıntılar ve kaydedilmiş akıl yürütme de aynı yöntemle çıkarılabilir
• FanoutFox bu süreci otomatikleştiren ücretsiz bir Chrome eklentisi
  • kaynak bazında result_source hattını gösteriyor
  • getirilmiş, alıntılanmış ve anılmış durumlarını ayırıyor
  • tek bir sorudan üretilen tüm fan-out sorgularını ve site: ile fiyat doğrulama aramalarını gösteriyor
  • veri tarayıcı dışına çıkmıyor
  • Chrome Web Store üzerinden kurulabiliyor; ek analizler Part 2 içinde yer alıyor
• Olivier de Segonzac'ın ücretsiz eklentisi de veriyi yerel oturumdan okuyup Excel'e aktarıyor
  • turn_use_case göstererek aramadan önce shopping, local veya text sınıfına geçilip geçilmediğini görmeyi sağlıyor
  • alıntı token'larında ürün, arama sonucu, haber ve görsel referans türlerinin oranlarını ayırıyor
  • konuşma bazında result_source dağılımını grafikle gösteriyor
  • Chrome Web Store ve güncelleme açıklamasında incelenebilir

Arama motoru optimizasyonundan farklı tasarım ilkeleri

• Sınırlı örneklemde, mevcut tavsiyelerden Reddit, liste tipi içerikler ve inceleme sitelerinin etkisi büyük ölçüde doğrulandı
• İyi içerik de ancak modelin gerçekten okuyabildiği kısımlarda etkili; okuyamadığı gerçekler başka sitelerden alınabilir
• ChatGPT, şirketin kendi sayfasından parse edilebilir gerçekleri okur, başkalarının sayfalarından değerlendirme alır ve bu süreci yalnızca sorgu arama hedefi olarak sınıflandırılmışsa çalıştırır
• Yalnızca arama motoru sıralamasını hedeflemek yerine, aramanın gerçekten çalışıp çalışmadığını, HTML parse edilebilirliğini, iddia bazında alıntılanabilirliği ve üçüncü taraf değerlendirme kaynaklarını birlikte tasarlamak gerekir