- Yapay zeka tarayıcıları ve ajan odaklı trafiğin artmasıyla, web içeriği yalnızca insanlar için değil, makinelerin doğrudan tükettiği bir yapıya dönüşüyor
- HTML’yi Markdown’a dönüştürmek, token kullanımını yaklaşık %80 azaltarak maliyet ve işleme verimliliğini iyileştiriyor
Accept: text/markdown başlığına dayalı gerçek zamanlı HTML→Markdown dönüşümü ağ seviyesinde destekleniyor
x-markdown-tokens ve Content-Signal başlıklarıyla tahmini token sayısı ve yapay zeka kullanım politikası birlikte sunuluyor
- AI botlarının içeriği tüketme biçimi Radar üzerinden izlenebiliyor ve özellik Pro ve üzeri planlarda beta olarak ücretsiz sunuluyor
Arka plan: Yapay zeka ajanları merkezli hale gelen web trafik yapısı
- Çevrimiçi içerik keşfi, geleneksel arama motoru merkezli yapıdan yapay zeka tarayıcıları ve ajanlar merkezli bir yapıya hızla kayıyor
- Geçmişte trafiği SEO belirlerken, artık yapılandırılmış veri talep eden yapay zeka sistemleri başlıca tüketici olarak öne çıkıyor
- Şirketlerin artık yalnızca insan ziyaretçileri değil, ajanları da birinci sınıf kullanıcı (first-class citizen) olarak dikkate alması gerekiyor
- Mevcut web, insanlar için tasarlanmış HTML tabanlı bir yapıya sahip ve yapay zekanın işlemesi açısından gereksiz öğelerle dolu durumda
Neden Markdown?
- HTML, semantik anlamla ilgisi olmayan
<div>, <script>, gezinme öğeleri gibi yapılar nedeniyle token israf eden bir yapı
- Örnek:
## About Us yaklaşık 3 token iken, aynı HTML olan <h2 class="section-title"...> 12~15 token tüketiyor
- Bu blog yazısı özelinde HTML 16.180 token → Markdown 3.150 token ile yaklaşık %80 token tasarrufu sağlanıyor
- Markdown, açık bir yapı sunarak yapay zeka işleme verimliliğini ve çıktı kalitesini iyileştiriyor
- Günümüzde çoğu yapay zeka pipeline’ı HTML→Markdown dönüşüm adımını içeriyor, ancak bu
- hesaplama maliyetini artırıyor
- işleme karmaşıklığını yükseltiyor
- yazarın niyetinden sapma ihtimali taşıyor
Markdown for Agents: ağ seviyesinde otomatik dönüşüm
- Cloudflare ağı üzerinde gerçek zamanlı HTML→Markdown dönüşümü destekleniyor
- Etkinleştirilmiş zone’larda content negotiation temelli çalışıyor
- İstemci
Accept: text/markdown başlığını içeren bir istek gönderdiğinde
- özgün HTML origin’den alınıyor
- ağ üzerinde Markdown’a dönüştürülerek geri gönderiliyor
- Yanıt örneği
content-type: text/markdown
vary: accept
x-markdown-tokens: 725 başlığı içeriyor
x-markdown-tokens, Markdown belgesinin tahmini token sayısını sağlıyor
- context window hesaplaması
- chunking stratejisinin belirlenmesi gibi amaçlarla kullanılabiliyor
Content Signals Policy ile entegrasyon
- Content Signals framework’ü ile entegre
- Markdown yanıtları varsayılan olarak
Content-Signal: ai-train=yes, search=yes, ai-input=yes başlığını içeriyor
- Yapay zeka eğitimi, arama ve ajan girdisi olarak kullanım izni açıkça belirtilebiliyor
- İleride kullanıcı tanımlı politika seçenekleri de sunulacak
Kullanım örneği: Cloudflare Blog ve Developer Docs
- Özellik, Developer Documentation ve Blog için etkinleştirildi
curl -H "Accept: text/markdown" isteğinde Markdown döndürülüyor
- Yanıtın üst kısmında YAML metadata yer alıyor
- title
- description
- image gibi yapılandırılmış bilgiler sunuluyor
Cloudflare dışındaki belgeleri dönüştürme yöntemleri
- Workers AI
AI.toMarkdown()
- HTML dahil çeşitli belge biçimlerini dönüştürme ve özetleme desteği sunuyor
- Browser Rendering
/markdown REST API
- gerçek tarayıcı render’ı sonrasında Markdown dönüşümünü destekliyor
- dinamik sayfaları işleyebiliyor
Markdown kullanımını izleme: Cloudflare Radar
- Radar AI Insights içinde content_type boyutu eklendi
- AI botlarına ve tarayıcılara döndürülen içeriğin MIME türü dağılımı görülebiliyor
- Belirli ajanlara göre Markdown istekleri filtrelenebiliyor
- Örnek: OAI-Searchbot(GPTBot)
- Verilere herkese açık API ve Data Explorer üzerinden erişilebiliyor
Başlangıç ve sunulan kapsam
- Cloudflare Dashboard → Zone seçimi → Quick Actions üzerinden özellik etkinleştirilebiliyor
- Pro, Business, Enterprise planları ile SSL for SaaS müşterileri için sunuluyor
- Şu anda beta aşamasında ve ücretsiz
- Ayrıntılı bilgiler Developer Docs’ta bulunabiliyor
Henüz yorum yok.