agents.txt — yapay zeka ajanları için belge site haritası standardı önerisi

İnce ayar yapılmamış genel amaçlı yapay zeka ajanları bugün web belgelerinde içerik ararken, insanlar gibi sayfaları tek tek açmak zorunda kalıyor.
Her HTML sayfasıyla birlikte kenar çubuğu, üst bilgi ve alt bilgi de geldiği için, gerçekten gerekli içerikten çok daha fazla gürültü oluşuyor
ve 651 sayfalık bir dokümantasyon sitesini dolaşmak için milyonlarca token harcanabiliyor.

robots.txt, tarayıcılara "buraya girme" demek için var
sitemap.xml ise arama motorlarına URL listesini vermek için kullanılıyor, ancak
ikisi de yapay zeka ajanlarının istedikleri sayfayı hızlıca bulmasına pek yardımcı olmuyor.
llms.txt de serbest biçimli bir açıklama metni olduğu için yapılandırılmış gezinmeye uygun değil.

agents.txt, dokümantasyon sitelerinin /.well-known/agents.txt yoluna koyduğu yapılandırılmış bir indeks dosyasıdır.
Bir yapay zeka ajanı yalnızca bu tek dosyayı okuyarak, 651 sayfa ölçeğinde yaklaşık 3.200 token ile
"prompt caching ile ilgili sayfa nerede", "Python SDK quickstart nedir" gibi sorulara, sayfaları crawl etmeden
doğrudan yanıt alabilir.

Bu öneri projesinde claude-code ve gpt-codex resmi dokümantasyonları için TXT, MD, JSON ve XML olmak üzere dört formatta gezinme desteği sunuluyor.
Ayrıca 12 farklı sayfa tipi anotasyonu ve SDK desenlerini sıkıştırma özelliği de bulunuyor.
Bu, Vercel'in agent-browser ile token kullanımını %93 azaltmasındaki fikre benziyor; ancak burada yaklaşım tek tek uygulamalar yerine web standardı düzeyinde ele alınmış.

Ajanla demo yapmanın en iyi yöntem olacağını düşündüğüm için proje köküne NAVIGATOR.md adlı bir ajan dosyası yerleştirdim.
Referans implementasyonu https://agentnav.baekenough.com adresinde inceleyebilirsiniz.

Geri bildiriminizi duymaktan memnuniyet duyarım.