Öngörülemez dahiyi sarmalamanın yolu

• Aynı istekte bile sonuçları değişen yapay zeka ürünlerinde tekrarlayan hataları azaltmak için talimatları artırmak yerine modeli karşı koyamayacağı deterministik kod ile kontrol etmek gerekir
• Kontrol yapısı model, harness, doküman ve hook olmak üzere dört katmana ayrılır; belirli koşullarda bağımsız çalışan hook’lar kuralları gerçekten zorunlu kılabilir
• Doğruluğu kodla değerlendirilebilen işler garanti altına alınabilir, ancak ince analiz hataları gibi muhakeme gerektiren işler yeniden modele bağımlı kalır; model gelişse bile doğrulama boşluğu ortadan kalkmaz
• Yapay zeka ürünleri, modelin muhakemesine bırakılacak kısımlar ile kodla garanti edilecek kısımları ayıran harness mühendisliğine ihtiyaç duyar; kontrol yetersiz olursa yanlış cevaplar üretir, aşırı olursa pahalı bir genel yazılıma dönüşür
• Herkes aynı modeli kiralayabiliyorsa, ürünlere özgü kriterleri, kodu, veriyi ve entegrasyon ortamını biriktiren sarmalayıcı katman savunulabilir rekabet gücü haline gelir; Cursor’ın büyümesi bunu gösteriyor

---

Dokümandaki kuralları koda taşımak

• Claude Code’un her oturumda okuduğu bir dosyada belirli bir davranış yasaklansa bile, içeriği anlayıp kabul ettikten sonra aynı davranışı tekrarlayabildiği oluyor
• Kural, koşul sağlandığı anda komutu engelleyen koda taşınınca, modelin muhakemesinden bağımsız olarak yasaklanan davranış duruyor
• The Verification Tax’ın ele aldığı yapay zeka çıktısını gözden geçirme maliyeti, sonradan denetimi artırmak yerine üst akıştaki mühendislikle azaltılabilir
• Tek kişi ve kişisel araçlarla oluşturulan asgari bir kontrol yapısı bile büyük ölçekli yapay zeka ürünlerinin çözmesi gereken sorunla aynı biçime sahip
• Hata türlerini hook türlerine bağlayan ve katmanlara göre ölçülebilir kapsamı düzenleyen pratik rehbere ayrı bir X gönderisinden ulaşılabilir

Kontrolü oluşturan dört katman

• Kontrol gücü aşağıdan yukarıya doğru güçlenen dört katmandan oluşur
  • Model: Claude Opus 4.8 veya GPT-5.5 kadar iyi olsa bile aynı isteğe farklı yanıtlar verebilir; hiçbir talimat bu özelliği tamamen ortadan kaldıramaz
  • Harness: Claude Code, Codex, OpenClaw gibi modeli çalıştırır ve modelin ne göreceğine karar verir, ancak yalnızca genel yönü etkileyebilir
  • Doküman: CLAUDE.md ve AGENTS.md tercihleri, proje bağlamını, kuralları ve birikmiş düzeltmeleri içerir; ancak model bunları diğer bilgilerle birlikte değerlendirir, bu yüzden izlemeyebilir
  • Hook: Belirli durumları izleyip bağımsız çalışan koddur; modelin onayından bağımsız olarak yasaklı komutları engeller
• Dört katman içinde pazarlık etmeyen tek şey en üstteki hook katmanıdır
  • Hook’a taşınan kurallar model tarafından etrafından dolaşılamaz; tekrarlayan hatalar ortadan kalkar ve insanların gözden geçirmesi gereken alan da daralır

Kodla garanti edilemeyen muhakeme alanı

• Kontrol edilmesi gereken yüzey azaltılabilir, ama tamamen kapatılamaz
  • “Bu komutu çalıştırma” koşulu kodla denetlenebilir
  • “Analizin ince bir biçimde yanlış yöne akmasını engelle” koşulu muhakeme gerektirir; bunu değerlendirecek başka bir model de yine öngörülemezlik taşır
• Çıktıyı gerçekten kanıtlayabilen sistemler, insanın önceden yazdığı kriterleri ve sonuçları kodla karşılaştırır; yalnızca doğru cevabın kesin olarak tanımlanabildiği alanlarda çalışır
• Model yükseltilse bile muhakeme sorunu ortadan kalkmadığı için modeli sarmalayan kontrol katmanları gerekli olmaya devam eder

• Biçimsel belirtimlere dayalı garanti

  • SEVerA, ajan çıktısının biçimsel sözleşmeyi karşıladığını garanti edebilir; ancak sözleşmenin önceden biçimsel mantık ile yazılması gerekir ve yalnızca bu tür kontrollerin mümkün olduğu alanlara uygulanır
  • VeriGuard, LLM ajanlarına doğrulanmış güvenlik ekler, ancak kullanıcının manuel doğrulaması hâlâ gereklidir
  • LLM’in kullanıcının niyetini biçimsel kurallara çevirme aşamasının kendisi öngörülemezdir
  • Pratikteki garanti, sonunda insanın yazdığı belirtime yönelik sabit kontrollere dayanır
  • “Kendini iyileştiren ajanlar” ortaya çıkan sonuçları değerlendirip sonraki davranışı iyileştirir; ancak tek bir belirli çıktının doğru olduğunu kanıtlayan yöntemden farklıdır

Olasılıksal motoru deterministik yazılımla sarmalamak

• Geleneksel yazılım testi, istenen çıktı ve tek bir doğru cevap belirlenip öngörülebilir kodun denetlenmesi yöntemiyle gelişti
• Yapay zeka yerel ürünler, aynı prompt’a bile farklı sonuçlar üreten olasılıksal motoru merkeze aldığı için mevcut test varsayımları bozulur
• Hamel Husain’in belirttiği gibi, onlarca yıldır kurulan yazılım test disiplini tek bir doğru cevabı varsayar; yapay zekada ise tam da o doğru cevap ortadan kalkar
• Birçok geliştirici, öngörülemez motoru koruyup onu her seferinde aynı şekilde çalışan deterministik kod ile sarmalama yaklaşımında birleşiyor
  • Dex Horthy’nin 12-factor agents yaklaşımı, iyi ajanı “büyük ölçüde yazılımdan oluşan” bir sistem olarak tanımlar
  • Anthropic’in building effective agents yazısı, işlerin “önceden tanımlanmış kod yolları” üzerinden yürütülmesini ve “programatik kontroller” eklenmesini önerir
• Claude Code’da koşulun nasıl denetleneceğini seçebilirsiniz
  • Kod bağımsız olarak geçme veya kalma kararını verirse garanti elde edilir
  • Model koşulun karşılanıp karşılanmadığını değerlendirirse yalnızca bir muhakeme sonucu elde edilir

• Claude Code’un Skills ve /goal özellikleri

  • Skills, ajanın çağırabileceği yapılandırılmış prosedürlerdir; ancak çalıştırılıp çalıştırılmayacağını model seçer ve süreç içinde yoldan çıkabilir, bu yüzden doküman katmanına aittir
  • /goal, belirtilen koşullar karşılanana kadar çalışmayı sürdürmesini sağlayarak zorlayıcı katmana yaklaşır
  • Ancak her turdan sonra küçük ve hızlı bir model koşulun karşılanıp karşılanmadığını değerlendirdiği için, diğer modeller gibi yanlış karar verebilir
  • /goal, Stop hook’unu sarmalayan bir özelliktir; doğrudan yazılan bir Stop hook’unda ise model yerine bir script bağımsız biçimde geçme veya kalma kararı verebilir
  • Claude Code dokümantasyonu, deterministik kontroller için script, muhakeme gerektiren kontroller için model kullanarak bu iki yöntemi ayırır

Kişisel ayarlar organizasyon ölçeğine genişlediğinde

• Kişisel ortamda ajan tek bir kuralı görmezden gelse bile maliyet birkaç dakikayla sınırlı kalır; önemli vakalar kişisel hook’larla engellenebilir
• Aynı ajanı kullanan 200 kişilik bir şirkette herkesin kişisel hook’u yoktur ve kurallar tek bir paylaşılan dosyada yer alabilir
• Paylaşılan bir kural bir kez görmezden gelinirse, o dosyanın çalıştığı her yerde aynı sorun ortaya çıkabilir; organizasyonun koruma düzeyi en gevşek yazılmış kurala bağlıdır
• Kontrol yapısı kişisel ayarla aynıdır, ancak ölçek büyüdükçe hata maliyeti değişir

Neyi garanti edecek, neyi açık bırakacağız?

• Every’nin ajan yerel mimari rehberi, özellikleri yazılmış kod olarak değil, “döngü içinde çalışan bir ajanın ulaştığı, tarif edilmiş sonuçlar” olarak tanımlar
• Bu yaklaşım modelin doğaçlama hareket etmesine izin verir ve ürünü sonuçlar etrafında tasarlar; ancak kontrol gereken noktalarda yeniden koda döner
  • Sık kullanılan veya kritik yollar olan hot path’lerin koda taşınmasını önerir
  • Bazı işlerde ajanın muhakemesine bırakılmaması gereken doğrulamaların gerekli olduğunu kabul eder
• Model merkezli ürün tasarımı ile kontrol merkezli mühendislik birbirine zıt gibi görünse de aynı mimariyi iki uçtan ele alır
• Gerçek tasarımda, ürünün hangi noktasının ne ölçüde kodla sabitleneceğine karar vermek gerekir
  • Çok az sabitlenirse, garanti gereken işlerde bile model doğaçlama muhakeme yapıp müşteriye kendinden emin yanlış cevaplar iletebilir
  • Çok fazla sabitlenirse, tüm yolları kodla yazılmış genel yazılıma dönüşür; model ise mevcut kodun yaptığı işi daha yavaş ve pahalı şekilde yapar
• OpenAI ekibinin harness mühendisliği dediği şey, ürünün her noktasında modelin muhakemesine ihtiyaç duyulan kısımlar ile kodun garantisine ihtiyaç duyulan kısımları bilinçli bir oranla ayırma işidir

Modelden daha uzun süre biriken sarmalayıcı katman

• Modeli herkes aynı şekilde kiralayabilir ve model laboratuvarlarının takvimine göre tüm kullanıcılar için aynı anda gelişir; bu yüzden savunması en zor katmandır
• Rakip, kod deposunun tamamını okusa bile belirli bir işte neyin garanti edilip neyin açık bırakılacağına dair yıllar içinde verilmiş birikmiş kararları elde edemez
• Bu kararlar, modelin karşı koyamayacağı katmanlar olarak uygulanır ve ürüne özgü kontrol yapısıyla birlikte birikmeye devam eder
• Modelin etrafındaki kod, kriterler, veri ve iş entegrasyon ortamının toplamı uzun vadeli rekabet avantajını oluşturur

Cursor’ın biriktirdiği kontrol katmanı

• Yapay zeka kodlama aracı Cursor, kendi genel amaçlı modelini geliştirmez; istekleri Claude, GPT, Gemini ve Grok arasında yönlendirir ve modeli kiralanabilen bir ürün gibi ele alır
• Anthropic’in Claude Code’u üstün modellere daha erken erişse bile Cursor’ın yerini alamaz
• Cursor’ın geliri geçen yıl kasımda yaklaşık 1 milyar dolar iken haziranda yaklaşık 4 milyar dolara yükseldi
• SpaceX, nisanda aldığı opsiyonu geçen hafta kullanarak Cursor’ı 60 milyar dolara satın almak üzere anlaşmaya vardı; bu, girişim sermayesi destekli startup satın almaları arasında tüm zamanların en büyük ölçeği
• Cursor’ın biriktirdiği şey daha iyi bir genel amaçlı model değil, ürünü sarmalayan katmandır
  • Tüm depoyu senkronize edip aranabilir durumda tutan kod tabanı indeksi
  • Günde yüz milyonlarca düzenlemede geliştiricilerin hangi önerileri kabul edip reddettiğinden öğrenen kendi otomatik tamamlama modeli
  • Fortune 500 şirketlerinin çoğunda yer edinmiş kurumsal entegrasyon ortamı
• Model şirketi daha iyi bir modele sahip olsa bile editörü, indeksi ve geliştiricinin kullanım alışkanlıklarını sahiplenmiş olmaz

Yapay zeka yerel ürünlerin kalıcılığını belirleyen soru

• Cursor gibi kontrol katmanı kurmuş örnekler nadirdir; yapay zekayı işte kullananların çoğu bu tür bir sarmalayıcı katman oluşturmadı ya da varlığından haberdar değil
• Şirket ölçeğinde bu katmanın nasıl kurulacağı, gerçek kullanıma dayanabilen yapay zeka yerel ürünleri herkesin kiralayabileceği modeller üzerindeki etkileyici demolardan ayırır
• Temel model ücretsiz hale gelse bile geriye neyin kaldığı, ürünün sürdürülebilir varlığını belirleyen sorudur