- Yazılım sektöründe son dönemde 'Software Factory' kavramı büyük ilgi görüyor. Verilen hedefe göre çok aşamalı işleri kendi başına yürüten AI ajanlarının kaynak kodunu tamamen yazdığı, geliştiricilerin ise bu kodu güvenilir biçimde seri üretmek için bir sistem, yani bir 'fabrika' kurup olgunlaştırmaya odaklandığı yeni bir paradigma bu.
- AI geliştirme araçları şirketi Tessl’den Dru Knox, bu yeni geliştirme disiplinini Harness Engineering olarak adlandırdı.
- Harness, ata takılan koşum takımı gibi, AI ajanlarını kontrol eden ve çalıştıran bütün çerçeveyi ifade ediyor; bu çerçevenin merkezinde de üç loop (aynı prosedürü tekrar tekrar dönen döngü) bulunuyor.
- Videonun ele aldığı konular: Software Factory nedir ve onu tanımlayan üç gösterge / Tessl’in şirket içinde neden etkileşimli kodlama oturumlarını yasakladığı ve sonrasında neler olduğu / inner, outer ve meta loop olmak üzere üç katman / Harness Engineering’in neden zor olduğu / Tessl’in Change Review ve Verifier sistemlerinin bunu pratikte nasıl hayata geçirdiği
- Video: https://www.youtube.com/watch?v=D_cw-k0F1DM&t=236
Aynı yapıyı bilgi üretimine uygularsak
- Bilgi fabrikası, AI ajanlarının wiki sayfaları yazdığı; insanların ise bunları seri üretmek için 'editörlük sistemi'ni tasarlayıp işlettiği bir düzendir. Operatör doğrudan yazı yazmaz; yazım yönergelerini ve otomatik denetim mekanizmalarını yönetir.
- Fabrika içi organizasyon, gazete editörlük yapısındaki 5 rolü örnek almıştır: muhabir, köşe yazarı, redaksiyon, desk ve genel yayın yönetmeni.
- Buradaki kritik nokta, bu 5 rolün tamamının da 'karar veren AI' olmamasıdır. 'Redaksiyon' AI değil, kural tabanlı Python kodudur; 'genel yayın yönetmeni' ise işi dağıtan koordinatördür. Bağımsız değerlendirme kararı veren AI’nin bulunduğu tek yer 'desk'tir.
- Verimli fabrika tasarımı, rastgele daha fazla ajan eklemek değil; karar alanının nereye yerleştirileceğini ve nereden çıkarılacağını açıkça tanımlamaktır.
Olgunluğun üç ekseni ve güven
- Sistem olgunluğu üç eksenle ölçülür: özerklik (insan müdahalesi olmadan sayfanın tamamlanması), otomasyon (insan incelemesi olmadan yayına izin verilen kapsam) ve kalite (üretilen bilginin seviyesi).
- Özerklik yüksek olsa bile operatör tedirgin olduğu için tüm sayfaları tek tek inceliyorsa otomasyon seviyesi düşüktür. Bu farkı kapatan temel unsur ise 'güven'dir.
- Önce özerklik sağlanır, ardından güven biriken ölçüde otomasyon alanı genişletilir ve bu süreçte kalite seviyesi istikrarlı tutulur. Bu güveni garanti altına alan mekanizma da işte bu 'loop'lardır.
1. Inner Loop — gerçek zamanlı öz denetim
- Inner Loop, ajanın taslağı göndermeden önce, yazım süreci sırasında sık sık çalıştırdığı hızlı ve hafif bir doğrulama prosedürüdür. Bu loop ne kadar rafineyse AI ajanı da insan müdahalesi olmadan hatalarını kendi kendine düzeltir; sonuç olarak özerklik artar.
- Yazım sırasında Python denetim aracı (
tools/lint.py) ile yalnızca kendi oluşturduğu belgeyi kontrol eder; aynı hata 2 defadan fazla tekrar ederse hızın korunması için iş hemen bir sonraki aşamaya devredilir.
2. Outer Loop — yayın öncesi çift kapı
-
- kapı redaksiyondur. Python kodu, bağlantılar, alıntılar, belge yapısı, veri çelişkileri gibi 10 alanı deterministik kurallarla statik olarak denetler.
-
- kapı desk’tir. Önyargı, bilgi yoğunluğu, okunabilirlik ve argüman akışı gibi 6 açıdan üçüncü taraf bir okur perspektifiyle nitel değerlendirme yapar; metni doğrudan düzeltmez, yalnızca iyileştirme maddeleri listesi döndürür.
- Bu, Software Factory’deki Verifier (1. kapı) ve Change Review (2. kapı) biçimindeki iki katmanlı yapıyla aynıdır.
- Burada belirleyici bir tasarım ilkesi vardır. Desk’e yalnızca tamamlanmış metin ve değerlendirme ölçütleri verilir; yazarın yazım niyeti aktarılmaz. Kişi kendi yazısını aynı bağlam içinde incelerse yargısı yumuşayacağı için, bu önyargıyı önlemek adına bilgi baştan kesilir.
- Bu sistemin gerçek farkı kaç ajan çalıştırdığı değil, bu bağlam izolasyonudur. Aynı gerekçeyle 3 kez reddedilirse otomatik süreç durdurulur ve karar insan operatöre bırakılır.
3. Meta Loop — kendini iyileştirme mekanizması
- "Aynı hatanın iki kez tekrarlanmasına izin verme. Tespit edilen hatayı sistem kuralına yükselt." ilkesi izlenir.
- Aynı kusur sürekli ortaya çıkarsa yazım yönergelerinde değişiklik önerisi otomatik olarak sunulur. Önerilen değişiklikler, hangi metnin değiştirilmiş kuralla yazıldığının gizlendiği kör karşılaştırmalı değerlendirmeden ve doğrulamada daha önce hiç kullanılmamış yeni başarısızlık vakaları testinden geçer.
- Ancak puan gerçekten yükseldiğinde ve mutlaka insan operatörün nihai onayı alındığında sisteme yansıtılır.
- Tekrarlayan geri bildirimler Python hook’larına veya redaksiyon kurallarına yükseltilerek koda yerleştirilir. Nitel yargı alanı kural denetimi alanına devredilir; böylece desk’in sürekli daha üst düzey sorunlara odaklanması sağlanır.
4. Reground Loop — yalnızca bilgiye gereken 4. loop
- Yazılım kodu bir kez build edilip dağıtıldıktan sonra, spesifikasyon değişene kadar genelde kararlı kalır; ancak bilgi varlıkları zaman geçtikçe gerçek dünyadaki olgularla arasındaki fark açıldığı için eskir.
- Bunu çözmek için yayımlanmış belgeleri yeniden bilgi üretim fabrikasının girdisine besleyen Reground (yeniden zemine, yani dayanağa bağlama) Loop, 4. loop olarak eklendi.
- Güncelleme: Özgün veri kaynağında değişiklik olduğunda. Denetim aracının tespit ettiği eskiyen sayfalar köşe yazarı tarafından yeniden analiz edilip güncellenir. (takip haberi)
- Follow-up: Belgede 'ileride doğrulanmalı' ya da süreye bağlı koşul içeren cümleler olduğunda. Süre dolduğunda desk ve operatör yeniden doğrulama yapar. (izleme haberciliği)
- Düzeltme: Sayfalarımız arasında bilgi çelişkisi yakalandığında. Desk, yayımlanmış belge kümelerini küme bazında baştan sona yeniden okur; tek tek bakınca görünmeyen uyumsuzlukları tespit eder. (düzeltme haberi)
Human-in-the-Loop
- İnsan onayı gerektiren istisna durumlar sezgiye bırakılmadan, açık kontrol listeleriyle tanımlanıp yönetilir.
- Şu anda sistem, özerkliği yüksek tutup otomasyonu bilinçli olarak sınırlı bırakacak şekilde işletiliyor. Ajan sayfaları kendi başına yazıyor, ancak Wiki yayını ve yazım kurallarındaki değişiklikler hâlâ insanın nihai onayını gerektiriyor.
Tam metin: https://alfadur7.github.io/llm-wiki-newsroom/ko/knowledge-factory/
Henüz yorum yok.