Orkestrasyon Vergisi

Yapay zeka ajanları çağında ‘orkestrasyon vergisi’ ve insan dikkatinin darboğazı

Addy Osmani’nin yazısı, birden fazla yapay zeka ajanını aynı anda çalıştırmanın gerçek üretkenlik artışına doğrudan dönüşmeyebileceği sorununu ele alıyor. Ajanlar paralel hareket edebilir, ancak sonuçları anlama, inceleme ve birleştirme işi yapan insanın muhakemesi paralelleştirilemez; temel nokta budur. Yazar bu maliyete ‘orkestrasyon vergisi’ adını veriyor. Yani, birden fazla iş akışını koordine etmenin gizli maliyeti. Delegasyon açısından bakıldığında da bu, daha fazlasını devretmekten çok yalnızca düzgün biçimde inceleyebileceğiniz kadarını devretme ölçütünün önemli olduğu şeklinde okunabilir.

• Temel iddia

  • Yapay zeka ajanlarını başlatmanın kolay olduğunu, ancak sonuçlarını doğrulayıp diğer değişikliklerle uyumlu hale getirmenin kolay olmadığını anlatıyor.
  • Birden fazla ajan çalıştırmanın “daha fazla ben” yaratmadığını; muhakeme ve birleştirmenin sonuçta tek bir kişinin dikkatinden geçmek zorunda olduğunu söylüyor.
  • Meşgul hissetme hali ile gerçekten üretken olma halinin farklı olabileceğine dikkat çekiyor.
  • 20 ajan çalıştırmanın, bunun doğrudan 20 ajanın yaptığı deploy edilebilir iş anlamına gelmediğini savunuyor.

• Orkestrasyon vergisi

  • Yazar, birden fazla ajanı koordine etmenin maliyetini yapısal bir sorun olarak görüyor. Bunun yalnızca odak eksikliği ya da eğitim sorunu değil, sistem tasarımı sorunu olduğunu açıklıyor.
  • Ajanların ürettiği sonuçlar eninde sonunda insanlar tarafından incelenmek zorunda. Bu süreçte doğruluk, mimariyle tutarlılık ve merge conflict gibi sorunlar tek bir kişide toplanıyor.
  • Bu yüzden insan, yapay zeka ajan sisteminin içinde yavaş bir seri bileşen haline geliyor. Seri bileşen, birden fazla işi aynı anda işleyemeyen ve sırayla işleyen parçayı ifade ediyor.

• Teknik benzetme

  • Yazar bu durumu Python’daki GIL’e benzetiyor. GIL, birden fazla thread olsa bile aynı anda yalnızca bir tanesinin Python kodu çalıştırmasına izin veren mekanizmadır.
  • Ajanlar eşzamanlı çalışabilir, ancak gerçek anlama ve muhakeme gerektiren anda hepsi insan dikkatinin oluşturduğu tek bir kilidi beklemek zorunda kalır.
  • Ayrıca paralel işlemedeki hız artışının, paralelleştirilemeyen bölüm tarafından sınırlandığını söyleyen performans mühendisliği ilkesine de başvuruyor. Ajan sayısı artsa bile muhakeme süresi kısalmıyorsa toplam throughput’un ciddi biçimde artması zordur.

• Avantajlar

  • Ajanlar, bağımsız işleri arka planda yürütmede faydalı olabilir.
  • Test yazma ya da ekran görüntüsü üretme gibi, makinenin bir ölçüde kanıt sunabildiği işler insanın yükünü azaltabilir.
  • Sonuç incelemelerini tek seferde gruplayarak yapmak, işler arasında sürekli gidip gelmenin yarattığı context switching maliyetini azaltabilir önerisinde bulunuyor.

• Sınırlamalar ve riskler

  • Ajan sayısını artırmanın insanın bilişsel bant genişliğini, yani anlama ve muhakeme kapasitesini artırmadığını söylüyor.
  • Ajanları sık sık kontrol etmek, her seferinde farklı iş bağlamını yeniden yüklemeyi gerektirdiği için yorgunluğu artırabilir.
  • İnceleme yüzeysel kalırsa, ajanların ürettiği kodun yeterince anlaşılmadan kabul edilmesi gibi bir durum ortaya çıkabileceği konusunda uyarıyor.
  • Bu maliyet düzgün yönetilmezse teknik borç ile bilişsel borç birlikte birikebilir. Teknik borç, sonradan düzeltmesi zor kod yükünü; bilişsel borç ise geliştiricinin sistemi tam anlamadan değişiklikleri üst üste eklediği durumu ifade eder.

• Fark yaratan nokta

  • Yazının odağı, yapay zeka ajanlarının kendi performansından çok insan dikkatidir.
  • Üretkenliğe, çalıştırılan ajan sayısı olarak değil; gerçekten incelenmiş, birleştirilmiş ve deploy edilebilir iş miktarı olarak bakılması gerektiğini söylüyor.
  • İnsanı sistemin dışındaki bir denetçi olarak değil, paralel sistemin içinde yer alan sınırlı bir kaynak olarak ele alması ayırt edici bir özellik.

• Uygulama yönü

  • Ajan ölçeğinin, aracın ekranında izin verilen sayıya göre değil, kişinin gerçekten review edebileceği hıza göre ayarlanmasını öneriyor.
  • İşler ayrıştırılmalı. İzole işler arka plan ajanlarına bırakılmalı; garip bug’lar ya da mimari tasarım gibi muhakemenin kritik olduğu işler ise paralelleştirilmemeli.
  • İnsan dikkatinin muhakeme için ayrılması, makinenin doğrulayabildiği kısımlarda ise ajanın önce test ya da kanıt göstermesi gerektiğini anlatıyor.
  • Delegasyon bu noktada oldukça sınırlı bir anlam taşıyor. Önemli olan daha çok iş devretme becerisi değil, hangi işin devredilebileceğini ve hangisinde doğrudan muhakeme gerektiğini ayırabilme becerisi.

Bu yazı, yapay zeka ajanlarından yararlanmadaki darboğazın yürütme kapasitesi değil, inceleme ve muhakeme kapasitesi olabileceğine işaret ediyor. Birden fazla ajanı devreye almak artık daha kolay, ancak ortaya çıkan sonuçları sorumlulukla sahiplenme süreci hâlâ insanın görevi. Dolayısıyla üretkenlik, ajan sayısını artırmaktan değil, kendi dikkatini önemli bir sistem kaynağı olarak görüp işleri buna göre yerleştirmekten doğar. Delegasyon da aynı ilkenin içindedir: Önemli olan daha çok iş devretmek değil, sağlıklı biçimde muhakeme edebileceğiniz sınırlar içinde devretmektir.

[jjpark78]

Ben de son zamanlarda şunu hissediyorum: Aynı anda 10-20 işi çalıştırıp sonra geri dönerek onları tek tek gözden geçirirken bağlam geçişi olmuyor; "Bu neydi ki??" deyip hafızamı geri yoklamam gereken bir sorun oluyor..

[j2sus91]

Bunu seri işler olarak yaparsanız, insanın doğrulama ve inceleme süreci kaçınılmaz olarak darboğaz haline gelir.

Sonuçta iş akışının ajanların paralel işlenmesine kayması gerekiyor,
ancak insanın bilişsel kapasitesinin sınırları var.

Görünen o ki artık doğrulama döngüsü kurmanın kaliteyi sağlama ve hataları önlemenin kilidi olduğu bir döneme geldik.
Burada da sadece insan doğrulaması değil, ajanların birbirini karşılıklı denetleyerek doğrulama aşamalarını daha sağlam hale getirmesi gerekiyor.