bozo bit açılınca öğrenme kapanır

• bozo bit, artık belirli bir kişinin muhakemesini ve sözlerini dinlemeye değmez görmek anlamına gelen bir tutumdur
• Kazaya karışan kişileri beceriksiz diye ayırmak, örgütün kazadan öğrenme fırsatını azaltır
• PocketOS’un yapay zeka kazasına verdiği tepki, Cook ve Woods’un distancing through differencing kavramına karşılık gelir
• Yurt dışındaki fabrika yangınını kendileriyle ilgisiz gören ABD’deki fabrika, paylaşılan sistem ortaklıklarını gözden kaçırdı
• Yapay zeka kazalarını “bunu bilmeleri gerekirdi” diye geçiştirmek, güvenlik iyileştirmesine dönüşmeyi zorlaştırır

---

Kazayı başkasının sorunu sayınca öğrenme durur

• bozo bit, artık belirli bir kişinin muhakemesine saygı duymamak ve söylediklerini dinlemeye değmez görmek için yazılım sektöründe kullanılan bir ifadedir
• Bir kaza haberini duyup “X’i nasıl yapmazlar?” gibi konuşmak, kazanın taraflarını beceriksiz insanlar olarak görüp onları kendi örgütünüzden ayrı değerlendirmeye yol açar
• PocketOS kurucusu Jer Crane’in X gönderisi An AI Agent Just Destroyed Our Production Data. It Confessed in Writing, yapay zeka ile ilgili bir kaza olarak büyük ilgi gördü ve internette PocketOS tarafını beceriksiz bulan çok sayıda paylaşım vardı
• Bu tutum, kazadan öğrenme fırsatını azaltır ve Cook ile Woods’un sözünü ettiği distancing through differencing durumuna girer

• Farklılıklar üzerinden mesafe koyma (distancing through differencing)

  • Richard Cook ve David Woods, bu terimi 2006 tarihli Distancing Through Differencing: An Obstacle to Organizational Learning Following Accidents yazısında kullandı
  • Bu yazı, Resilience Engineering: Concepts and Precepts kitabının bir bölümü olarak yayımlandı
  • Kazayı yaşayan taraf ile kendiniz arasındaki farklara odaklanınca, kendi operasyonlarınıza ve pratiklerinize uygulanacak bir ders olmadığını düşünmeye başlarsınız
  • “O kaza burada yaşanamaz” sonucu, bu olgunun tipik biçimidir

Tekrarlanan kazalar ve gözden kaçan ortak noktalar

• Cook ve Woods, ABD’deki üretim tesislerinde yaşanan kimyasal yangınları örnek olarak ele alır
• Aynı şirketin yurt dışındaki bir fabrikasında daha önce benzer bir yangın çıkmıştı ve ABD’deki çalışanlar bunu biliyordu
• Ancak ABD’deki çalışanlar, yurt dışındaki çalışanların daha az yetkin, daha az istekli ve daha az dikkatli olduğunu düşündükleri için kendileri açısından öğrenilecek bir şey olmadığına karar verdi
• ABD’deki fabrikada yangın çıktıktan sonra da aynı fabrikanın diğer vardiyalarındaki işçiler, kazanın nedenini yangının çıktığı vardiyanın düşük yetkinliğine bağladı
• Bu tür ayrımlar, kazanın tarafları ile kendilerinin paylaştığı sistemin ortak özelliklerini görmeyi engeller
• Cook ve Woods’a göre yüzeyde farklı görünen olaylar bir kenara atılmamalıdır; bazı analiz düzeylerinde her olay benzersiz olsa da, başka düzeylerde ortak örüntüler ortaya çıkar
• PocketOS vakasını sadece “yapay zekayı sorumsuzca kullandılar” sonucuyla kapatmak, öğrenme imkânını ortadan kaldırır
• PocketOS’un kullandığı Railway, delete API sunan bir tedarikçiydi ve daha sonra tüm sistemin güvenliğini artıran değişiklikler yaptığını Your AI wants to nuke your database. Guardrails fix that yazısında açıkladı
• Bundan sonra da sektörde yapay zeka ile ilgili kazalar yaşanmaya devam edecek; “X’i yapmamaları gerektiğini bilmeleri gerekirdi” tutumu, distancing through differencing tuzağına düşmüş bir yaklaşımdır
• Birinin bilerek aşırı risk alması ile, farkında olmadan aşırı risk alması farklı şeylerdir; neyi bilmediğini bilmedi diye kişiyi suçlamak zordur
• distancing through differencing aşılabildiğinde, örgütlerin tepkisi değişebilir

[GN⁺]

Lobste.rs görüşleri

• bozo bit'in değeri, bazı insanların güvenilir birer ters bilgi kaynağı olmasında yatıyor
  Bu insanlar alışkanlık gereği tekrar tekrar yanlış sonuçlara varır, çok açık yazılmış belgeleri bile yanlış anlar ve hedefi çözemeyip yeni sorunlar çıkaran tasarımlar önerir
  Birine bozo bit'i açmak, o kişinin iletişiminden bilgi edinmeye çalışmanın zaman kaybı olduğuna karar vermek demektir
  Bu yazı bozo bit'i, belirli bir sorunun meydana gelemeyeceğine sarsılmaz biçimde inanıp oradan geriye doğru gerekçe uydurulan başka bir olguyla karıştırıyor
  Duyduğum terim sonradan gerekçelendirme ve bunun kaçınılması gerektiği yüzyıllardır, hatta binlerce yıldır tartışılıyor
  Yazıdaki örnek olan üretim veritabanına LLM yönetici yetkisi veren şirkete dönersek, “bu bana X yüzünden olmaz” tepkisi, X'in “üretim veritabanı yönetici yetkisini LLM'e vermek o kadar tuhaf ve delice tehlikelidir ki en başta yapmayız” anlamına daha yakınsa meşrudur
  Bu, tehlikeli şeyler yiyip felakete uğrayan insanlara benziyor. Birinin sümüklüböcek yiyip beyin paraziti yüzünden öldüğü haberini okurken, ben o belirli sebeple ölmeyeceğimden emin olabilirim
  Yazar bunun, ölen kişiden daha iyi ya da daha zeki olduğuma inandığım için olduğunu varsayıyor ama asıl düşünce süreci daha çok şuna benziyor: “Sulu sümüklüböceklerle dolu ıssız bir adada açlıktan ölüyor olsam bile gönüllü olarak sümüklüböcek yemeyeceğimden %100 eminim, dolayısıyla sümüklüböcek kaynaklı parazitler benim risk modelimde yok”
  “Bunu bilmeleri gerekirdi” ifadesinin incoherent olduğu kısmına da katılmak zor. İnsanlar bilmedikleri şeyler yüzünden sürekli suçlanır ve bu yetişkin olarak yaşamanın bir parçasıdır
  3 yaşındaki bir çocuk sümüklüböcek yerse onu suçlamam ama 30 yaşındaki bir iş arkadaşım sümüklüböcek yerse elbette suçlarım. Fazlasıyla apaçık aptalca davranışlar için bir kişiyi suçlamakta sorun yok

  • “Bir şeyi bilmemek” yüzünden nasıl suçlanabileceğini sormanın zaten bir adı var: kasıtlı cehalet
    Bu yazının daha önce düşünmediğim iyi bir noktaya işaret ettiğini düşünüyorum ama bana göre birkaç belirgin kusuru da vardı ve ilki bu
    İkincisi, Amerikalılar hakkında bunları okurken kendi kendime “Peki onların fark koyarak mesafe yaratması (distancing through differencing), benim AI kaynaklı üretim silme kazasını görmezden gelirken yaptığım şeyle gerçekten aynı mı?” diye sormam oldu
    Yani, başka bir fabrikada riskin nasıl ortaya çıktığı hakkında hiçbir şey bilmeden bunun kendilerine dokunmayacağını varsaydılarsa bu meşru değil
    Ama bir yöneticinin yeni, deneysel ve deterministik olmayan bir insansı robotu fabrika sahasına getirip yetenekli çalışanların daha hızlı çalışmasına serbestçe yardım etmesini sağladığını duysaydınız, onların kayıtsızlığını aynı şekilde değerlendiremezdiniz
    Yine de sonucu kabul ediyorum. Çünkü pervasızlık ikili bir şey değil
    Bir dahaki sefere böylesine saçma bir hikâye duyduğumda, “Onlar kadar dikkatsiz olmasam da yaptığım işlerde daha dikkatli olup güvenlik önlemi koymam gereken neler var?” diye durup düşüneceğim gibi görünüyor
  • 3 yaşındaki bir çocuğun neden sümüklüböcek yediğini sormam
    Ama 30 yaşındaki bir iş arkadaşım sümüklüböcek yediyse, o noktaya nasıl gelindiğini en ince ayrıntısına kadar araştırırım
    O kişiyi “suçlamak” istiyorsam önce neden sümüklüböcek yiyen insanları işe aldığımızı ve bunu hâlâ yapıp yapmadığımızı sorarım
  • Bu yazıdan çıkardığım temel sonuç, yazarın bozo bit'in ne olduğunu bilmediği oldu

• Burada birkaç geçerli nokta var
  “Bu tepkinin neden ters teptiğini anlatmak istiyorum. Ayrıca bozo bit açmayla akraba olan bu olgunun teknik adını da belirtmek istiyorum. Buna fark koyarak mesafe yaratma (distancing through differencing) deniyor” kısmında, bu tepki üretken ama aynı zamanda ters etkili
  Zaten başa çıkılamayacak kadar çok olayın aktığı bir dünyada her girdiyi değerlendirmek zorunda olmamak muazzam bir optimizasyon olduğu için üretken
  Aynı zamanda yazıda verilen nedenlerden dolayı ters etkili de
  Asıl marifet, hangi şeyi ciddiye alıp dikkat etmen gerektiğini bilmektir. Bunu öğrendiğimde size de söylerim

• Birinin AI'ya üretim ortamına doğrudan erişim vermesinden benim çıkarmam gereken ders ne?

  • LLM olayını biraz cömert yorumlarsak, üretim erişiminin erişim kontrolüne tabi olması ve yıkıcı işlemler için iki kişinin onayı gerekmesi gerektiği dersi çıkarılabilir
    Bir zamanlar hızla büyüyen bir şirkette çalıştım ve mühendislik uygulamalarının önemli bir kısmı 1000 kişilik çok uluslu bir şirketten ziyade garaj girişimine yakındı
    O dönemde üç şey doğruydu. Birincisi, servis dağıtımı bir dizüstü bilgisayardaki Git checkout dizinine cd yapıp <tool> deploy <service-name> komutunu çalıştırarak yapılıyordu ve o anda checkout edilmiş Git commit'i aynen dağıtılıyordu
    İkincisi, iş arkadaşlarına güvenme kültürü yüzünden dağıtım sistemindeki erişim kontrolleri asgari düzeydeydi. Bir dağıtım izni listesi vardı ve listedeyseniz istediğiniz servisi dağıtabiliyordunuz
    Üçüncüsü, ana Git deposu büyüktü ve ofis Wi‑Fi'ı kalabalıktı, bu yüzden clone işlemi uzun sürüyordu. Yeni işe başlayanlar daha hızlı başlasın diye dizüstü bilgisayar hazırlama imajına ana deponun bir Git checkout'u dahil edilmişti
    Sonra bir gün veritabanı ekibine yeni bir stajyer geldi ve Database Team 101 wiki eğitimini takip ederken dağıtım yetkisinin çalıştığını doğrulaması için önerilen <tool> deploy --prod <database> komutunu çalıştırdı
    Sonradan anlaşıldı ki dizüstü bilgisayar hazırlama imajı güncel değildi ve stajyer daha git pull origin master yapmayı öğreten onboarding dersine gelmemişti
    “LLM üretim ortamını bozdu” hikâyesi ile “stajyer üretim ortamını bozdu” hikâyesi birbirine benziyor ama ikincisinden ders çıkarmak daha kolay. Çünkü tek tek hatalar daha küçük

• Arıza analizi açısından bakıldığında, bozo bit'i açtıktan sonra öğrenmeyi bırakmak, bütün arıza ağacına bakılması gereken bir durumda tek bir katkı faktöründe, yani “insan hatası!” noktasında durmak demek
  Verilen örnekte arıza ağacındaki “LLM döngüsüne üretim erişimi verdiler” düğümü, okuyucunun “aptalı görmezden gel” sezgisini tetikliyor
  Ama kardeş düğüm olan “sistem API üzerinden doğrulanmamış silmeye izin verdi” kısmı değerli bir ders ve ilk göze çarpan düğümde durursan bunu kaçırabilirsin
  Ayrıca arıza ağacında, bu tehlikeli işlemin GUI'den kaldırılmış olmasına rağmen neden API'de kaldığını ve LLM'in neden üretim erişimi alabildiğini araştıran alt düğümler de olmalı

  • Öte yandan, bozo bir yerden gelen rapordan makul bir arıza ağacı yeniden kurma ihtimalinin daha düşük olup olmadığını sorabiliriz
    Beri yandan asıl soru, bozo koşulunda daha parlak görünen düğümlerin bunun içinde bulunup bulunmadığı da olabilir
    Bu düğümlerin yanlış tanımlanmış ve yanlış bağlanmış olması çok da önemli olmayabilir. Sonuçta benim ihtiyaç duyduğum şey onların geçmişteki başarısızlıkları için bir arıza ağacı değil, kendi gelecekteki başarısızlıklarımı önlemek için benim arıza ağacında neyi atladığımı görmek

• Bu yazı, sunduğu ana örnekteki bozo'ya bozo bit açmanın neden yanlış olduğunu açıklamayı dikkat çekici biçimde atlıyor
  Makale örneğine geçiyor ve kendi yazısının ana örneğini ele almıyor
  Bu yüzden yazar sanki başka bir bozo'yu sessizce geçiştirmeye çalışıyormuş gibi görünüyor

• Bir şey öğrendim: AI araçlarını kullanmamak