Yapay zekanın uyuşturduğu şey bir kişi değil, tüm organizasyondur: Havacılık ve sağlık sektörünün önce yaşadığı otomasyon ironisi

Yapay zekayı iyi kullanma becerisi ile onun çıktısını doğrulama becerisi farklı eksenlerdir; biri yükselirken
diğeri sessizce aşınır. Bu yazı, bu aşınmanın bireyde değil organizasyon düzeyinde
nasıl yayıldığını ve liderlerin buna yapıyla nasıl karşılık verebileceğini ele alıyor.

• Yapay zeka, düşük seviye emeği gizleyen bir soyutlama değil, o koltuğa oturan olasılıksal bir vekildir. React·ORM gibi mevcut soyutlamalarda gerekirse merdivenden aşağı inip nedenselliği doğrulayabiliyorduk; ancak yapay zekanın üzerinde aşağı inecek bir merdivenin kendisi yok.
• Temel kavram bilişsel sahipliktir; bu, "bu kodun neden tam da bu şekilde yazılması gerektiğini baştan sona mantıksal izlekle açıklayabilme durumu" anlamına gelir. Mesele kodun kimin elinden geçtiği değil, o nedenselliğin kimin zihninde olduğudur.
• Yapay zeka yetkinliği değil, ikna ediciliği standartlaştırır. Kod kalitesi dağılımının yalnızca taban noktası yükselmiştir; yetkinlik artmış değildir ve model iyileştikçe nedenselliğin boş olduğu gerçeği daha da görünmez hale gelir.
• Üretim maliyeti 0'a yaklaşırken doğrulama maliyeti aynı kalır. 1 saniyede üretilen kodu 1 saat doğrulayan kişinin organizasyon metriklerinde en yavaş kişi haline gelmesine yol açan ekonomik baskı yüzünden, eleştirel kabul yalnızca iradeyle sürdürülemez.
• Havacılık, nörobilim ve sağlık alanlarının daha önce geçtiği örneklere atıf yapılıyor: otomasyon ironisi (Bainbridge, 1983), Air France 447 seferi, GPS bağımlılarında hipokampus küçülmesi, mamografi CAD kullanımında duyarlılık düşüşü.
• Reçete bireysel kararlılık değil, takım yapısı olmalıdır. Sahipliğin verimsizliğini bir "ahlak" meselesi değil, bir "sigorta primi" olarak muhasebeleştirmeyi öneriyor.

Ayrıntılı özet

Yapay zeka bir soyutlama değil, bir vekildir

• Mevcut araçlar deterministikti (aynı girdi aynı çıktı) ve bu yüzden nedensellik takibi mümkündü. Yapay zeka ise olasılıksal bir vekildir; aynı istekte bile her seferinde farklı sonuçlar çıkabilir ve kod okunabilse bile "neden böyle yazıldığına" ulaşacak bir yol yoktur.
• Doğrudan yazdığım kodun nedenselliği zihnimde kalır; yapay zekanın yazdığı kodda ise yalnızca sonuç vardır, nedensellik zihinden geçmez. Bu durum, bilmediğiniz bir dilde hazırlanmış bir sözleşmeyi her seferinde imzalamaya benzetiliyor.

İkna ediciliğin standartlaşması

• Mülakatçı ve PR inceleyicisi olarak sahadaki gözlem: değişken adları temiz, yapı ikna edici görünür; ama içine bakınca yinelenen fonksiyonlar, belirsiz sorumluluk ayrımı ve yan etki yığınları ortaya çıkar.
• En dürüst kanıt, "Burayı neden böyle yaptınız?" sorusuna cevabın tıkandığı andır. Görünüşü sağlam ama nedenselliği eksik kodun en doğrudan sinyali budur.

Uyuşma organizasyon düzeyinde yayılır

• Eskiden yazar ve inceleyicinin iki katmanlı sahipliği sayesinde nedensellik dağınık biçimde korunurdu; ancak yazma da AI, inceleme de AI olduğunda PR içindeki nedensellik takımda kimsenin zihninde kalmayabilir.
• "AI review bot özetlesin, insan da göz gezdirip LGTM desin" yaklaşımı doğrulama gibi görünür ama yine nedensellikten yoksun bir başka çıktıdır. "Yazdığım kodu ben işletirim" ilkesi çöker.

Zevk yalnızca arıza içinde gelişir

• "Uygulamayı AI yapar, insan sadece zevk (taste) sahibi olur" söylemine itiraz ediliyor. Zevk, çok sayıda iyi kod okuyarak değil; yazdığım şeyin bozulup o anda nedenselliği iz sürerek anlamaya çalıştığım deneyimlerden büyür.
• Heidegger'in çekiç benzetmesine (arızalandığında aracın özü görünür olur) ve Aristoteles'in pratik bilgelik kavramına atıf yapılıyor. AI arızayı değil, "arızayı yaşama deneyimini" ortadan kaldırarak zevkin geliştiği demirhaneyi kapatır.

Çıraklığın koptuğu yer

• Önceki soyutlamalar nedenselliği yalnızca "sakladı", yok etmedi; bu yüzden merdiven yerinde duruyordu. Ancak yapay zekanın üzerinde bu merdiven kendiliğinden kurulmaz. Yetkinliğin gelişip gelişmeyeceğini bireysel irade değil, kişinin içinde bulunduğu yapı belirler.
• O merdiveni takım içinde yapay da olsa yeniden kurup kurmamaya karar veren kişi liderdir.

Reçete takımın yapısı olmalıdır

• "Nedenselliği açıklayamayan kod merge edilmez" kuralını inceleme sürecine yerleştirmek, LGTM'nin anlamını "bu kodu ben açıklayabilirim" şeklinde bir devir beyanına dönüştürmek, rastgele spot check

Kontrolleri devreye almak

• Tasarımı insanın elinde tutup yapay zekaya devretme yöntemini (kısıtlar ve edge case'ler dahil spesifikasyonlaştırma) takım yetkinliği olarak geliştirmek.
• Asla bırakılmayacak dayanak noktalarını (core domain) seçmek, verimsizliği kasıtlı bir öğrenme yoluna dönüştürmek, yalnızca hızı değil sahipliği de ölçmek; ancak Goodhart yasasına dikkat ederek bunu KPI değil yalnızca bir gösterge paneli olarak tutmak.

Liderin krizi: Doğrulayamadığı şeyi onaylayan kişi en sonunda ben olabilirim

• İki katmanlı dayanak ortadan kalktığında, liderin paslanması bireysel bir sorun değil organizasyonun varsayılan durumu haline gelir. Liderin koruması gereken şey her şeyi bizzat doğrulamak değil, takımın yazdığı nedenselliğin gerçek olup olmadığını ayırt etme yetisidir.
• Uyuşup uyuşmamak kontrol edilemese de, uyuşmanın yayılma hızı kontrol edilebilir. Amaç, "biraz daha uzun süre ayırt etme kapasitesini koruyan bir organizasyon olarak kalmak"tır.