- Lisanne Bainbridge’in 1983 tarihli “The ironies of automation” makalesinin ikinci bölümü olan ‘Approaches to solutions’ odağında, yapay zeka tabanlı otomasyona uygulanabilecek içgörüler inceleniyor
- İnsanlar, AI agent’ların yürüttüğü işleri denetlerken, hızlı karar verme ve stresli durumlardaki bilişsel sınırlar endüstriyel kontrol sistemlerine benzer bir risk yapısı oluşturuyor
- Günümüzdeki LLM tabanlı agent UI/UX yapıları hata tespiti için uygun değil; bu alanda endüstriyel kontrol tasarım ilkelerinden öğrenmek gerekiyor
- Eğitimin ironisi nedeniyle, otomasyon ne kadar başarılı olursa insan denetçilerin sürekli ve maliyetli eğitimi o kadar zorunlu hale geliyor
- AI agent çağında, basit denetimin ötesinde ‘liderlik yetkinliği’ gerekiyor ve bu da yeni bir insan-makine iş birliği yapısına yol açıyor
Yapay zeka otomasyonu ve insan yargısının sınırları
- Endüstriyel kontrol sistemlerinde birkaç saniye içinde müdahale gerekebilirken, beyaz yaka iş otomasyonu daha az anlık risk taşısa da yine de hızlı yargı ve müdahale gerektiriyor
- Yapay zeka insanüstü hızda sonuç ürettiğinde, insanın bunu anlayıp doğrulayabilmesi için eşdeğer düzeyde bilişsel destek gerekiyor
- Şirketlerin verimlilik odaklı kültürü ve stresli ortamları, insanların analiz yeteneğini düşürerek hata tespitini daha da zorlaştırıyor
- Yapay zeka çıktılarındaki hatalar güvenlik olayları gibi ciddi sonuçlara yol açabileceğinden, endüstriyel kontroltekine benzer düzeyde bir izleme sistemi tasarımı gerekiyor
En kötü UI sorunu
- Bainbridge, “düşük olasılıklı olayların hızla fark edilmesi gereken durumlarda yapay destek gerekir” görüşünü ortaya koyuyor
- Bu, izleme yorgunluğu sorununu hafifletmek için uyarı sistemlerinin güçlendirilmesi gerektiği anlamına geliyor
- Günümüzdeki AI agent filo yönetimi yaklaşımı, insanların yüzlerce satırlık planı gözden geçirmesini gerektiren verimsiz bir arayüz sunuyor
- Hatalar seyrek görülse de ölümcül olabilir; bu yüzden hata tespiti odaklı bir UI/UX yeniden tasarımı gerekiyor
- Endüstriyel kontrol sistemlerindeki görsel ve alarm tasarımı ilkelerini uygulamak gerekiyor
Eğitimin ironisi
- Bainbridge, manuel becerilerin korunmasının önemini vurguluyor ve insanların sistemi düzenli olarak doğrudan kullanması gerektiğini belirtiyor
- Otomasyon seviyesi yükseldikçe, insanların uzmanlık kaybı daha hızlı ilerliyor
- Simülatör eğitimi, beklenmedik hata durumlarını yeniden üretmekte zorlanıyor; bu nedenle genel strateji odaklı eğitim gerekiyor
- “Talimatları izlemek üzere eğitilmiş bir insandan zeka beklemek ironiktir” ifadesinde olduğu gibi, yapay zeka denetçilerinin de istisnai durumlara yanıt verme yeteneğini sürekli olarak eğitmesi gerekiyor
- Otomasyon ne kadar başarılı olursa, insan eğitiminin maliyeti o kadar artıyor; buna yalnızca maliyet düşürme mantığıyla yanıt vermek mümkün değil
Liderlik ikilemi
- AI agent denetimi, basit bir gözetim değil; talimat verme, koordinasyon ve geri bildirim yoluyla bir liderlik rolü
- İnsanların doğrudan icra yerine dolaylı sonuç yönetimi yapması gerekiyor; bu da yeni bir çalışma biçimine geçiş anlamına geliyor
- Çoğu uygulayıcı, liderlik eğitimi olmadan agent yönetecek ve “prompt’ları daha iyi yaz” tavsiyesi tek başına yeterli olmayacak
- Yapay zeka liderliği eğitimi gerekiyor ve bu, mevcut insan liderliği eğitimine benzer bir yapıya sahip
- Gelecekte agent’lar yeterince gelişkin hale gelene kadar, denetçilerin liderlik yetkinliklerinin güçlendirilmesi zorunlu
Sonuç: otomasyonun gerçek ironisi
- Bainbridge’in sonucunda belirttiği gibi, zaman baskısı olmayan insan mükemmel bir problem çözücüdür; ancak baskı altında verim keskin biçimde düşer
- Otomasyon insanın yaşadığı zorlukları ortadan kaldırmaz; aksine daha yüksek teknik incelik ve insan yetkinliğine yatırım gerektirir
- 40 yıl önceki bu içgörüler AI agent çağında da hâlâ geçerli ve insan-makine iş birliğinin dengesini yeniden kurmak gerekiyor
- AI otomasyonundaki ilerleme, teknolojiden çok insan rolünün yeniden tasarlanmasına bağlı
1 yorum
Hacker News yorumları
Yazarın özetlediği 1983 tarihli Bainbridge makalesini gerçekten çok beğendim
Endüstriyel otomasyonun ‘ironisini’ AI ajanlarına uygulamaya çalışmıştım ama bunu bu kadar net ifade edememiştim
Makalenin kendisi kısa ama yoğun olduğu için okunması zor; orijinal PDF ile birlikte takip ederek okumaya değer
Özellikle “bugünün otomasyon sistemleri, geçmişteki manuel işçilerin becerileri üzerine kuruludur” cümlesi kilit nokta
Yani AI’ı iyi kullanmak için yetkin programcılara ihtiyaç var, ama o yetkinliği kazanmak için de bizzat programlama yapmak gerekiyor; bu da ilk ironiyi gösteriyor
İçgörüyle dolu bir yazı, güçlü şekilde tavsiye ederim
Sanat ve yazı gibi kültürel çıktılar özünde problem çözmekten çok bir ifade eylemidir
Ama AI bu verileri eğitimde kullanırken yaratıcıların emeğini ve gelirini ikame ediyor, aynı zamanda eğitim verisinin ‘ortak alanını’ da kirletiyor
Sonunda ya yaratıcıların maliyeti ödenmek zorunda kalacak ya da modeller giderek çağdaş kültürel gerçeklikten kopacak
Şu an sadece bunun sonuçlarının ortaya çıkmasını beklediğimiz döngüsel bir problem anındayız
Sonrasında da becerilerini korumak için zamanlarının belli bir kısmını ‘manuel projelere’ ayırmaları gerekir
Ama bunu yapınca gerçekten hız kazanıp dünyanın daha iyi bir yer olup olmayacağı konusunda şüphelerim var
LLM’ler etkileyici bir seviyeye ulaştı ama yeni soyutlamalar ya da paradigmalar üretmek yerine sadece iyi cilalanmış yan ürünler üretiyorlar
Bu yüzden insanlar yeni metodolojiler geliştirme ihtiyacını daha az hissediyor
Belki bir gün muhakeme odaklı LLM’ler bu sorunu çözer
AI otomasyonu insanın yaşadığı zorluğu ortadan kaldırmıyor, sadece başka bir yere taşıyor
Hatta onu daha az görünür hale getirip riski artırıyor
Sonunda insan devreye girse bile sonradan çok sayıda düzeltme gerekiyor
Geçmişin manuel operatörleri emekli oldu ve bugünün fabrika operatörlerinin manuel kullanım deneyimi yok
Bunun yerine ‘makine bozulduğunda ne yapılır’ bilgisine sahipler
Tamamen manuel çalıştırılamayan sistemler de çok ama fabrika otomasyonu hâlâ başarılı ve bu sayede ürünler ucuzlayıp bollaştı
Yazı, AI ajanı kullanımında ortaya çıkan iki sorunu ele alıyor
Birincisi, ajan hata yaptığında insan uzmanın hemen müdahale etmesi gerekiyor ama işi doğrudan yapmadığı için uzmanlık aşınması hızlanıyor
İkincisi, uzmanın ajan sisteminin yöneticisi haline gelmesi gerekiyor ama bu alışık olmadığı bir rol olduğu için işe yabancılaşma hissediyor
Sonuçta otomasyon verimliliği artırırken insan müdahalesini daha zor hale getiriyor; yani tam bir ikameden çok karmaşıklığı büyütüyor
Bir zamanlar Excel raporlarını PowerBI ile otomatikleştirmiştim ve aylarca sonuçlar yanlıştı
Otomatikleşince doğrulama içgüdüsü ortadan kayboldu ve hatanın izini sürmek çok daha zorlaştı
Bu yüzden otomasyon kurarken mutlaka doğrulama rutinleri bırakmak gerektiğini vurguluyorum
Dokunmatik ekran kuşağı cihazları sorunsuz kullanabiliyor ama bir şey ters gittiğinde eski kuşak çok daha avantajlı oluyor
AI’da da aynı durum var; kusursuz değilse sonuçta uzman müdahalesi gerekiyor
Sadece bu rol, araba tamircisi gibi daha seyrek ortaya çıkan bir şeye dönüşecek
Otomasyon ilerlese de insan becerisine hâlâ ihtiyaç vardı
AI çoğu zaman makul planlar çıkarıyor ama arada bir ölümcül hata içerdiğinde bunu yakalamak insanın işi oluyor
Sonra bunu örtmek için başka bir otomasyon geliyor, onun üstüne de bir yenisi kuruluyor
Bu döngüsel yapıya bakınca Marx’ın Kapital’ini yeniden okumak gerekiyor gibi
“Hesap makineleri hızlı ve doğrudur ama yine de matematiğin ilkelerini öğrenmemiz gerekir” fikrini hatırlatan bir yazıydı
Programlama otomasyonu, basit bir hesap makinesine göre çok daha kritik yolun üzerinde olduğu için beceri körelmesi riski de daha büyük
AI problemi kendi başına terk etmediği için uzmana duyulan ihtiyaç hep var
Asıl önemli olan hangi sayıların hesaplanması gerektiğini bilme yetisidir
Genç geliştiriciler temel rutinleri bile kendileri yazamıyor; C sürücülerini elleyecek insan da neredeyse kalmadı
İlginç bir yazı ama pratikte programcıların sadece AI’ın hatalarını yakalayan kişiler gibi görülmesi üzücü
Oysa zamanımın büyük kısmını hâlâ AI’ı programlamaya harcıyorum
AI neyin yapılması gerektiğini ya da mevcut şeylerin ne zaman değiştirilmesi gerektiğini bilmiyor
Sonuçta imalattan farklı olarak, programlamada hâlâ üretim hattını tasarlayan insan olmak zorunda
Havacılık sektörü bu otomasyon ironisiyle zaten uzun zamandır uğraşıyor
Otomatik pilot uçuşun büyük kısmını yapıyor ama pilotlar her ay manuel iniş eğitimi alıyor
Bu sayede hem becerileri korunuyor hem de otomasyonun avantajlarından yararlanılıyor
Buna karşılık yazılım sektöründe kısa vadeli üretkenlik öncelikli olduğundan böyle bir eğitim teşvik edilmiyor
Ben kişisel olarak manuel kod yazmaya devam etmeyi planlıyorum ama sektörün genelinin bunu yapması zor
Bu arada havacılıkta da bu sorun sürüyor — en bilinen örneklerden biri Air France 447 sefer sayılı uçuşun düşmesi
İlgili yazı: The Long Way Down – Air France Flight 447
Bainbridge makalesi de ilginç ama sonrasında gelen “Children of the Magenta” konuşması daha pratik
YouTube videosu pilotların otomasyon eğitimini ele alıyor
Modern savaş uçakları (F-22, F-35 vb.) uçağı kullanmaktan çok muharebe icrasına odaklanacak şekilde tasarlanıyor
Eskiden eğitimin büyük kısmı inişti ama artık bilgisayar desteğiyle bu iş dengelendiği için pilotlar stratejik yargıya odaklanıyor
Programlamada da benzer şekilde, AI geliştikçe insanlar taktiksel problem analizine daha fazla zaman ayıracak
AI kodlama yardımcılarını otomobillerdeki SAE otomasyon seviyeleri ile kıyaslamak anlamayı kolaylaştırıyor
Şu anda Level 2~3 civarındayız; yani insanın gözetimi ve sorumluluğu hâlâ gerekli
Tam otomasyona (Level 5) ulaşmadan önceki bu geçiş dönemi en riskli dönem
Sonunda rekabet baskısıyla herkes ya Level 4 ve üstüne çıkacak ya da geride kalacak
“Liderlik rolü üstlenmeden önce yeterince liderlik eğitimi alırız” sözü bana pek inandırıcı gelmiyor
Gerçekte böyle örnekler çok nadir
Ben de beceri körelmesi hissediyorum
İlk refleksimin LLM’e gitmek olması, tıpkı egzersiz ya da diyet gibi bilinçli özdenetim gerektiren bir döneme girdiğimizi düşündürüyor
Bu dengeyi iyi koruyabilenlerin sayısı az olacak
Bu özdenetim meselesinden çok, asgari anlayış çizgisini koruma meselesi
“Olmadıysa prompt’u daha iyi yazman gerekiyordur” cümlesi artık fazla tanıdık geliyor
Bu da tam olarak bugünkü AI kullanıcıya sorumluluk yıkma anlayışını gösteriyor