- Deloitte, üretken yapay zeka kullanılarak hatalar içeren 440 bin dolarlık bir rapor sunduktan sonra, Avustralya hükümetine kısmi geri ödeme yapıyor
- Söz konusu rapor, sosyal yardım sisteminin uyumluluk çerçevesi ve BT sistemlerini inceleme amacıyla hazırlanmıştı; raporda çok sayıda hata ile uydurma alıntılar ve sahte kaynak atıfları tespit edildi
- Deloitte, rapor ekinde Azure OpenAI GPT–4o gibi büyük dil modellerini kullandığını belirtti, ancak hataların doğrudan nedeninin yapay zeka olduğunu kabul etmedi
- İşçi Partili bir senatör, danışmanlık şirketinin uzmanlığının yetersiz olduğunu söyleyerek yapay zekanın başlıca rol oynadığını eleştirdi
- Nihai raporda düzeltmeler yapılmasına rağmen ana içerik ve sonuçlar değişmedi, öneriler de korundu
Deloitte, Avustralya hükümetine yapay zeka kullanımı nedeniyle geri ödeme yapıyor
Olayın özeti
- Deloitte, 440 bin dolar değerindeki bir hükümet raporunun hazırlanmasında üretken yapay zeka kullandığını kabul ettikten sonra, hatalar ortaya çıkınca sözleşme bedelinin bir kısmını geri ödemeyi kabul etti
- Rapor, Avustralya İstihdam ve Çalışma İlişkileri Bakanlığı'nın (DEWR) talebiyle sosyal yardım yararlanıcılarının uyumluluğunu otomatikleştiren sistemin incelenmesi için hazırlanmıştı
- Raporda, çerçeve kuralları ile yürürlükteki hukuk arasında yetersiz bağlantı ve BT sistemindeki temel kusurlar dahil çeşitli sorunlara işaret edildi
Yapay zeka kullanımı ve sorunlar
- Rapor, 4 Temmuz’da ilk kez yayımlandıktan sonra çok sayıda hata ve var olmayan alıntı sorunu medya tarafından gündeme getirildi
- Sydney Üniversitesi'nden Dr. Christopher Rudge’a göre raporda, yapay zekada sık görülen "hallucination" (halüsinasyon) yani var olmayan kaynaklar üretme sorunu birçok yerde görüldü
- Örneğin, raporun yeni sürümünde bile sahte alıntıların daha da artması, bazı sonuçların gerçek dayanaklardan ziyade yapay zeka tarafından üretildiğini düşündürüyor
- Deloitte, güncellenmiş raporun ekine Azure OpenAI GPT–4o gibi büyük dil modellerinin kullanıldığı bilgisini ekledi
- Bunun, DEWR’nin Azure ortamında lisanslı olarak çalışan bir araç zinciri üzerinden yapıldığı belirtildi
- Ancak ilk rapordaki sorunların doğrudan nedeninin yapay zeka olduğunu kabul etmedi
Tepkiler ve sonraki adımlar
- İşçi Partili Senatör Deborah O’Neill, "Deloitte’un insan uzmanlığı eksikliği yaşadığı söylenebilir ve kısmi geri ödeme kötü iş için yetersiz bir özür" diyerek eleştirdi
- Hükümet ve işi veren kurum tarafında, gerçek uzmanların devreye girdiğinin ve yapay zekanın etkisiz olduğunun kanıtlanması gerektiği savunuldu
- Ayrıca, "danışmanlık şirketi yerine ChatGPT aboneliği almak daha iyi olurdu" diyerek eleştirel bir görüş dile getirdi
- Basın incelemelerine göre raporda, var olmayan üniversite araştırma raporlarına atıf yapılması ve mahkeme kararlarının gerçeğe aykırı biçimde özetlenmesi gibi somut yanlış içerikler yer aldı
- Örnekler arasında University of Sydney, Lund University öğretim üyelerinin makaleleri ve Robodebt davası (Deanna Amato v Commonwealth) kararına ilişkin sahte özetler bulunuyor
Resmî tutum ve etkileri
- Deloitte, sorunu DEWR ile doğrudan çözdüğünü ve güncellenmiş rapordaki sonuçlar ile önerilerde değişiklik olmadığını vurguladı
- DEWR de yalnızca bazı yetersiz dipnot ve alıntıların düzeltildiğini, genel öneriler ile ana içeriğin korunduğunu açıkladı
- Bazı uzmanlar, raporun genel sonuçlarının mevcut kanıtlarla uyumlu olduğunu belirtse de raporun güvenilirliği konusunda soru işaretleri doğduğunu ifade etti
Çıkarımlar
- Bu olay, danışmanlık sektöründe üretken yapay zeka kullanımına ilişkin şeffaflık ve uzmanlık güvencesi talebini toplumsal olarak öne çıkaran bir örnek oldu
- İşi veren kurumlar, yapay zeka kullanılıp kullanılmadığı ve uzmanlığın isim bazında doğrulanması süreçlerini güçlendirme ihtiyacını daha net görmüş oldu
1 yorum
Hacker News yorumu
Biraz daha bağlam eklemek gerekirse, bu rapor devlet yardımı alan kişilerin iş arama şartlarını karşılamadıkları iddiasıyla hayatlarını mahvedecek ölçüde hatalı para cezaları kesen sorunlu bir BT sistemiyle ilgili. Cezalar doğrudan borç hükmü şeklinde uygulanıyordu; bu yüzden borç tahsilat görevlileri gerçekten insanların evine gidip eşyalarını alıyordu. Hatta sistemdeki ciddi kusurlar nedeniyle, hiç devlet yardımı almamış kişilere bile yanlışlıkla ceza kesildi. Böyle bir durumda Deloitte gibi bir danışmanlık şirketine 440 bin dolar verilip rapor hazırlandı; onlar da yapay zeka kullanarak raporu oluşturdu ve üstüne daha fazla hata bıraktı. Eğer Deloitte'a sistemi kurma işi de verilseydi, Royal Mail ve Fujitsu vakasının bir benzerinin yeniden yaşanacağından endişe ediliyor
Bu tür yapay zeka istismarının gerçek bir ölüm kalım meselesine dönüşmesinden kaygı duyuluyor. Deloitte çalışanlarının cahil ya da isteksiz olmasından değil, yalnızca paranın peşinden koşan bir yapı olmalarından söz ediliyor; yapay zekayı kullanıp şartları kabaca karşılayarak bir sonraki sözleşmeye geçme tavrı sergiliyorlar. Sonuç olarak birçok insanın hayatı mahvolabilir, hatta bu durum intihara kadar varabilir. Bu sadece belge manipülasyonu değil; silahlı insanların gerçekten birilerinin kapısına dayanmasına yol açan bir mesele
Hayal etmeye bile gerek yok; böyle sorunlar zaten yaşandı. Deloitte Rhode Island veri ihlali olayına bakın
Deloitte üzerinden gitmek bile zahmetliyse, doğrudan OpenAI'a vermek gerektiğini söyleyen bir görüş var
En başından beri sorunlu olmasının nedeni, büyük olasılıkla ilk sistem kurulurken de Deloitte'ın kullanılmış olması
Danışmanlık/outsourcing sorunlarından söz açılmışken, A takımından B takımına geçiş meselesinden de bahsetmek istiyorum. Başta yetenekli görünen kişiler görüşmelere gelip sözleşmeyi alıyor, ama anlaşma imzalanınca o kişiler başka satış sahalarına gidiyor; sahneye bu kez B takımı hatta C takımı çıkıyor
Benim deneyimimde, büyük hizmet sözleşmelerinde A takımı başta bizi ikna edip anlaşmayı kapatıyor, fakat asıl işi yapanlar B takımı oluyor. Bizim ilgimiz azaldığında bu kez Z takımına kadar düşüyor. Kalite için para kısmayacağımızı, ömür boyu daha fazla ödeyebileceğimizi söylememize rağmen, sonunda açgözlülük edip sözleşmenin tamamını kaybediyorlardı
Takım ölçeği daha da büyüdükçe, A seviye biri 100 takımı dolaşıp müşteri öfkelendiğinde kısa süreliğine ortaya çıkıyor, ortamı yatıştırıp tekrar kayboluyor. Geri kalanların hepsi ya junior seviyede ya da artık yapay zekayla çalıştıkları için daha da az uzman. Müşterim 500 bin dolar verip bir projeyi teslim ettiğini ve aylar boyunca 15 kişiye ödeme yaptığını sanıyordu; ancak Zoom toplantısında yapılan görüşmede bu 15 kişiden yalnızca 1'inin projeden haberdar olduğu ortaya çıktı. O tek kişi de başta işe alınan teknik liderdi ve projeye ancak part-time katılabiliyordu. Kod kalitesine bakılırsa, kalan yaklaşık 5 kişi
codexya daclaudeile kod yapıştırıyor, sözde bir QA'den geçirip hemen prod'a alıyordu. Bu tür şeyler yapay zekadan önce de yaşanıyordu; fark sadece eskiden gerçekten 15 junior'un rastgele kod yazıyor olmasıydıBu hikâye zamanı çok iyi yakalayan bir şaka gibi; Dilbert çizgi romanına bakın
Oyunun tamamı bu. Partnerle görüşüyorsun, sonra karşına junior'ları getiriyorlar ve sen yine de partner seviyesinde ücret ödüyorsun. Şansın kötüyse junior'ları bizzat sen eğitmek zorunda kalıyorsun
Biraz olumlu bakarsak, danışmanlık/outsourcing kullanılmasının nedenlerinden biri, kurum içi ekibin kaldıramayacağı tek seferlik büyük projeler. Bir sürü freelancer'ı ayrı ayrı işe alıp takım kurmaktansa, zaten kurulmuş bir dış ekibi kısa süreli kullanmak daha verimli olabiliyor. Gerçekte danışmanlık şirketleri de bazen insanları dışarıdan toplayıp onları sanki oturmuş bir takım gibi sunuyor
Danışmanlığın nasıl ve neden işe yaradığını açıklayabilecek biri var mı diye merak ediyorum. Gerçekten sadece “öneri” veren bir birey olsa başarısız sayılırdı; ama bunu şirket biçimine sokunca şirketler ve devletler sıraya girip tavsiye istiyor. Oysa şirket içindeki çalışanlar, dış danışmanlardan çok daha iyi bilir. Sunum ve Google araması yapan dışarıdaki biri neden daha fazla güven görüyor ve para kazanıyor, anlamıyorum
Aslında, sorumluluk almak istemedikleri kötü bir fikri dayatmak istediklerinde danışman tutuluyor ve istenen cümle çıkana kadar süreç tekrarlanıyor. Danışmanlığın kalitesi önemli değil; stajyer ya da yapay zekayla bile yapılabilir. Sonuç kötü olursa suçu danışmana atabiliyorsun. İç çalışanlar şirketin yararına öneri sunduğu için, onların sesi kişisel çıkar uğruna bastırılıyor ya da görmezden geliniyor. Sorun ortaya çıktığında da ilgili kişi çoktan başka işe geçmiş ve özgeçmişine bir satır daha eklemiş oluyor
Gerçekte içeride hiçbir uzmanlığı olmayan büyük şirket sayısı şaşırtıcı derecede fazla. Üstelik bir kişinin uzmanmış gibi davranıp kendisinden daha iyilerinin işe alınmasını engellediği durumlar da çok yaygın. İyi danışmanlar ne yapılması gerektiğini kanıtlarıyla anlatır ve gerekirse proje bazında uygulamaya da yardım eder. Gerçekten iyi BT danışmanları, ülkede çok az kişinin sahip olduğu çeşitli beceri setlerine sahip olabilir; bunları tam zamanlı işe almak pahalıdır ama ayda birkaç saat dış kaynak olarak kullanmak kesinlikle değerlidir. Buna karşılık büyük danışmanlık şirketleri yalnızca satışa odaklanır ve karar vericilere VIP muamelesi yapar. Seyahat, içki, eğlence gibi perde arkası unsurlar da işler. Geçmişte bir projede danışmanlık yaparken, müşteri önünde alakasız bir danışmanın Dynamics CRM ve Sharepoint satış söylemini açıkça çürüttüğüm olmuştu
Danışmanlık sadece “tavsiye” değildir. Yazılımın gerçekten hayata geçirilmesi gibi çok sayıda operasyonel işi de kapsar. Büyük şirketler özellikle “hukuki teminat” ister. Proje batarsa kimi dava edecekleri net olmalıdır. Ortaya çıkan işin “kalitesi”, bu hukuki güvenceye kıyasla ikincil kalır. Danışmanlık şirketinin rolü de budur. Çok sayıda insanları vardır, çok sayıda yeni mezunları vardır. Kalite yetersizse çözüm olarak daha çok insanı işe yüklerler ya da fazla mesaiyi zorlarlar. Bu yapı yüzünden bazen “meatfarm” diye anılırlar. Kolay kolay da batmazlar. Yazılım geliştirme işi de çok katmanlı taşeronluk ya da yurtdışı outsourcing ile ilerler; her aşamada komisyon kesilir. İşin kendisi zordur, sıkıcıdır ve çok sayıda angarya içerir. Sözleşmeler de neredeyse bir roman kadar ayrıntılı olur. Accenture'da junior iken yaşadığım bir örnekte, sıradan bir web sitesinde scrollbar rengini değiştirme işi, Hindistan'daki bir çalışanın 10 satır kodla yapacağı bir şey olmasına rağmen 3000 euro olarak fiyatlanmıştı. Sonrasında iş değiştirdim
Teoride, sıra dışı problem çözme yeteneği ya da belirli alanlarda özel deneyimi olan kişiler de var. Bu insanları bir şirkette toplayıp premium fiyattan satmak mümkün. Tüm danışmanlık şirketlerinde gerçek yetenek yok diye genellemek hata olur. Sadece “yönetim danışmanlığı” yok; teknik danışmanlık, güvenlik gibi gerçek uzmanlık gerektiren alanlar da var. İçeride çözülemeyen ya da içeride çözülmeye çalışırken sorun çıkaran durumları ben de sık gördüm. İyi danışmanlar, kurum içindeki çalışanların saklı içgörülerini de olabildiğince çıkarıp çözümde kullanır. Gereksinim toplama ve yöneticilerle iletişim gibi, yazılım mühendisliğiyle örtüşen beceriler burada da önemlidir
Sahada gördüğüm danışmanlık kullanım örnekleri şöyle
Devlet gibi kurumlar çoğu zaman şirket içi mühendislerin görüşlerini görmezden gelir, sonra da aynı sonuca ulaşmak için dış danışmanlığa milyonlar harcar ya da sadece “çözüm için bir şeyler yapıyoruz” görüntüsü vermek amacıyla bunu kullanır. Bazen yöneticiler kurum içi ekibe güvenmez ya da ekibi asli işlerinden koparmadan hızlı sonuç almak ister. Bazı durumlarda ise bunun motivasyonu anlamsız performans gösterisi, hatta yönlendirme komisyonu veya arka kapı ilişkileri olabilir
Kurum içindeki kişiler hem sorunun tarafı hem de yargıcı olabilir; bu yüzden bazen dış danışman kullanmak mutlaka kötü bir seçim değildir. Bağımsız ve yer yer yanlış anlaşılabilecek olsa bile, çıkar ilişkisi olmayan bir bakış faydalı olabilir
Danışmanlığın hukuki ve performans sorumluluğunu dağıtmak için kullanıldığı önemli rol gözden kaçırılıyor
Bu bir tür “due diligence theater”. Özellikle yöneticiler, rakip şirketteki mühendislerin ne önereceğini bilmek istiyor; danışmanlar da bu tür en iyi tavsiyeyi vekâleten sunan bir rol üstlenmeye çalışıyor
Bunu kısaca “decision laundering” diye özetleyebiliriz. İçeride zaten verilmiş bir karara güvenilirlik eklemek istediklerinde dış danışman kullanılıyor. CEO'lar bile bunu özel sohbetlerde kabul ediyor
İşler ters giderse, direktör “Biz Deloitte'ın tavsiyesini izledik” diyerek sorumluluktan kaçabilir. “IT'den Bob öyle demişti” demekten çok daha güçlü bir kurşun geçirmez yelek işlevi görüyor
MBA çıkışlıyım; neredeyse danışmanlık sektörüne girecektim ama sonra fikrimi değiştirip yazılım mühendisi oldum. Danışmanlık projelerinin gerçek müşterisi pratikte “yöneticiler”dir
Bir keresinde bana “Elon olsa ne yapardı?” türü bir asistan tanıtılmıştı. Yöneticiler, rakiplerin ya da varsayımsal rakiplerin aynı bilgiler altında nasıl karar vereceğini merak ediyor. Aynı zamanda aracılık yapan danışman yardımcısının değerlendirmesini de duymak istiyorlar
Bu sektör ve bölgeye göre çok değişir. Çalıştığım büyük şirketlerden bazılarında danışmanlığın müşterisi yönetici değil, ondan birkaç kademe aşağıdaki orta kademe yönetici olmuştu
Hafif araştırma + karşınızdakinin duymak istediği şeyi söylemek işin özeti. Bu açıdan bakınca yapay zeka, danışmanlık pazarını altüst etmek için gerçekten fırsat sunuyor
Bu süreçte “client” ile “customer” ayrımı da önemli
Avustralya hükümetini kandırıp vergileri yanlış harcasan bile sonuç kısmi geri ödeme oluyor
Craig Wright örneği var; meşhur Satoshi taklitçisi. Bitcoin dolandırıcılığından önce de milyonlarca dolarlık KDV ve Ar-Ge vergi iadesi dolandırıcılığı yaptı, onlarca milyon dolarlık daha büyük dolandırıcılık girişiminde yakalanınca Avustralya'dan kaçtı, bir kısmını geri ödedi ve kalan kısım için ceza almadan yurt dışında gayet rahat yaşamaya devam etti
Aslında sistem neredeyse bunu teşvik ediyor. Diyelim 10 kişiden 1'i dolandırıcılık yapıyor; bu durumda tam geri tahsilat pratikte mümkün olmuyor. “Maliyet + zarar” tahsil edilip dosya kapanıyor. Eğer tam geri ödeme temel ilke olsaydı, sözleşmeler yapılan işten daha uzun olurdu
Bu olay özünde bir yapay zeka meselesi değil; rapor hazırlama sürecinin denetlenememesi daha büyük sorun. Dış danışmanlığın rolü, araştırma sonuçlarının kamu denetimine dayanmasını sağlamaktır ve burada buna tamamen başarısız oldular. Asıl şok edici olan, bu kadar kötü performansa rağmen yalnızca kısmi geri ödeme alınması ve mevcut ya da gelecekteki sözleşmelerin genel bir yeniden değerlendirmesinin yapılmaması. Rapordaki hataların sebebi yapay zeka da olsa, uykusuz bir danışman da olsa, sonuç açısından fark etmemeli
CEO'lar GenAI'ın insanları ikame edeceğini sanıyor, ama gerçekte müşteriler de GenAI ile üretilen çıktılar için çok daha az ödeme yapmak istiyor. Böyle olunca maliyet tasarrufu da buharlaşıyor. Sonuç: daha düşük kâr marjı, daha kötü kalite ve daha düşük fiyatlardan oluşan bir kısır döngü
Şunu da eklemek gerekir: Müşteri aslında “sorumluluk alıp işi tamamlayan bir insana” ödeme yapar. Yapay zekanın sorumluluk alma kapasitesi olmadığı için, bu tür raporlar gibi işlere para harcamaya değmez
Bununla bağlantılı olarak, post-AI çağında başarı; aynı sayıda insanla, hatta gerekirse daha fazla insanla daha fazla çıktı üretmekten geçiyor. Yapay zeka sayesinde otomasyon sıradanlaşıyor ve işin birim değeri düşüyor; sadece çalışan sayısını azaltarak ayakta kalmaya çalışmak bir hayatta kalma stratejisi değil. Asıl yapılması gereken, daha önce mümkün olmayan “ölçek ve kalite” seviyesini yeni taban çizgisi haline getirmek
“Bir hizmetin değerini sıfıra yaklaştırırken aynı anda yeni değer yaratabilirsin” düşüncesi de buna benziyor
Bu rapor, işsizlerin iş arama faaliyetlerinde başarısız olursa yardımlarını kaybetmelerine yol açan bir politikayla ilgiliydi — yani tam da yapay zeka yüzünden işini kaybetmesinden endişe edilen gruba dair bir mesele
Müşteri açısından bakınca, GenAI ile üretilen çıktılar daha ucuza kullanılabiliyorsa bu aslında gelir büyümesi için fırsat değil mi? Deloitte tartışması ayrı, ama GenAI iyi kullanılırsa gerçekten daha iyi sonuçlar da alınabilir
Uzun yıllar danışmanlık şirketlerinde çalıştım; birçok kişinin danışmanlığın ne olduğuna dair tam bir fikri olmadığını düşünüyorum. Elbette kötü niyetli örnekler de var, ama danışmanlığın sağladığı fayda ve değer gerçekte büyük. Hâlâ piyasada varlığını sürdürmesi ve her yıl milyarlarca dolar kazanması da bunu gösteriyor
Ekonomik ölçeğine kıyasla topluma bu kadar az değer üreten, Big 4 dışında başka bir organizasyon var mı diye soruluyor