Normal yazılımda doğru ama yapay zekada yanlış olan inançlar

• Birçok insan normal yazılım ile yapay zeka arasındaki farkı yanlış anlıyor
• Genel kamuoyu, AI risklerini geleneksel yazılımdaki “bug” kavramıyla karıştırma eğiliminde ve bu da sorun çözme yöntemlerine dair yanlış bir güven yaratıyor
• AI hataları koddan değil, eğitim verisinden kaynaklanır ve bu verinin devasa ölçeği nedeniyle hangi verinin soruna yol açtığını insanlar tespit edemez
• Geleneksel yazılımdaki gibi bug bulup “düzeltmek” veya “yeniden üretmek” mümkün değildir; AI davranışı deterministik değildir ve girdideki küçük değişikliklerde bile sonuçlar değişebilir
• Spesifikasyon temelli geliştirme neredeyse imkansızdır ve AI’nin yetenekleri ya da riskleri önceden öngörülemez; bazen amaçlanmamış gizli işlevler sonradan keşfedilir
• Bu nedenle “bir sorun çıkarsa düzeltiriz” şeklindeki mevcut BT düşünce tarzı, AI güvenliği tartışmalarında ölümcül bir yanılgı haline gelir

---

Genel yazılım bilgisine dair sınırlar

• Birçok kişi ve yönetici, bilgisayar yazılımı riskleri konusunda "sorunlu kod (bug) düzeltilebilir" inancına sahip
• Yazılım sektörü uzun süre boyunca, kod bug’larının gerçek dünyada zarara yol açabileceği gerçeğini başarıyla yerleştirdi
• Genel yazılımda bug’lar vardır ama ne kadar karmaşık olsalar da düzeltilebilir bir alandadır
• Ancak bu yaklaşım ve düşünme biçimi AI için geçerli değildir; bu da kafa karışıklığına ve yanlış anlamalara yol açar

Uzmanlarla uzman olmayanlar arasındaki algı farkı

• Normal yazılım ile AI yazılımı, çalışma biçimi ve sorunların ortaya çıkış şekli açısından özünde farklıdır
• Uzmanlar bu farkı fazla doğal karşıladığı için açıklamaz; yeni başlayanlar ise bu farkı kendi başlarına kavrayamaz
• Her iki taraf da birbirleriyle iletişim kurmakta zorlanır

Genel yazılıma ait inançların AI’ye yanlış uygulanması

• 1. Yazılım açıkları kodlama hatalarından doğar

  • Genel yazılımdaki bug’lar çoğunlukla kod yazım hatalarından kaynaklanır
  • Ancak AI’de açıklar veya öngörülemezlik neredeyse tamamen eğitim verisinden kaynaklanır
  • Örneğin FineWeb veri kümesi gibi milyarlarca kelimelik verinin tamamını insanların kavraması imkansızdır
  • AI’nin öğrendiği verinin büyüklüğü nedeniyle neyi öğrendiğini tamamen anlamak zordur ve risk unsurlarını belirlemek neredeyse imkansızdır

• 2. Kodu analiz ederek bug bulunabilir

  • Geleneksel yazılımda kodu analiz ederek bug’ın nedenini mantıksal olarak izlemek mümkündür
  • AI’deki sorunlar eğitim verisinin bileşik etkileriyle ortaya çıktığı için, nedenini veride bulmak pratikte imkansızdır
  • Araştırmacılar genelde AI’yi yeniden eğiterek veya veri ekleyerek sorunu hafifletmeye çalışır; ancak mantıksal iz sürmeyle doğrudan nedeni ortaya koymak zordur
  • AI bug’larının nedeni hatta geliştiricilerin kendileri tarafından bile tam olarak bilinmez

• 3. Bir bug düzeltilirse bir daha ortaya çıkmaz

  • Yazılımda bulunan bir bug düzeltildiğinde, aynı bug tam olarak aynı biçimde yeniden üretilmez
  • Ancak AI’de bir “bug” düzeltildikten sonra bile test edilmemiş girdilerde aynı problemli davranış yeniden ortaya çıkabilir
  • AI’nin anormal davranışının tamamen ortadan kalktığından emin olunamaz

• 4. Aynı girdi her zaman aynı sonucu verir

  • Genel yazılım aynı girdiye her zaman aynı çıktıyı verir
  • AI teknik olarak benzer olsa da, son derece küçük girdi değişikliklerinde (noktalama işaretleri gibi) bile sonuç tamamen değişebilir
  • Nitekim çeşitli büyük AI şirketleri, aynı prompt için bile biraz farklı çıktılar üretecek şekilde sistemlerini tasarlar; böylece daha az mekanik görünür

• 5. Net gereksinimler verilirse bu gereksinimler karşılanabilir

  • Genel yazılımda açık spesifikasyonlar ve gereksinimler tanımlandığında bunları karşılamanın bir yolu vardır
  • Ancak AI’de tasarımcının istediği genel davranışı açık biçimde kontrol etmek veya garanti etmek mümkün değildir
  • Sınırlı alanlarda (ör. İngilizce konuşmak, kod yazmak vb.) bir ölçüde açık kontrol mümkündür; ancak tüm davranışlar için (ör. suçu teşvik etmeme vb.) garanti sağlamanın bir yolu yoktur
  • AI hizmeti yayımlandıktan sonra, geliştiricilerin bile bilmediği gizli yetenekler veya riskler tesadüfen keşfedilebilir
  • AI güvenliğini tamamen garanti etmek ve öngörmek mümkün değildir

İleriye dönük yön

• Yanlış genellenmiş yazılım bilgisi, AI’ye duyulan güveni ve risk değerlendirmesini çarpıtıyor
• AI’nin çalışma biçimini, sınırlarını ve genel yazılımdan farklarını iş arkadaşlarıyla geniş ölçekte paylaşmak önemlidir
• Pek bilinmeyen AI’ye özgü yapısal farkları anlatmak ve basit bir "bug yaması" yaklaşımının işe yaramadığını aktarmak gerekir

Uzmanlarla yeni başlayanlar arasındaki anlayış boşluğu

• Eğer bu yazı sayesinde AI ile genel yazılım arasındaki temel farkı ilk kez öğrendiyseniz, içeriği tanıdıklarınızla paylaşmanız istenir
• Bu farkı zaten biliyorsanız, genel kullanıcılar veya uzman olmayanlarla bir kez konuşmanız faydalı olur
• Gerçekte bu ikisinin özünde farklı olduğunu bilen kişi sayısı çok fazla değil

[GN⁺]

Hacker News görüşü

• LLM'leri gerçekten düzgün şekilde kullanmanın ne kadar zor olduğunu görmek istiyorsanız Apple örneğine bakmak iyi olur. Apple, 1 yıl önce Apple Intelligence adında büyük bir duyuru yaptı ve LLM tabanlı ajan iş akışlarını öne çıkardı, ama o zamandan beri yalnızca emoji üretimi, bildirim özeti ve belge düzeltme gibi birkaç ufak araç eklendi. Hatta bildirim özeti özelliği bile bir süre tam anlamıyla ‘kontrolden çıkmış’ durumdaydı ve geri çekilmek zorunda kaldı ilgili haber. Bu yılki iPhone etkinliğinde de AI pazarlamasını ciddi biçimde azalttılar. Apple yönetimi, LLM'leri Apple'a özgü kalite ve kontrol düzeyinde hayata geçirmenin ne kadar zor olduğunu muhtemelen hafife aldı

  • Acaba Apple, Liquid Glass'ı AI ile mi tasarladı diye düşündüm. İlk gördüğümde etkileyici görünmüştü ama pratikte kullanılamaz bir deneyimdi
  • Bildirim ve e-posta özetleme özellikleri gerçekten işe yaramazdı. Önemli kısımları bizzat hızlıca gözden geçirmenin aslında daha kolay bir iş olduğunu hissettim
  • Apple artık MCP'yi kullanarak Apple Events entegrasyonuna odaklanan bir strateji izliyor ilgili bağlantı
  • LLM'lerin bu zorluklarını hafife alan yalnızca Apple değil; bu tüm sektör için geçerli bir durum. Amodei gibi liderlerin her sürümde insan seviyesinde biliş vaat etmesinin etkisiyle yöneticilerin AI beklentileri aşırı şişmiş durumda. Ama pratikte kodlama asistanları ve chatbotlar dışında, AI'nın akıllı telefon ya da işletim sistemi gibi yüksek cilalı ekosistemlerde gerçekten dönüştürücü bir etki yarattığı bir örnek bulmak hâlâ zor
  • İşin ironik tarafı, benim Siri'den gerçekten istediğim şey sadece ChatGPT düzeyinde doğal konuşma yeteneği. GPT ile yaptığım konuşmaların neredeyse %90'ı işe yarıyor, ama Siri 1) ya hiç tepki vermiyor, 2) yanlış anlıyor ya da 3) anlayıp yine de konuşmayı reddediyor. Bu deneyim gerçekten hayal kırıklığı yaratıyor

• Şu cümle özellikle çok isabetli geldi:

  while it’s possible to demonstrate the safety of an AI for a specific test suite or a known threat, it’s impossible for AI creators to definitively say their AI will never act maliciously or dangerously for any prompt it could be given

  MCP gibi yaklaşımlar uygulandığında bu risk olasılığı katlanarak artıyor MCP bağlantısı

• Bence en büyük ön koşul eksik kalmış. Normal yazılımda da her zaman böyle olmasa da, AI'da özellikle daha önemli olan şu ölçüt: “aynı girdi aynı çıktıyı vermeli.” Otomasyon süreçlerinde güvenilirlik için bu şart

• Sık sık AI hatalarının veri sorunlarından kaynaklandığı söyleniyor ama bu tamamen doğru değil. LLM mimarisi ya da eğitim verisi sorunlu görünmese bile, LLM'ler temelde deterministik olmadığı için algoritmik tasarım gereği aynı soruya her zaman aynı yanıtı vermiyor. Senaryoya göre sonuçlar her seferinde zar atılmış gibi değişebiliyor

  • Bu her zaman sorun değil. Programlama ve matematik problemlerinde de birden fazla doğru cevap olabilir. Sorun şu ki LLM'lerde doğruluğu garanti eden bir süreç yok; onun yerine sezgisel olarak ‘doğruymuş gibi’ görünen cevaplar üretiyorlar. Bu yüzden mantıksal akıl yürütme gerektiren noktalarda LLM'ler çok sayıda yazılım hatası ve yanlış üretmeye yol açıyor

• “Sonunda zamanla tüm bug'lar düzelecek ve AI'nın güvenilirliği artacak” iddiası bana açıkçası daha doğru geliyor. Bu teknolojinin kendisi tamamen yeni ve HN'de sık görülen “deterministik değilse çöp” anlayışı da, son 2 yılda LLM güvenilirliğinin 10 kat arttığını düşününce, fazla sert kalıyor

  • Performansın kesinlikle iyileştiği doğru, ama bundan sonra büyüme eğrisinin logaritmik olacağını düşünüyorum. Önümüzdeki birkaç yıl hızlı gelişme olur, sonra giderek yavaşlar ve bir noktada bugünkü örüntü eşleme temelli ML'nin sınırlarına ulaşır. Ve o sınırın da yazılım şirketlerinde programcıların tamamen yerini alacak kadar yüksek olmayacağını düşünüyorum
  • AI'daki ‘amaç uyumsuzluğu’ ve güç arayışı sorunları, yalnızca PR ya da unit test ile çözülebilecek türden bug'lar değil
  • İşin ironik tarafı, Hacker News'teki teknik olarak çok yetkin insanlar bile “nasıl olsa sonunda bütün bug'lar düzelir” iyimserliğini tekrar tekrar dile getiriyor. Bu tavrı topluluğun her yerinde görmek mümkün
  • İnsanların da eskisine göre daha güvenilir hâle gelip gelmediğini düşününce, arada çok büyük bir fark olmadığını hissediyorum. Elbette LLM bir insan değil ama AGI insan gibi davranabilir

• “AI sistemlerinin tüm yanlış davranışları eğitim verisinden kaynaklanır” fikrine karşı biraz daha temkinli olmak gerek. Veri ve eğitim süreci kusursuz olsa bile, AI modelleri hata yapmaya devam edecek şekilde yapılandırılmış olabilir

• “AI bug'ları”nın tam olarak hangi durumlarda ortaya çıktığı biraz daha net anlatılsa iyi olurdu. LLM'lere gerçek zamanlı, gözetimsiz karar verme görevi verilmemesi gerektiği görüşüne katılıyorum. Örneğin, bir kentin trafik ışıklarını kontrol etme işini AI'ya bırakmak için henüz erken olduğunu düşünüyorum. Ama mühendis açısından bakınca AI bug meselesi çoğunlukla ‘kodlama ajanları’ bağlamında tartışılıyor ve bu alanların neredeyse hepsinde zaten insan gözetimi olduğu için bu endişeler doğrudan aynı şekilde uygulanmıyor

• “AI bazen şaşırtıcı derecede iyi çalışır, bazen de hayal kırıklığı yaratır; bunu test etmeden asla bilemezsiniz” fikrini insanlara anlatmak önemli. Ancak tüm durumları test etmek imkânsız. Bunu anlayan müşteriler test kapsamı ya da kontrol alanı talep edecek, sağlayıcılar da doğrulanabilir ortamlar olan kod yazımı gibi alanlara ya da hassasiyetin çok önemli olmadığı metin ve meme üretimi gibi işlere yönelecek. AI yanlısıysanız bu kısmı derinlemesine anlamak gerçekten değerli bir avantaj. Öte yandan insanlar AI'nın bug'larıyla, spesifikasyonlarıyla ya da klasik programlama modelini bozmasıyla pek ilgilenmiyor; ama AI seçimleri etkilemeye ya da kitlesel işten çıkarmalara yol açarsa muazzam bir düşmanlık ve düzenleme talebi doğar. Böyle bir şey olursa sektör, yıllardır geliştirdiği sorumluluktan kaçınma ve düzenlemeden sakınma yöntemleriyle—sorumluluk reddi, kapsam dışı bırakma maddeleri, tahkim hükümleri vb.—dayanmaya çalışacaktır. Sonunda da birkaç tesadüfi büyük kazanın ardından gelen tepki, sektörün büyümesini ve nesiller arası yatırım akışını bile riske atabilir diye düşünüyorum

• AI konusunda gerçekten tehlikeli olan şey ‘gücün yoğunlaşması’. İnsan benzeri duygulara sahip bir AI'nın bizi Matrix'teki piller gibi kullanacağından korkmaktan daha gerçekçi bir endişe bu

  • Aslında CEO'ların ve yöneticilerin bizi zaten Matrix'teki piller gibi gördüğü bir ortam çoktan oluşmuş durumda
  • Bana göre daha korkutucu olan şey bilgi kirliliği. AI tarafından üretilmiş işe yaramaz veri, özgün bilgiyi o kadar seyreltiyor ki artık gerçekten işe yarar kaynak bulmak bile zorlaşıyor
  • Kötü bir şeyin yaşanması için ‘gücün yoğunlaşması’ zorunlu koşuldur. Yani bu, “Linda bir banka memurudur” ifadesinin “Linda hem banka memurudur hem de feminist bir aktivisttir” ifadesinden olasılık olarak her zaman daha yüksek olması gibidir. P(a) > P(a&b), meselenin özü bu
  • AI'nın “nefret” gibi duyguları olmasa bile, kendi hedeflerine ulaşma yolunda insanları engel olarak görürse bu bile başlı başına tehlikeli olabilir. Süperzekâ, duygu olmadan da yeterince tehlikeli olabilir
  • En büyük sorun zaten gücün tek tarafta devasa biçimde toplanmış olması ve AI bu tablodaki son süs gibi duruyor. Asıl sorun AI değil

• Son zamanlarda sürekli olarak “AI'nın tam olarak nasıl çalıştığını kimse bilmiyor” demeye çalışıyorum. Bir şeyi yapmakla onun ilkesini bilmek farklı şeylerdir; vurgulamak istediğim nokta bu. İnsan için de aynısı geçerli

  • İnsan olmanın bir parçası da tam olarak anlamadığın insanlarla sürekli çalışıp işbirliği yapabilmek
  • Aslında sinir ağları, transformer'lar, attention, embedding'ler ve tokenizer yapısı hakkında tam bilgiye sahip uzmanlar elbette var. Sadece nöronlar arası bağlantı ağırlıklarını net biçimde açıklayamıyorlar
  • Kimsenin AI'nın nasıl çalıştığını bilmediği iddiasını anlamıyorum. Kullandığımız donanım, yazılım ve bunların çalışma durumu tamamen kontrol edilebilir ve gözlemlenebilir değil mi? İstediğimiz an durdurup durumunu inceleyebilir, akışı adım adım takip edebiliriz. Kaynak kodu, compiler ve diğer her şeyi biliyoruz. O zaman tam olarak neyi bilmediğimiz söyleniyor, merak ediyorum
  • İnsan beyninin tüm katmanlarını ve toplam kapsamını da kimse bilmiyor. Buna rağmen her organizasyonun lideri, çalışanlarının ‘beyin’lerine güvenerek iş yapıyor