Mevcut yapay zeka çıkmaz sokakta mı?

Mevcut yapay zekanın sınırları ve sorunları

Yapay zekayı ciddi amaçlar için kullanmanın zor olmasının nedenleri

• Yazılım mühendisliği perspektifinden bakıldığında, mevcut yapay zeka sistemleri karmaşıklığı ve ölçeği etkili biçimde yönetmekte zorlandığı için yeterince güvenilir değildir
• Etkisi yüksek yazılımların şeffaflık, yönetilebilirlik ve hesap verebilirlik taşıması gerekir; ancak mevcut yapay zeka bunu karşılamamaktadır
• Verinin kaynağına ilişkin sorumluluk yetersizdir ve yapay zeka algoritmalarının sonuçlarına dair sorumluluk da belirsizdir
• 'Açıklanabilir yapay zeka' ve önyargı azaltma girişimleri oldu, ancak veri sorumluluğuna dair temel sorunlar ile mühendislik zorluğu hâlâ çözülebilmiş değildir

Sinir ağı tabanlı yapay zekanın çalışma biçimi

• Güncel yapay zeka, büyük ölçekli sinir ağlarına (LLM, Generative AI vb.) dayanır ve milyonlarca nöron birbirine bağlıdır
• Eğitim çoğunlukla denetimsiz öğrenme veya öz denetimli öğrenme yöntemiyle yapılır; insan müdahalesi en aza indirilir
• Sistemin işlevi, verilen veriyi öğrenip çıktı hedeflerini karşılayacak şekilde eğitilmesi sürecinde belirlenir
• Çok büyük hesaplama kaynakları gerekir; bu da maliyetin ve enerji tüketiminin son derece yüksek olmasına yol açar

Sinir ağlarının yapısız niteliği ve 'ortaya çıkan davranış'

• Mevcut yapay zeka sistemleri ortaya çıkan davranış sergiler; tek tek nöronların matematiksel tanımıyla sistemin tamamının nasıl çalıştığını açıklamak zordur
• Sistemin iç yapısı işlevle anlamlı bir ilişki kurmadığından yeniden kullanım veya modüler geliştirme mümkün değildir
• Ara modeller ya da aşamalı geliştirme yaklaşımı yoktur ve sistemin nedenini ile mantığını açıklamak zordur
• 'İnsanın araya girdiği yaklaşım' da sistem sonuçlarını açıklamada pratikte kayda değer bir yardımcı olmaz

Yazılım mühendisliğinde bileşimsel yaklaşım ve yapay zekanın sorunu

• Bileşimsel yaklaşım (compositionality), tek tek parçaların anlamını ve nasıl birleştirildiklerini anlayarak sistemin bütününü açıklama yöntemidir
• Mevcut yapay zeka bu yaklaşımı desteklemez ve şu sorunlara yol açar:
  • İç yapı anlam taşımadığı için işlevsel yeniden kullanım mümkün değildir
  • Aşamalı geliştirme ya da doğrulama yapılamaz
  • Açık bir bilgi modeli olmadığı için sistem 'neden'ini açıklayamaz

Doğrulamanın sınırları

• Mevcut yapay zeka sistemlerinde girdi ve durum uzayı aşırı büyük olduğu için kapsamlı test mümkün değildir
• Olasılıksal sistemlerde doğru çıktı, yalnızca ilgili girdiye dair bir olasılık gösterir; her zaman güvenilir sonuç garantilemez
• Birim testi ya da entegrasyon testi gibi kısmi doğrulama mümkün değildir; yalnızca sistemin tümünü doğrulamak mümkündür
• Sistemin tamamı test edilse bile kapsam yetersiz kaldığından güvenilirliği sağlamak zordur

Hatalar ve düzeltme sorunu

• Eğitim verisinin yetersizliği veya girdi verisinin eksikliği nedeniyle hata oluşabilir
• Hataları düzeltmek için yeniden eğitim yapılsa bile yerel düzeyde düzeltme mümkün değildir ve regresyon testi de zordur
• Yeni hataların sisteme girme olasılığı yüksektir ve bunları tespit etmek güçtür

Sonuç ve öneriler

• Mevcut yapay zeka sistemleri güvenilirlik ve güvenlik açısından yetersiz olduğundan ciddi uygulamalarda kullanıma uygun değildir
• Mevcut teknoloji, eğitim verisi ve hesaplama kaynaklarının artırılmasıyla yalnızca sınırlı iyileşme sağlayabilir; temel düzeyde bir güvenilirlik artışı yaratamaz
• Öneri:
  • Sinir ağları ile sembolik yapay zekayı birleştiren hibrit sistemler geliştirmek
  • Açık bilgi modelleri ve güven düzeyi üretmek ya da bunları mevcut veri arama ve ispat teknikleriyle birleştirmek
  • Hataların güvenilir biçimde yönetilebildiği sınırlı alanlarda kullanmak
  • Olasılıksal tahminin uygun olduğu hava tahmini gibi belirli alanlarda yararlanmak

[jjw9512151]

Önemli nokta, mevcut yapay zekanın hiçbir tümdengelimsel doğrulama olmadan, düne kadar güvenliydi ve bugün de güvenli, o halde yarın da güvenli olacaktır şeklindeki tümevarımsal doğrulamaya dayanması.

Kara kuğu teorisindeki gibi, bir gün ölümcül bir anomali ortaya çıkma ihtimali hâlâ var; bir bakıma mevcut güvenlik de şansa dayanıyor.

Geleneksel yazılım mühendisliğinde bu tür sorunlarda tek tek bileşenleri tanımlayıp analiz ederek, senaryolar ve testler oluşturarak bunları birim bazında tümdengelimsel olarak doğrulamak mümkündü, ancak yapay zekada bu hâlâ tamamen imkânsız.

[kandk]

Tesla'nın otonom sürüşünde zaten çözülen bir sorun..

[joon14]

Modelin sistem doğrulaması yapılamadığı için güvenilirliğinin %100'e ulaşamaması büyük bir sorun gibi görünüyor; bu durum otonom sürüşte nasıl çözülüyor?

[kandk]

Tesla, yapay zekayı gerçek dünyaya gerçekten uygulayan bir örnek gösteriyor.

[kandk]

Her şeyde %100 mümkün değil. %100 ya dolandırıcılıktır ya da bir yanılsamadır.
Her startup gibi step by step, agile bir şekilde ilerliyoruz.
Sorun durumlarında remote control da yapabiliyoruz ve şu anda supervised olarak çalıştırıyoruz.

[ytuniverse]

Sorun, %100 güvenilirlik gibi bir sayıdan ziyade model mimarisinin açıklanabilir olmaması değil mi?
Görünüşe göre asıl mesele, modelin çıkarım sonuçlarını mevcut derin öğrenme yaklaşımlarının, özellikle de sinir ağı tabanlı modellerin, yalnızca iç yapıyı göstererek açıklamasının çoğu durumda zor olması.

Ancak son dönemde çeşitli araştırmalar ve Anthropic gibi şirketler black box sorununu çözmeye yönelik yöntemler ortaya koyuyor; bu yüzden bunun da yakında çözülebilecek bir mesele olduğunu düşünüyorum.

[kandk]

Bunun %100 olması da açıklanabilir olması da bence birer yanılsama.
Çince oda argümanında olduğu gibi önemli olan, sonuçta Tesla otonom sürüşünün istatistiksel olarak insanların araç kullanmasından daha güvenli olmasıdır. Ve yapay zeka daha da ölçeklenerek vakaların "neredeyse" %100’üne yakınında iyi çalışacaktır.
Birçok guru (Elon Musk, Eric Schmidt vb.) yapay zekanın açıklanamaz olduğunu bildiği için yapay zeka için güvenlik önlemlerine ihtiyaç olduğunu söylüyor.

[ytuniverse]

Bu, aşağıdaki Hacker News görüşünde yer alıyor.

• "Tesla'nın otonom sürüşü uç bir örnek; kazalar için sorumluluk almıyor."
• "LLM'lerin finans yönetimi ya da akıllı ev kontrolünü üstlenip üstlenemeyeceği şüpheli"

Modelin açıklanabilirliğini sorgulamadan yalnızca sonucun doğruluğuna bakarsak, ürünlere nasıl güvenip kullanacağız?

[ytuniverse]

Ne demek istediğinizi çok muğlak ifade ettiğiniz için tam anlayamıyorum; modelin iç işleyişinin de "açıklanabilir" olması, belli bir düzeyde doğrulama yapılabilmesi açısından önemli değil mi?
kandik'in görüşüne göre Functional Safety'nin varlık nedeni ortadan kalkıyor.

[kandk]

İnsan zihni açıklanabilir mi? İnsan zihni açıklanamazken, yeni çalışanlar nasıl seçiliyor?
Kuantum mekaniği %100 istatistiksel bir modeldir ve dünyayı da iyi açıklıyor.
"Güven" denilen şeyin kavramı da teknolojinin gelişmesiyle değişebilir.

[taeunlee99]

Nasıl bakarsanız bakın, geliştiriciler açısından bu gerçekten yorucu bir durum. Sonuçta AI’ı işleri biraz daha rahat yapmak için kullanıyoruz, ama güvenilirlik için testleri ne kadar daha sıkılaştırmamız gerektiğini bilemiyoruz.

[taeunlee99]

Ürün geliştirirken açıklanabilir olması iyidir. Sonuçta insan bir ürün olmadığı için belli bir problemde doğrudan kişinin kendisini sorumlu tutabilirsiniz; ama üründe bir kusur varsa sorumluluk onu yapan kişiye gider.

Bu yüzden test ortamını gerçeğe mümkün olduğunca yakın kurma gereği de daha da artıyor. Çünkü çalışma prensibini bilmediğimiz için, mümkün olduğunca istisnai durum kalmayacak şekilde eğitmekten başka bir yol yok.

[GN⁺]

Hacker News görüşleri

• 1990'ların ortalarından beri sinir ağlarının gelişimini izlediğini ve sinir ağlarının her aşamasının bir çıkmaza ulaştığını gözlemlediğini söylüyor. Bunun nedeni olarak matematiksel yaklaşımın sezgisel anlayışı engellemesini gösteriyor. LLM'lerin anlamsal aramayı kolaylaştırması ise ilginç bulunuyor.

  • Yapay zeka sistemlerinin işlevi ile anlamı birbirine bağlı değil. Bu da sorumlu kullanımı engelliyor.
  • Büyük şirketler LLM'leri iç işlerde sınırlı biçimde kullanıyor ve müşteri hizmetlerinde değerlendiriyor.
  • LLM hatalarının bedeli müşterilere yükleniyor ve yapay zeka sektöründe sorumluluktan kaçma yaygın.
  • Tesla'nın otonom sürüşü bunun uç bir örneği; kazalar için sorumluluk üstlenmiyor.
  • Yapay zeka sektörü, hukuki ve siyasi olarak sorumluluktan kaçınmak için çaba gösteriyor.

• Mevcut yapay zeka sistemlerinin ne kadar ölçeklenebileceği öngörülemiyor. İnsan beyniyle karşılaştırıldığında sinir bağlantısı sayısı çok az.

  • Günümüz yapay zeka sistemleri, sinir bağlantısı sayısı açısından kahverengi sıçanın beynine benziyor.
  • Mevcut yapay zeka sistemlerine güvenilemiyor.

• LLM tabanlı yapay zeka, yazılım geliştirme açısından kusurlu ve kritik uygulamalar için uygun değil.

  • LLM'lere finans yönetimi ya da akıllı ev kontrolü emanet edilip edilemeyeceği sorgulanıyor.
  • İnsanlardan ve otonom sistemlerden beklentiler farklı.

• İnsanlar önemli işlerde de hata yapıyor; yapay zeka sistemleri de aynı şekilde.

  • İnsan uzmanlar arasında bile görüş birliğinin düşük olduğu durumlar var.
  • LLM maliyetine göre verimliyse kullanılmaması için bir neden yok.

• Yapay zeka aktif olarak kullanılıyor ve kişisel projelerde büyük yardım sağlıyor.

  • Wikipedia'da olduğu gibi, yapay zekanın faydasını reddeden bir psikoloji de var.

• Veri ölçeklendirmesi artık büyük getiri sağlamıyor. LLM'ler AGI'ye giden yol değil.

  • LLM'ler API çağrıları üretmek gibi alanlarda faydalı, ancak büyük ölçekli projelerde kullanmak riskli.
  • Serbest beyin fırtınası oturumlarında daha yararlı olabilir.

• Yapay zekanın zekayı temsil edip etmediği konusunda çok tartışma var. İnsan beyni de güvenilir değil ve siber güvenlikte LLM'lerin uygunluğu tartışılıyor.