Sam Altman ve Greg Brockman'dan OpenAI Safety araştırmacısının iddialarına geri bildirim

• Jan'ın katkılarına teşekkür ve stratejinin açıklanması

  • Jan'ın katkıları için teşekkür ediliyor ve dışarıdan da misyona katkı sunmayı sürdüreceğine inanılıyor.
  • Onun ayrılığının gündeme getirdiği sorular hakkında stratejilerini açıklamak istiyorlar.

• AGI'nin risk ve fırsatlarına dair farkındalığın artırılması

  • Dünyanın daha iyi hazırlanabilmesi için AGI'nin risk ve fırsatlarına dair farkındalık artırılıyor.
  • Derin öğrenmenin ölçeklenebilirliği defalarca gösterildi ve bunun anlamı analiz edildi.
  • AGI için uluslararası yönetişim çağrısı yapıldı; bu, o dönemde popüler olmayan bir konuydu.
  • Yapay zeka sistemlerinin felaket düzeyindeki risklerini değerlendirme biliminin öncülüğü yapıldı.

• Güvenli sistem dağıtımının temelinin atılması

  • Giderek daha yetenekli sistemlerin güvenli biçimde dağıtılabilmesi için temel hazırlanıyor.
  • Yeni bir teknolojiyi ilk kez güvenli hâle getirmek kolay bir iş değil.
  • GPT-4'ü dünyaya güvenli şekilde sunmak için çok sayıda çalışma yapıldı.
  • Dağıtımdan edinilen derslere dayanarak model davranışı ve kötüye kullanım izleme sürekli iyileştiriliyor.

• Gelecekteki zorluklar

  • Gelecek, geçmişten daha zor olacak.
  • Yeni modellerin önemine uygun şekilde güvenlik çalışmaları yükseltilmeye devam edilmeli.
  • Bu, geçen yıl kullanıma alınan Preparedness Framework ile sistematik hâle getirildi.

• Geleceğe bakış

  • Modeller daha güçlü hâle geldikçe dünyayla daha derin biçimde entegre olacakları öngörülüyor.
  • Kullanıcılar yalnızca tek bir modelle ve metin giriş-çıkışıyla konuşmayacak; çok sayıda multimodal model ve araçtan oluşan sistemlerle etkileşime girecek.

• Güvenli ve faydalı sistemlerin geliştirilmesi

  • Bu tür sistemlerin insanlara çok faydalı ve yardımcı olacağına, ayrıca güvenli biçimde sunulabileceğine inanılıyor.
  • Bunun için çok sayıda temel çalışma gerekiyor.
  • Buna, eğitim sırasında birbirine bağlanan unsurların dikkatle değerlendirilmesi ve ölçeklenebilir denetim gibi zor problemlere çözüm bulunması da dahil.
  • Bu doğrultuda inşa etmeyi sürdürürken, çıkış güvenliği standartlarına ne zaman ulaşılacağı henüz bilinmiyor; ancak lansman takviminin gecikmesi sorun değil.

• Geri bildirim döngüsü ve kapsamlı testler

  • Olası tüm gelecek senaryolarını hayal etmenin mümkün olmadığı kabul ediliyor.
  • Çok sıkı geri bildirim döngüleri, kapsamlı testler, her adımda dikkatli değerlendirme, dünya standartlarında güvenlik ve emniyet ile yetenek arasında denge gerekiyor.
  • Farklı zaman ufuklarında güvenlik araştırmaları sürdürülmeye devam edilecek.
  • Hükümetler ve çeşitli paydaşlarla iş birliği sürdürülecek.

• AGI'ye giden yolu anlama

  • AGI'ye giden yolu keşfetmek için kanıtlanmış bir oyun kitabı yok.
  • Ampirik anlayış, ileriye dönük yolu belirlemeye yardımcı olacak.
  • Muazzam faydalar sunarken ciddi riskleri azaltma çalışmaları yürütülüyor.
  • Rolleri son derece ciddiye alıyorlar ve kendi eylemlerine yönelik geri bildirimleri dikkatle inceliyorlar.

[GN⁺]

Hacker News görüşü

Hacker News yorumları derleme özeti

• Yapay zekanın risklerine dair endişeler

  • Yapay zekanın kıyamete yol açacağına dair tartışmalar, şu anda ortaya çıkan gerçek risklerin gözden kaçmasına neden oluyor.
  • Dolandırıcılar yapay zekayı kullanarak daha becerikli hale geliyor.
  • İnsanlar, yapay zekanın hatalı çıktılarına körü körüne güvenirken giderek daha aptallaşıyor.
  • Gerçek konuşmalar yerine yapay zekanın ürettiği içeriğin kopyala/yapıştır yapılmasıyla genel iletişim çöküyor.
  • Yapay zeka kız arkadaş ürünlerinin ortaya çıkması, insanlığın geleceğine dair güveni azaltıyor.
  • Şirketlerin CEO'ları, maliyetleri düşürmek için toplu işten çıkarmalar yapıp yerlerine yapay zeka sohbet botları koyuyor.
  • Yapay zeka nükleer silahları fırlatmayacak olabilir, ama herkesin işini elinden alıp güç sahiplerini daha da güçlü kılacağına dair kaygılar var.

• Büyük şirketlerde risk azaltma

  • Büyük şirketlerde risk azaltma liderliği, hukuk, tedarik ve BT gibi alanlarda riski dengeli biçimde yönetmek zorunda.
  • Risk azaltmadan sorumlu kişiler sürekli görmezden gelinirse sonunda ayrılır.
  • AGI gibi potansiyel yok oluş düzeyindeki olaylara dair korkular abartılı olabilir.
  • AGI yerine "BYOD politikası yok" ifadesi konursa, güvenlik sorumlusunun politikayı savunup sonunda ayrıldığı startup örneklerine benziyor.

• LLM'lerin faydası ve sınırları

  • LLM'ler temel işler için faydalı, ancak daha karmaşık görevler için henüz hazır değil.
  • Yapay zeka güvenliğine ilişkin abartılı uyarılar, OpenAI'nin önemini artırmaya yönelik bir strateji olabilir.
  • Mevcut yapay zeka çağı, makinelerin düşünebildiğini iddia etmekten ibaret.

• Yapay zekanın gerçek riskleri

  • Yapay zekanın riski, kontrolden çıkmış insanüstü bir varlık değil; daha gerçekçi ve gündelik sorunlar.
  • Sohbet moderasyonunda LLM kullanıldığında yanlış ses tanıma.
  • Askeri rapor özetlerinde yanlış sonuçlara varılması.
  • Haberlerde ayrıntıların yanlış algılanıp tarihsel gerçek olarak kabul edilmesi.
  • Bu sonuçların uzun vadeli etkisi, LLM kullanımının yaygınlığı kadar büyük olabilir.

• Yapay zeka hizalama ve etik

  • Yapay zeka hizalaması hakkında somut bir içerik yok.
  • Yapay zeka hizalamasının ne zaman geliştirileceği bilinmiyor.
  • Yapay zeka etiği ve yapay zeka önyargısı, yapay zeka hizalamasından farklı meseleler.
  • Yapay zeka hizalaması geliştirilmeden önce, insanlığın yok olmasına yol açabilecek bir yapay zekanın geliştirilme riski var.
  • OpenAI, yapay zeka hizalamasına yeterli kaynak ayırmıyor.

• Şirketlerin dil kullanımına güvensizlik

  • "Sam ve Greg" gibi isimlerin kullanılarak yakın bir ilişki varmış gibi gösterilmesi yapmacık hissettiriyor.
  • GPT-4'ü güvenli biçimde yayımlamak için çok çalışma yapıldığı iddiası güvenilir bulunmuyor.
  • AGI tanımlanmadan veya test edilmeden önce süper hizalama için endişelenmeye gerek yok.
  • AGI'nin insanlığı yok edeceği korkusu, mantıklı düşünen bir sistemin insanlığı ortadan kaldırması gerektiği sonucuna varacağından duyulan şüpheden kaynaklanıyor.
  • Şirketlerin kullandığı dil yapmacık ve anlamsız ifadelerle dolu.