- Güvenli ve güçlü yapay zeka sistemleri ürünü olan "Safe Superintelligence"ı üretmeyi hedefleyen bir şirket
- Güvenlik ve performansı aynı anda gözeterek, yenilikçi mühendislik ve bilimsel atılımlar yoluyla sorunları çözmeyi amaçlıyor
- Performansı mümkün olan en hızlı şekilde artırırken güvenliğin her zaman öncelik olmasını planlıyor
- Yalnızca SSI'a odaklanarak yönetim yükü/ürün döngüsü/ticari baskılar gibi unsurlardan korunmayı hedefliyor
- Kurucu ortaklar
- Ilya Sutskever: OpenAI'nin kurucu ortaklarından biri ve eski baş bilim insanı
- Daniel Gross: Apple tarafından satın alınan arama motoru Cue'nun kurucu ortaklarından biri. Satın alımın ardından Apple'da yapay zeka/arama alanında çalıştı.
- Ağırlıklı olarak GitHub'ın eski CEO'su Nat Friedman ile birlikte Instacart, Coinbase, Airtable, Figma, Notion gibi çeşitli girişimlere yatırım yaptı
- Daniel Levy: OpenAI'nin eski Optimization ekip lideri
1 yorum
Hacker News görüşleri
Ilya'nın yapay zeka gelişimine katkıda bulunabilecek olmasına sevindim. Ancak ticari olarak daha avantajlı şirketler gibi yüksek ücretleri nasıl sunacağını merak ediyorum. Belki ideolojik olarak motive olan ya da zaten finansal olarak bağımsız insanları bulabilir. Ayrıca diğer şirketler milyarlar harcayıp dev GPU veri merkezleri kurarken yeterli hesaplama kaynağı sağlamak da zor.
"Süper zekanın" insanlık için tehdit oluşturabileceği endişesini anlıyorum. Ama daha büyük kaygım, "süper zekanın" kontrolden çıkması değil, belirli bir insanın onu kontrol etmesi. Tarihte büyük güce sahip insanların neler yaptığına bakmak yeterli. Soğuk Savaş dönemindeki nükleer silahlanma yarışı buna iyi bir örnek.
Ticari teşviklerin güvensiz yapay zeka ürettiği tespitine katılıyorum. Sosyal medya öneri algoritmaları zaten toplum ve özellikle gençler için çok tehlikeli. Olumsuz dışsallıklar olduğunda devletin uygun düzenlemeler yapması gerekir.
Ilya'nın sorunu güvenli yapay zeka geliştirmek değil, güvenli bir iş modeli geliştirmek. Bugün güvenli yapay zeka yapılabilir ama bir sonraki yöneticinin bunu nasıl ele alacağını bilemeyiz. Güvenli iş modeli sorununu çözersek birçok toplumsal zararı ortadan kaldırabiliriz.
Eğer süper zekaya ulaşmak mümkünse, güvenlik konusunda karamsarım. Kendisinden daha zeki bir varlığı sandbox içine almak imkansız görünüyor. Süper zeka yeni saldırı vektörleri düşünebilir. "Transcendence" filmindeki gibi yeni fizik keşifleriyle sihir gibi görünen şeyler yapabilir.
İş modelinin SSL'ye benzer harici bir protokol olacağı yönünde bir tahminim var. Birçok yaklaşımın bulunduğu bir ortamda, tanımlanmış protokoller ve standartlar olmadan "güvenliğin" ürün katmanında uygulanması pek mümkün değil. Ilya bunu hayata geçirebilecek güvenilirliğe ve teknik yetkinliğe sahip biri gibi görünüyor.
Ilya'nın yalnızca ismiyle bile neredeyse sınırsız fon toplayabileceğini düşünüyorum. "Başarana kadar ürün yok" yaklaşımına katılmıyorum. Gerçek dünya geri bildirimi süper zeka geliştirmede önemli olacaktır. Ama süper zekanın ulaşılabilir olduğuna katılıyorum.
"Tek bir odağın" ürün döngüsünü ya da yönetim yükünü nasıl ortadan kaldırdığını açıklamak gerekiyor.
Güvenli süper zekanın, sınırlamasız süper zekayla rekabet edip edemeyeceğini merak ediyorum. Başka bir şirket güvenliğe zaman harcamadan aynı hedefin peşinden giderse gerçekten rekabetçi olabilir mi emin değilim.
Yann LeCun'un, LLM kullanarak "gerçek" zeka inşa etme fikrini küçümsediği bir röportaj izledim. Doktora öğrencilerine bu teknoloji yerine bir sonrakini araştırmalarını tavsiye ediyor. Bunun Ilya'nın şu anda yaptığı işle nasıl bağdaştırılabileceğini merak ediyorum. Ilya'nın farklı bir teknoloji kullanmayı planlayıp planlamadığını da merak ediyorum.