Noam Shazeer, OpenAI'a katıldı

 (twitter.com/NoamShazeer)
1 puan yazan GN⁺ 7 시간 전 | 1 yorum | WhatsApp'ta paylaş
  • Transformer mimarisini geliştiren kilit isimlerden biri ve Google Gemini eş lideri olan Noam Shazeer, OpenAI'a katıldığını duyurdu
  • Kendisi 2000 yılında Google'a katılan ilk çalışanlardan biriydi; arama yazım düzeltmelerinin iyileştirilmesine ve AdSense'in temel algoritmasının geliştirilmesine katkıda bulundu
  • 2017 tarihli "Attention Is All You Need" makalesinin ortak yazarı olarak, neredeyse tüm modern LLM'lerin temelini oluşturan Transformer mimarisini geliştirdi
  • Ayrıca LaMDA ve Meena'nın başlıca katkı sağlayan isimlerinden biri
    • Meena — Google'ın 2020'de tanıttığı, 2,6 milyar parametreli bir model aracılığıyla daha doğal ve bağlama uygun konuşmaları hedefleyen bir araştırma projesi olan açık alanlı konuşma odaklı sohbet botu
    • LaMDA (Language Model for Dialogue Applications) — Meena'nın devamı olarak 2021'de tanıtılan, serbest konularda doğal çok turlu konuşma üretimini hedefleyen diyaloğa özel büyük dil modeli; daha sonra Google'ın sohbet botu ve Bard'ın ilk temel teknolojisine dönüştü
  • 2021'de Character.AI'nin kurucu ortaklarından biri olarak Google'dan ayrıldı; ancak 2024'te yaklaşık 4 trilyon won ($2.7B) büyüklüğünde bir anlaşmayla Google tarafından satın alınmasının ardından geri dönerek VP Eng ve Gemini eş lideri olarak görev yaptı

İlgili okumalar

1 yorum

 
GN⁺ 7 시간 전
Hacker News görüşleri

  • İlgilenenler için, Wired iki yıl önce Attention Is All You Need makalesinin perde arkasını işlemişti: https://www.wired.com/story/eight-google-employees-invented-...
    Bu, her yazarın katkısını anlamak için bağlam sağlıyor. Makalede Shazeer hakkında, onun katılımının belirleyici olduğu ve self-attention gibi teorik ve sezgisel mekanizmaların işe yaradığını gösterebilmesi için çoğu zaman deneyimli birkaç “büyücünün” bunları çok dikkatli biçimde hayata geçirmesi gerektiği söyleniyor. Shazeer de Transformer ekip kodunun bir sürümünü kendi tarzında baştan yazmış; “temel fikri alıp kendim yaptım” demiş. Arada sırada Kaiser’e soru sormuş ama çoğunlukla bir süre kendi başına uğraşıp geri dönerek “bak, çalışıyor” demiş. Ekip arkadaşlarının sonradan “sihir”, “simya” ve “eklentiler” gibi sözlerle tarif ettiği şekilde sistemi bir seviye yukarı taşıdığı anlatılıyor

    • “Sihir”, “simya”, “eklentiler” gibi ifadeler, teknik olmayan kitleye somut içerik olmadan abartılı paketleme yapma konusunda epey eğitim almış insanlar gibi geliyor

  • Noam Shazeer, Transformer mimarisini tanıtan dönüm noktası niteliğindeki “Attention Is All You Need” makalesinin başlıca yazarlarından biri

    • Bu, onun önemini olduğundan az gösteren bir ifade. Yazar sırası rastgeleydi ama asıl temel fikrin gerçekten ona ait olduğunu düşünüyorum. Bunun GDM hakkında ne söylediğini de merak ediyorum

  • Tüm gelişmeleri takip etmeyenler için bağlam: Shazeer, 2000’de Google’a katılmış eski bir Google araştırmacısıydı ve “Attention Is All You Need”in ortak yazarıydı
    2021’de Google’dan ayrılıp Character.AI’ın kurucu ortaklarından biri oldu. 2024’te Google, Character.AI ile yaptığı lisans ve yetenek anlaşmasıyla onu ve Character.AI’daki bazı araştırmacıları geri aldı. Haberlere göre bunun büyüklüğü yaklaşık 2,7 milyar dolardı ve sonrasında Gemini’nin ortak liderlerinden biri oldu. Şimdi yeniden Google’dan ayrılıp OpenAI’a gidiyor olması ilginç bir döneme işaret ediyor

    • İlk kez Google’dan ayrılma sebebi, kendisinin mümkün gördüğü chatbot tarzı bir ürünü Google’ın yayımlamak istememesiydi. Google onu geri getirmek için çok para harcadı ve Gemini liderlerinden biri yaptı
    • Noam’ı ilk kez Jeff Dean ile birlikte Dwarkesh podcast’inde gördüm; Google tarafının meseleye nasıl baktığını az çok görmek isterseniz tavsiye ederim
      https://youtu.be/v0gjI__RyCY?is=nz77XP4KiJy7L1AX
    • Bu seviyede gerçekten ödemenin mi cezbedici olduğunu, yoksa ne yapabildiğinin mi daha önemli olduğunu merak ediyorum. Google da muhtemelen OpenAI’ın verebileceği kadarını rahatça verebilir gibi geliyor ama eski bir şirket olduğu için gerçekten sıra dışı şartları karşılamak zor olabilir
    • Satın alınan birinin iki yıl bile dolmadan nasıl ayrılabildiğini merak ediyorum
    • Umarım sonunda “Hopfield Networks is All You Need” sonucuna varırız

  • Vay, geri döneli çok olmamışken ayrılmasına neden olan şey ne olabilir ki?
    Umarım bu doğru değildir ama doğru olmasından korkuyorum: https://x.com/signulll/status/2067446889956430273

    • Yukarıdaki bağlantıya tıklamak istemeyenler için nitter bağlantısı: https://nitter.net/signulll/status/2067446889956430273
    • signull, bilinen bir sektör içeriden bilgisi hesabından çok anonim bir ağzı bozuk hesapa benziyor ama en azından dışarıdan havayı koklayarak takip eden biri açısından Sam Altman’ın OpenAI’a ne kattığını epey iyi yakalamış gibi görünüyor
    • Tahmin etmem gerekirse parada da iş var gibi
    • Bir Silicon Valley bölümü gibi okunuyor. O diziyi bugün yeniden başlatsalar gerçekten çok komik malzeme çıkardı, yazık
    • Bunun “para” ve Altman tarafındaki tonla saçmalık yüzünden olduğunu söylerdim

  • [Düzeltme: Yorumum aslında Noam’a bir başka “Scam Altman” diyen yoruma cevaptı ama üst yorum değişmiş. Orijinal alt başlığın temizlenmiş olması sorun değil ama bu bağlam olmadan anlaşılması zor olabilir.]
    Noam gerçekten çok yetenekli biri ve eski 2000’ler Google mühendislik çevresinde epey efsanevi bir figürdü. Paul Buchheit onu “bir yazım denetleyicisini nasıl yapardın” mülakat sorusuyla görüşmeye almış; o da dönemin en iyi yönteminden daha iyisini düşünmüş. Sonrasında da Google yazım düzelticisini fiilen ilk iki haftalık Noogler projesi olarak yapmış deniyor
    https://www.youtube.com/watch?v=gilk-76W9rE&t=60

  • https://old.reddit.com/r/singularity/comments/1u8xc9m/most_l...
    Burada biraz içgörü var gibi görünüyor. Düzeltme: Gönderi silinmiş gibi duruyor ama yorumlar hâlâ görülebiliyor. Tek cümlelik özeti şu: en iyi ihtimalle bile bu kişi politik olarak açık sözlüydü ve güçlü inançlara sahipti.

  • Bu Gemini için çok kötü haber. Geçen yıl 2.5 Pro ile kısa süreli toparlanmanın arkasında Noam varmış gibi görünüyordu.

    • Dürüst olmak gerekirse uzun vadede bunun pek etkisi olacağını sanmıyorum. Modellerin bir hendeki yok ve giderek emtialaşıyorlar.
      Bunun dışında Google oldukça iyi bir konumda. Anthropic/OpenAI gibi yapay zekaya para saçmıyor ve yapay zekayı entegre edebileceği ürün alanlarına sahip. Ayrıca olgun bir reklam modeli de var; bu yüzden büyük dil modellerinden az da olsa gerçek gelir üretilebilecek yer aslında orası olabilir.

  • Birinci soru: OpenAI bunun için ne kadar harcadı?
    İkinci soru: OpenAI neden bu parayı harcayıp, yetenek alımında kesin olarak daha fazla ödeme yapabilen Google'dan insan çekmeye çalışsın? Pazarın liderliğini yapan ve finansal olarak da bir ölçüde kısıtlı olan Anthropic yerine.

    • İlgili haberlere bakılırsa Anthropic'tekiler çok daha sadık ve OpenAI ile Meta'nın yetenek kapma girişimleri de genel olarak pek başarılı olmamış gibi görünüyor.

  • Vay canına, Google Noam'ı geri getirmeye çalışmak için milyarlarca dolar ödemiş. Haberler doğruysa OAI gerçekten etkileyici bir iş başarmış.

  • Yapay zeka işe alımları giderek spor dünyasındaki serbest oyuncu pazarına benzemeye başlıyor.
    Karpathy Anthropic'e gitti, şimdi de Noam OpenAI'a gidiyor.

    • Ben Karpathy'nin OpenAI'a gittiğini sanıyordum.