Transformer'ı Yaratan Google Çalışanları

8 Google çalışanı modern yapay zekayı icat ediyor: içeriden hikâye

• 2017 ilkbaharında yazılan "Attention Is All You Need" adlı bilimsel makalenin 8 yazarı vardı.
• Bu kişilerin hepsi Google araştırmacısıydı ve en kıdemli katkı sahiplerinden Noam Shazeer, adının ilk sırada yazıldığını görünce şaşırdı.
• Yazarlar, katkı sıralaması yapma geleneğini "yıkmaya" karar vererek tüm isimlerin yanına yıldız koydu ve "listeleme sırası rastgeledir" dipnotunu ekledi.

Dönüşümün başlangıcı

• Bu makale, yapay zeka alanında sinir ağı denen teknolojiyi ilerleterek onu sanki dünya dışı bir zekânın ürünüymüş gibi hissettiren güçlü dijital sistemlere dönüştürdü.
• Bu mimari, ChatGPT, Dall-E ve Midjourney gibi yapay zeka ürünlerinin gizli bileşeni olarak kullanıldı.
• Makale, yayımlanmasının üzerinden neredeyse 7 yıl geçerken efsanevi bir statü kazandı.

Dönüştürücü mimari: Transformer

• Transformer'ın hikâyesi, Jakob Uszkoreit adlı dördüncü yazarla başlıyor.
• Uszkoreit, kendi fikri olan self-attention temelinde yeni bir yaklaşım geliştirdi.
• Bu ağ, bir cümlenin hangi bölümlerine başvuracağını belirleyerek kelimeleri çevirebilir ve bu da sistemin iyi çeviriler üretmesine yardımcı olur.

İşbirliği ve inovasyon

• Uszkoreit, self-attention modelinin yinelemeli sinir ağlarından daha hızlı ve daha etkili olabileceğini düşünüyordu.
• Bu fikir, Illia Polosukhin, Ashish Vaswani ve diğer araştırmacılarla yapılan işbirliği sayesinde gelişti.
• Ekip, "Transformers: Iterative Self-Attention and Processing for Various Tasks" adlı bir tasarım belgesi yazdı.

Makalenin yayımlanması ve etkisi

• Araştırma ekibi, dil çevirisi yapmak için Transformer modelini kullandı ve performansını BLEU benchmark'ı ile ölçtü.
• Yeni modelleri rakiplerini geride bıraktı; daha büyük model olan Big ise önceki rekoru kıran bir BLEU puanı elde etti.
• Makale son teslim tarihine çok kısa süre kala gönderildi ve Google bu çalışma için hızla geçici bir patent başvurusu yaptı.

Google'ın tepkisi ve değişim

• Google içinde bu çalışma yalnızca bir başka ilginç yapay zeka projesi olarak görüldü ve şirket 2018'den itibaren Transformer'ı ürünlerine entegre etmeye başladı.
• Ancak bu değişim, OpenAI'nin radikal sıçraması ve Microsoft'un Transformer tabanlı sistemleri ürün hattına cesurca entegre etmesiyle karşılaştırıldığında çekingen görünüyor.

Google'dan ayrılan yazarlar

• Tüm yazarlar Google'dan ayrıldı ve kendi kurdukları sistemler temelinde farklı şekillerde çalışıyor.
• Bunların çoğu Google'dan ayrılıp yeni yapay zeka girişimlerine geçti.

GN⁺ görüşü

• Bu yazı, yapay zeka alanında önemli bir rol oynayan Transformer modelinin doğuşunu ve gelişimini ayrıntılı biçimde anlatarak yapay zeka teknolojisinin ilerleyişine dair ilgi çekici içgörüler sunuyor.
• Transformer modeli bugün yapay zeka dil işlemenin çekirdek teknolojisi ve ChatGPT gibi konuşmalı yapay zeka sistemlerinin temelini oluşturan önemli bir icat.
• Yazı, Google içindeki yenilikçi araştırma ortamının nasıl büyük teknolojik atılımları mümkün kıldığını gösteriyor.
• Ancak Google'ın bu teknolojiyi ticari olarak değerlendirmede nispeten temkinli bir yaklaşım benimsemiş olması, şirketlerin inovasyon hızı ve stratejisi açısından önemli dersler sunuyor.
• Bu teknolojiyi benimseyen şirketler veya geliştiriciler, Transformer modelinin karmaşıklığını ve kaynak gereksinimlerini hesaba katmalı; buna karşılık sağlayabileceği faydalar oldukça büyük.

[GN⁺]

Hacker News görüşleri

• Dikkat modeline ilişkin tartışma:

  • Dikkat (Attention) mekanizması yeni değil, ancak belirli bir bağlamda bir sonraki kelime dizisini tahmin etmek için yeterli olduğunu gösteren araştırmalar vardı.
  • 2018'de bu çerçeve kullanıldığında beklenmedik davranışlar sergiledi, ancak bu ilginç bir deneyimdi.
  • Başka bir grup, basit algoritmaları büyük ölçekte hesaplamanın daha iyi sonuçlar verdiğini keşfetti.
  • Yalnızca bir grubun AI'ı keşfedip dönüştürdüğünü iddia etmek can sıkıcı.
  • Araştırmacılar övgüyü hak ediyor, ancak modern yapay zekayı icat etmediler; onu ilginç biçimlerde geliştirdiler.
  • Şu anda daha deterministik yaklaşımlara dönmek istiyorum: dünya modelleri, bellek, grafikler, enerji minimizasyonu vb.
  • Üretici modeller eğlenceliydi ve çok şey öğretti, ancak sadece daha fazla çip ekleyerek AGI/SGI sorununu çözmenin mümkün olup olmadığı net değil.

• Google'ın altın çağına dair bir anı:

  • 2014'te Google'ın zirve döneminde Uszkoreit ve NLP ekibinin rolü konuşulurken, sınırsız bütçen olsaydı ne yapardın diye soruldu ve o da "Benim zaten böyle bir bütçem var" diye yanıt verdi.

• Yapay zeka tarihine dair sohbet:

  • Geoffrey Hinton ve Fei-Fei Li ile yapılan bir konuşmada, yapay zeka tarihine, Hinton'ın araştırma yönüne ve Li'nin ImageNet için verdiği emeğe değiniliyor.

• Google ile OpenAI karşılaştırması:

  • Google'ın OpenAI olmamış olması şaşırtıcı; çünkü erken dönemde DeepMind'a ve çok sayıda doktora derecesine sahip kişiye sahipti.

• Google çalışanlarının işbirliğine dair vurgu:

  • Tüm yazarların Google çalışanı olması ve aynı ofiste çalışmış olması vurgulanıyor; bu da yüz yüze işbirliğinin inovasyon için en iyi teknik olduğunu düşündürüyor.

• Google'ın AI stratejisine yönelik eleştiri:

  • Yazarların hiçbiri artık Google'da çalışmıyor ve Google CEO'sunun AI'ı ne kadar kötü yönettiği konusunda şaşkınlık ifade ediliyor.

• Google içindeki AI tarih belgeleri:

  • Google çalışanları, Google intranetinde saklanan, ilk Transformer implementasyonu ve hakem yorumları gibi AI tarihinin önemli anlarını görebiliyor.

• Yazarların çeşitliliğine dikkat:

  • 8 yazardan 6'sı ABD dışında doğdu; kalan iki kişiden biri, geçici olarak Kaliforniya'da bulunan Alman bir green card sahibinin çocuğu, diğeri ise zulümden kaçan bir ailenin ABD'de doğan ilk kuşak üyesi.

• R&D departmanlarına destek:

  • Vergi yükü olmayan R&D departmanlarını desteklemekten yana; on yılda bir çıkabilecek bir fikrin tüm ekonomiyi ileri taşıyabilmesini umuyor.
  • Modern bilişimin harikaları, şirketin kârlılığına anında etki etmese de sürdürülen R&D genişlemesinin sonucu.