Makine Öğrenimi Araştırmasının Zen'i ve Sanatı
(blog.jxmo.io)- Dünya çapında yapay zeka araştırması yalnızca yetenekle sürmez; okuyup üretmeyi tekrar ederken uzun süre dayanabilen mizaç başarıyı belirler
- Konu seçimi, 6 aylık moda terimlerden değil; cross-entropy, SVD, policy gradients gibi temel kavramları derinlemesine anlamaktan başlamalıdır
- İyi araştırma, mevcut benchmark puanlarını yükseltmekle kalmaz; yeni yöntemin gerçekten ortaya çıkardığı yetenekleri sınayacak veri kümelerini de bulmalıdır
- Deney sonuçları iyi de olsa kötü de olsa bilgi verir; ancak fazla iyi görünen sonuçlar bug ya da hatalı ölçüm olabilir, bu yüzden sağlıklı paranoya gerekir
- Kodlama ajanları hızı artırırken sistem anlayışı eksikliğini ve bağlam değiştirmeyi büyütür; bu yüzden sonucu üreten tüm sistemi bizzat anlamak gerekir
Araştırmacı olmanın başlangıç noktası
- Yapay zeka araştırması, okuma ve öğrenme ile bir şeyi bizzat üretmeyi birlikte tekrar ederek başlar
- Yalnızca biri yeterli değildir; araştırmacı, bu iki faaliyet arasında gidip gelerek yetişir
- Araştırma meditasyona benzer; içgörünün geldiği gün de oturmak, gelmediği gün de oturmaya devam etmek gerekir
- Bilimsel içgörü rastgele geliyormuş gibi görünür ve çoğu gün gelmez
- Müzik, spor, satış gibi alanlarda dünya çapında bir seviyeye ulaşmak için çok zaman, emek ve büyük bir antrenman hacmi gerekir
- SwiGLU makalesinde Noam Shazeer, “Bu yapının neden çalıştığını açıklamıyoruz ve başarısını, diğer her şey gibi, Tanrı'nın merhametine bağlıyoruz” diyerek araştırma fikirlerinin başarısındaki rastgeleliği ortaya koyar
- Fazla fazla makale okumak da sorun olabilir
- Önce çözümü denemek, tıkanmak, kendin çözmeye çalışmak ve ancak kendi fikirlerin tükendiğinde literatüre bakmak, kendini kanıtlamış bir yoldur
Ne araştırılmalı
- Yeni başlıyorsanız, tam olarak hangi araştırma konusunu seçtiğiniz çok önemli değildir
- Yine de modalaşalı 6 ay bile olmamış konuları seçmekten kaçınmak daha iyidir
- Yapay zeka hızlı hareket eder ama temel fikirler 40 yıldır büyük ölçüde değişmemiştir
- 2026'nın harnesses, agents, context engineering gibi kavramlarına kariyerinizi gereğinden fazla bağlamamalısınız
- Daha çok öğrenmek için temellere dönmek gerekir
- cross-entropy'nin ne olduğunu öğrenmeli, küçük dağılımlar üzerinde bunu elle hesaplamalısınız
- SVD'yi zihninizde görselleştirebilecek kadar derin anlamalısınız
- Sadece kodlama için RL'ye bakmamalı; policy gradients fikrini, neden yararlı olduğunu ve neden on yıllardır popüler kaldığını öğrenmelisiniz
- Bir araştırma projesinin ulaşabileceği en iyi sonuç yalnızca mevcut benchmark puanını artırmaksa, yeterince derin değildir
- Mevcut veri kümeleri çoğu zaman yeni ve ilginç yetenekleri test edemez
- Jason Wei, yeni bir yöntemin gerçekten işe yaradığı yetenekleri kullanmasını gerektiren veri kümelerini bulmayı, yapay zeka araştırmasında küçümsenen ama başarıyı belirleyebilecek bir beceri olarak görüyor
- Somut konuyu kendiniz bulmalısınız; derine inmeli, temellere odaklanmalı ve benchmark kovalamacısına sıkışmamalısınız
Acemi zihni ve açık yargı
- Suzuki'nin “Aceminin zihninde çok sayıda olasılık vardır, uzmanın zihninde ise azdır” sözü araştırma için de geçerlidir
- Modern yapay zeka araştırmalarında, mevcut yapay zeka araştırma deneyiminin iyi araştırma sezgisine ters etki yapabildiği söylemi Silicon Valley'de sıkça tekrarlanır
- pre-scaling dönemi araştırmacılarından bazıları, küçük ölçekte çalışan ama ölçek büyüdüğünde başarısız olacak yöntemler tasarlamaya ilgi duymayı sürdürdü
- OpenAI'de şirketi teknik taraftan yöneten birçok kişi 35 yaşın altında ve ChatGPT'nin önemli karar vericilerinin çoğu 30 yaşın altında
- ChatGPT'nin ortaya çıkışının üzerinden 4 yıl bile geçmemiş, hâlâ erken bir alan olduğu için kimsenin çok uzun yıllara dayanan ezici bir üstünlüğü yok
- Fikirlere fazla uzun süre tutunmak ters etki yaratabilir; bu yüzden açık fikirli kalmalı ve egonun muhakemeyi bulandırmasına izin vermemelisiniz
İlham araştırma dışında da gelir
- İlham beklenmedik anlarda gelir
- benzen halkası yapısının keşfinin bir rüyadan doğduğu meşhurdur
- Daha önce hiç görülmemiş bir yapıydı ama kendi kuyruğunu ısıran bir yılan imgesiyle hayal edildi
- Ozempic de bir kertenkeleden gelen bir örnektir
- Ozempic'in taklit ettiği GLP-1 hormonu, yılda yalnızca birkaç kez beslenen çöl kertenkelesi Gila monster'ın zehrinde ilk kez keşfedildi
- Bu keşif, insanlarda da işe yarayan bir mekanizmaya dönüştü
- İyi araştırma yapmak için araştırma dışı işler de yapmak gerekir
- Pek çok “aha” anı klavyenin başında değil, özellikle yürürken yaşanır
- Darwin, Tesla, Feynman, Aristotle gibi düşünürler bacakları açıp biraz yürümenin büyük faydasından söz etmiştir
Deney sonuçlarına yaklaşım
- Her şeyi kusursuz uygulamış olsanız bile fikir temelden doğru olmayabilir
- Deneyleri analiz ederken, iyi giden sonuçları da kötü giden sonuçları da iyi kabul eden bir deneysel sükunet gerekir
- İki tür sonuç da aynı miktarda bilgi verir
- Bazen tek bir olumlu sonuçtan çok, art arda gelen olumsuz sonuçlardan daha fazlası öğrenilebilir
- İyi sonuçlar karşısında aşırı heyecanlanmamak gerekir
- İyi görünen sonuçların önemli bir kısmı bug'lardan kaynaklanır
- Sonuç gerçekten iyi olmayabilir; yanlış ölçülmüş olabilir ve kişi kendini ikna etmiş olabilir
- Kendi fikrinizin çalışmasını istemek doğaldır ama deneyimli araştırmacılar, özellikle fazla iyi görünen sonuçlar karşısında güçlü bir şüphecilik paylaşır
- Fazla iyi görünen sonuçlar neredeyse her zaman gerçeği yansıtmaz
Karşılaştırma, şans ve derinlik
- Araştırma son derece sonuç odaklıdır
- Özellikle akademide, başkalarının makale başarısını görüp duygusal olarak sarsılmak kolaydır
- İnsanlar farklı nedenlerle başarılı olur
- Bazıları şanslıdır
- Akademik değerlendirme süreci ne tutarlıdır ne de adildir
- Kendi alanınızda hayranlık uyandıran yeni bir araştırma çıktığında şu soruyu sormalısınız: “Bu içgörüyü kendim üretebilecek kadar derin bir seviyede çalışıyor muydum?”
- Cevap “evet” ise süreç doğrudur ama siz başka işlerle meşgul olduğunuz için o keşfi yapamamışsınızdır
- Cevap “hayır” ise bunu daha derine inmek için motivasyon yapmalısınız
Görünmeyen tekrar işleri
- Aydınlanmadan önce de odun yarıp su taşınır, aydınlanmadan sonra da; araştırmada da benzer şekilde çok tekrar işi vardır
- Başarılı projelerin çoğunda perde arkasında yüzlerce saatlik angarya niteliğinde iş bulunur
- Andrej Karpathy, ImageNet'in önemli bir bölümünü elle etiketledi
- SWEBench yaratıcıları, değerlendirme için yararlı, küçük ve yönetilebilir bir GitHub issue kümesi oluşturmak amacıyla GitHub verilerini yüzlerce saat boyunca titizlikle filtreledi
- Büyük araştırmacıların kariyerlerine bakıldığında, başarıdan önce uzun süre görünmeden çalıştıkları görülür
- Fikir ne kadar iddialı ve geleceğe dönükse, titiz uygulama ve değerlendirme için o kadar fazla iş gerekebilir; bu zorluk bir kusur değil, özelliktir
Bug'lardan şüphe etmeyi alışkanlık edinmek
- Collin Raffel'e göre birçok fikir, kötü fikir olduğu için değil, araştırmacının bulamadığı kod bug'ları yüzünden başarısız olur
- LLM dünyasında bu sorun özellikle zordur
- Modern derin öğrenme yazılım yığını çok karmaşıktır ve bug her yerde olabilir
- eğitim
- çıkarım
- harness
- veri
- Bir şey yanlış görünüyorsa görmezden gelinmemelidir
- Çok sayıda metriği log'lamalı ve hepsini anlamaya çalışmalısınız
- Bazı metrikler beklentiden sapıyorsa nedenini bulmalısınız; gerçekten bir şeyler yanlış gidiyor olabilir
- Araştırmacı için önemli özelliklerden biri sağlıklı paranoya'dır
Hızlı geri bildirim ve bağlam değiştirme
- Derin öğrenme deneylerinin çoğu fazla uzun sürer
- model eğitimi haftalar hatta aylar sürebilir
- modeli tek bir görevde değerlendirmek bile günler alabilir
- Ajanlarla kod yazarken, birçok deneyi paralel başlatıp yavaş döngülerle çalıştırmak cazip gelebilir
- Basit paralelleştirme bir noktaya kadar yardımcı olur ama bağlam değiştirme zararlı bir örüntüdür
- Hızlı deney geri bildirimi sağlayan ergonomik bir araştırma iş akışı tasarlamak gerekir
- eğitimin cold start süresi azaltılmalıdır
- hızlı sonuç döndüren küçük değerlendirmeler oluşturulmalıdır
- Keller Jordan'ın nanoGPT speedrun çalışması, hızlı tekrar döngülerinde ne kadar çok şey öğrenilebileceğini gösteren bir örnektir
- Bazı sonuçlar sonunda kaçınılmaz biçimde uzun sürer
- durumu günler boyunca korumak ve bugün biten geçen haftaki deneyi anlamak becerisi çok değerlidir
Kodlama ajanlarının kötüleştirdiği sorunlar
- Kodlama ajanları daha hızlı hareket etmeyi sağlar ama iki sorunu büyütür
- temel ayrıntıları anlamayı zorlaştırır
- bağlam değiştirmeyi daha sık hâle getirir
- İyi araştırmacı bu iki güce karşı aktif biçimde çalışmalıdır
- Codex eğitim script'ini yazabilir, çalıştırabilir, çalışırken izleyebilir, sonuçları yorumlayabilir ve e-postayla gönderebilir
- Ancak şu tür küçük hatalar oluşabilir
- hata alınca sormadan system prompt'u kısaltması
- değerlendirmenin makul sürede çalışması için sequence length'i düşürmesi
- kullanıcı açıkça belirtmediği için yanlış config ile çalıştırması
- Mühendislik açısından bunlar kolay düzeltilebilecek küçük hatalar olabilir ama bilim açısından ciddidir
- küçük bir eksiklik bile makaledeki önemli sonucu maddi biçimde değiştirebilir
- bu yüzden kabul edilemez
- Kodu bizzat yazmamış olsanız bile, sonucu anlamak için o sonucu üreten sistemi anlamanız gerekir
- İyi bilim, tüm sistemin nasıl çalıştığını öğrenmeyi gerektirir; ancak o zaman gözlemin doğru olduğundan emin olabilirsiniz
Araştırmayı belirleyen mizaç
- Başarılı bir araştırmacı olmak için gereken şey yalnızca yetenek değildir
- Mizaç büyük ölçüde küçümsenmektedir
- Merakı ve sebatı korumak, düşünceli ve titiz kalmak gerekir ki fikirler size gelebilsin
- En iyi araştırmalar ve en iyi ürün çalışmaları, problemi yeterince uzun süre elinde tutup gerçekten anlayabilen kişilerden çıkar
- Hızlı yayımlama ve hızlı yineleme baskısı gerçektir ama birikim derinlikten doğar
2 yorum
Hacker News görüşleri
Batı’da kullanılan Zen ile Doğu Asya’daki Chan/Zen (禪) oldukça farklı hissettiriyor.
Batı tarzı Zen muhtemelen 1970’lerin Zen and the Art of Motorcycle Maintenance kitabından gelen imgeye daha yakın ve genelde sükunet ile acemi zihni anlamına gelen bir nüans taşıyor.
Buna karşılık Doğu Asya’daki Zen, gerçekten de amaçsızlık ya da amaçtan yoksun olmaya daha fazla ağırlık veriyor.
Batı tarzı Zen benliği eğitip daha güçlü kılmaya yönelikmiş gibi görünürken, Doğu Asya’daki Zen doğayı izlemeye, benliği bırakmaya ve akışına izin vermeye daha yakın.
Gerçek Zen pratiğinde odak, benliği sorgulamak, bağlılıkları bırakmak ve başarı, kıyaslama, kontrol arzusu gibi şeylerin tümünün boş olduğunu kavramak.
Meşhur bir deyiş olarak fang xia zhuo (放下著), yani “her şeyi bırak” vardır.
Hatta antik Roma Stoacılığı, Batı tarzı Zen’den daha çok Zen’e yakın görünüyor.
Bu yüzden bu yazıyı gördüğümde, başarı arzusundan vazgeçmek gerekip gerekmediği hakkında bir yazı sanmıştım; bambaşka bir yöne gitmesi ilginçti.
Oysa “Roma tarzı” denmesi daha doğru olan Stoacılık, çok daha bütüncül bir etik sistemine yakın.
Zihinsel bir durumu beş kelimede yoğunlaştırıyor; ayrıca onun yazılarının Doğu felsefesinden güçlü biçimde etkilendiğini söylediğini de hatırlıyorum.
Sağlıklı biçimde amaçsız var olma üzerine harika bir kaynak.
https://www.idler.co.uk/article/leisure-principles/
https://archive.is/nKJM2
Böyle olunca beyin “düşünceleri kovalama” durumundan çıkıp dinleniyor ve meditasyon bittikten sonra daha iyi odaklanabildiğiniz için daha çok şey başarabiliyorsunuz.
Batı’daki birçok Zen uygulayıcısının bunu fark edip meditasyonu bu amaçla kullanması da muhtemelen doğru.
Star Wars’u düşünürsek, “Güç” sanki odaklanma kuvvetiyle uzay gemisini havaya kaldırma yeteneği gibi resmediliyor; ama bu bir mit.
Buna karşılık Zen benzeri bir zihin durumuna ulaşıldığında, o uzay gemisini kaldırıp kaldıramadığınız daha az önemli hale geliyor.
Doğu geleneklerinde Zen, amacın kendisidir.
Asıl söylenmek istenenin buna daha yakın olup olmadığını merak ediyorum.
2015 civarında hem backend mühendislerini hem de makine öğrenimi mühendislerini yönetmeye başladım.
Backend mühendislerinin çoğu makine öğreniminde daha fazla çalışmak istiyordu; fırsat verildiğinde bunu iyi yapanlar oldu ama birkaç ay içinde yeniden backend’e dönmek isteyenler de vardı.
Aynı dönemde makine öğrenimi liderlerinden biri, makine öğreniminden çekilip yalnızca makine öğrenimini destekleyen backend işleri yapmak istedi.
Bu akışı izledikçe, insanların başarı sinyalini doğrulama ihtiyacı duyma sıklığının farklı olduğunu düşünmeye başladım.
Ürünün doğası gereği yeni ya da güncellenmiş bir modelin performansını ölçmek için onu en az bir tam ay canlı sistemde çalıştırmak gerekiyordu ve ilk çalışmadan son analize kadar süreç genelde iki aydan uzun sürüyordu.
Buna karşılık birçok backend işinde hızlı bir prototip yapıp çalıştırarak işe yarayıp yaramadığını hemen görebiliyor, sonra bir sonrakine geçebiliyordunuz; yani sinyal gün boyu sürekli geliyordu.
İnsanların ihtiyaç duyduğu sinyal sıklığındaki fark, makine öğrenimi işini sevip sevmemelerinde büyük rol oynuyordu.
Bu bir tür yönetici versiyonu feature engineering gibiydi ve o ekipteki insanlardan gerçekten çok şey öğrendim.
Veri mühendisliği takımı veri bilimi işini daha çok yapmak istiyordu ve iki veri bilimcinin ikisi de veri mühendisi olmak istiyordu.
Onlardan biri, herkes veri bilimcisi olmak istediği için alanın fazla kalabalık olduğunu, veri mühendisi olarak daha çok para kazanılabileceğini savunuyordu.
Başka bir sefer, bir arkadaşım yalnızca frontend yapmaktan kurtulması gerektiğini, bunun çıkmaz bir kariyer olduğunu söylüyordu; ertesi gün öğle yemeğinde ise bir iş arkadaşım frontend geliştiricilerin bütün övgüyü topladığını söyleyip alana geçmeyi düşünüyordu.
“İçgörü kazandığın gün de oturursun. İçgörü kazanmadığın gün de oturursun” sözü, Brian Greene’in bir röportajında Ed Witten’ın verdiği yanıtı hatırlatıyor.
Greene, Institute for Advanced Study’de günlük hayatın nasıl olduğunu sorunca Witten şöyle cevap vermişti: “Masamda oturuyorum”.
Yazının merkezinde “daha derine in” duygusu var ama bunun iki ucu keskin bir kılıç olduğunu düşünüyorum.
Entropi, tensörler ve gradyanlar önemli; hatta neredeyse temel gereklilik.
Ama son 10 yıldaki derin öğrenme ilerlemelerinin çoğu, temel fikirlerden ziyade artımlı ve deneyle doğrulanmış pratiklerden geldi diye düşünüyorum.
ReLU’nun sigmoid’den neden daha iyi olduğuna dair iyi sezgiler var, ama Hinton’ın orijinal makalesi de büyük ölçüde “3 kat daha hızlı öğreniyor” demeye yakındı.
Temelleri yeniden düşünmek faydalı olabilir, ancak gerçek ilerlemenin “temeli değiştirelim” türü yaklaşımlarla geldiği durumlar nadirdir.
AlexNet ya da Attention Is All You Need gibi önemli makaleler de mevcut fikirleri rafine edip bunun nasıl yardımcı olduğunu göstermeye daha yakındı.
Makine öğrenimi deneysel bir bilimdir; matematiksel olarak şık birçok fikir işe yaramazken, mühendislik odaklı fikirler sıklıkla iyi çalışır.
“Bir araştırmacı için en önemli özelliklerden biri sağlıklı paranoyadır” tavsiyesinin de, çok fazla doktora öğrencisinin tamamen tükendiğini gördüğüm için, “depresyon filozofa iyi gelir” sözünden daha iyi bir öğüt olup olmadığından emin değilim.
Eğer kastedilen inatçı bir kaşif olmaksa, buna katılırım.
Fikirlere fazla uzun süre tutunmak ters tepebilir; açık fikirli kalmak ve egonun yargıyı bulandırmasına izin vermemek gerektiği sonucuna da katılıyorum.
Gerçekten çok iyi bir denemeydi ve okuması keyifliydi.
Yazarın dediği gibi yalnızca araştırmada değil, birçok alanda da başarı ya da ilerleme büyük ölçüde mizaçla ilgili.
Sonuçta önemli olan şeyler iyi bir tutum, sabır, doğuştan gelen merak ve başarısızlıktan toparlanabilme gücü.
İyi bir araştırmacıyı oluşturan yetenekler başka alanlara da son derece iyi aktarılabiliyor.
Ancak rahatsızlığa katlanma kapasitesini aşırı konfor lehine azaltan kültür yüzünden, bu yetenekler giderek daha nadir ve daha değerli hale geliyor gibi görünüyor.
İnsanlar beklemeyi ya da başarısız olmayı giderek daha zor kaldırıyor.
Zen kelimesinin kökenine dair bir yan bilgi olarak, Zen Japoncadır ve Çince Chan’dan gelir; Chan da Sanskritçe Dhyana’dan gelmektedir
Dhyana kabaca odaklanma ya da meditasyon olarak çevrilebilir
Sanskritçe → Çince → Japonca akışı, Budizmin Hindistan’dan yayılırken izlediği coğrafi yolu yansıtır
Aynı kelime Vietnamca ve Korecede sırasıyla Thien ve Seon olarak kullanılır
Makine öğreniminin matematik veya programlamadan ziyade biyolojiye ya da simyaya daha yakın olması nedeniyle bu durumun ortaya çıktığını düşünüyorum
Matematikte ya da programlamada birinci ilkelere kadar inilebilir, soyutlamalar sağlamdır ve belirsizlik sınırlıdır; ancak makine öğreniminde durum böyle değildir
Benzer bir bağlamda, Anthropic’in iş ilanlarını açık tutarken kendi ürünlerinin frontier model araştırmalarında kullanılmasını yasaklaması oldukça gülünç ve dar görüşlü görünüyor
Bu yetenekli insanların nereden çıkacağını düşündüklerini bilmiyorum
Aceleyle alınmış bir karar gibi duruyor ve bir gün rekabet karşıtı davalara yol açma ihtimali yüksek görünüyor
“OpenAI’da etkileyici olan şey, şirketi yöneten insanların, en azından teknik taraftakilerin çoğunun 35 yaşın altında olması. ChatGPT’nin arkasındaki önemli karar vericilerin büyük kısmı 30 yaşın altında” kısmı, altına hücum döneminde de 49ers’ın çoğunun 25 yaşın altında olduğunu düşününce hâlâ gelişim payı olduğu anlamına geliyor gibi görünüyor
Benzetmeyi sürdürürsek, birçok yapay zeka kahramanı en başından beri TPU ve GPU havuzuna yakın olan kişiler olabilir
Bu yazının ana fikri, “mevcut değerlendirme paketlerine fazla güvenmeyin” gibi görünüyor
Skorlar problemin yalnızca bir bölümünü yansıtır
Asıl ilginç olan, yeni ve sağlam değerlendirme ölçütleri keşfedip bunlara dayanarak yeni şeyler yaptığınızda beklenmedik şekilde zeki sonuçların ortaya çıkıp çıkmadığıdır
Ancak asıl nokta, başkalarının önerdiği problemlere odaklanmanın son derece belirli ve oldukça kısa vadeli bir düşünme biçimi olmasıdır
İyi araştırmacı benchmark puanlarını yükseltir, büyük araştırmacı ise hangi problemi çözdüğünü düşünür
Hacker News yorum özetleri de eğlenceliymiş.