AlphaChip hakkında yazdığım yazının (https://vighneshiyer.com/misc/ml-for-placement/) en altına, Google'ın yanıtını ve genel olarak AlphaChip algoritmasını ele alan bir ek bölüm ekledim.
Özetle, Nature yazarlarının ISPD yazarlarının eğitim metodolojisine yönelik bazı geçerli eleştiriler getirdiğini düşünüyorum. Ancak AlphaChip, ticari otomatik floorplanner'lara ve AutoDMP'ye kıyasla hâlâ hesaplama maliyeti ve çalışma süresi açısından çok yüksek olduğundan rekabet gücü düşük. Yine de ISPD yazarlarının Nature yazarlarının tüm eleştirilerini ele alan daha titiz bir çalışma yayımlaması gerekiyor; ayrıca yalnızca Google'ın yayımladığı önceden eğitilmiş checkpoint'leri değerlendirmek bile tartışma için yararlı veri sağlayacaktır.
Yazının sonucunda “ISPD yazarlarının daha iyi yapabileceği noktalar olduğunu kabul ediyorum, ancak sonuç hâlâ geçerli. Nature yazarları, CMP ve AutoDMP'nin CT'den çok daha düşük çalışma süresi ve hesaplama gereksinimiyle daha iyi performans verdiği gerçeğini ele almıyor” denmişti; oysa yanıtın kilit noktalarından biri, karşılaştırmada kullanılan kaynakların çok daha küçük olduğuydu.
Sırf bu neden bile ISPD çalışmasının sonucunun geçerliliğinden şüphe etmek için yeterli görünüyor; bunu nasıl değerlendiriyorsunuz merak ediyorum. Ayrıca bu yorum nötr, fakat yazıda AlphaChip yazarları için “arrogance”, “disdain”, “hyperbole”, “belittling”, “hostile” gibi ifadeler kullanılırken Synopsys başkan yardımcısı için “excellent” denmiş; ton çok daha sertti. Bu farkın nereden kaynaklandığını da merak ediyorum.
Çıkarım için yaklaşık 6 saat boyunca 16 GPU, ön eğitim için de 48 saat kullanmak aşırı hesaplama sayılmaz.
Bulutta GPU'lar saat başına yaklaşık 1-2 dolar; yani çıkarım yaklaşık 100-200 dolar, ön eğitim yaklaşık 800-1600 dolar tutar ve ön eğitim maliyeti birden çok çipe yayılarak amorti edilir. Bulut fiyatları üst sınıra yakın; çoğu bilgisayar bilimi laboratuvarının elinde bu seviyeden çok daha fazla şirket içi kaynak bulunur. Endüstride bu tür maliyetler, çip tasarım sürecinin geri kalan maliyetleriyle kıyaslandığında tamamen küçüktür; ticari EDA yazılım lisanslarının maliyeti bile milyonlarca dolar düzeyindedir.
Şu aşamada Jeff Dean'e en azından temel bir güven payı vermemek için bir neden var mı, emin değilim. Geçmiş başarıları neredeyse kimseyle kıyaslanamaz ve hâlâ aktif. Onun üzerine gölge düşürecek bir şey oldu mu? Bazen mesajı getiren kişinin kendisi de ağırlık taşır.
Burada yanlış kişilerle aynı safta yer almış gibi görünüyor. O özünde bir sistem kurucusu; çip tasarımı ya da EDA uzmanı değil, katı anlamda bir makine öğrenimi araştırmacısı da değil.
Karizmatik genç bir dolandırıcının etkisine kapıldığını ve artık geri adım atamayacak kadar işin içine girdiğini düşünenler de olacaktır. Bu projeye odaklanması Google içindeki konumuna da yardımcı olmadı; geçen yıl önemli işlerin hepsi Demis'e geçti ve ona neredeyse onursal sayılabilecek bir unvan kaldı. Başarıları düşünüldüğünde epey üzücü.
Jeff Dean 2020, 2021 ve 2022'de konuşmalar yaptığında böyle bir güven makuldü. Ancak şimdi EDA topluluğunun şüpheciliğine akademik olmayan kişisel saldırılarla ve “birçok şirket”in kullandığına dair muğlak göndermelerle yanıt veriyor.
Bence artık iyi niyet varsayımı aşamasını geçip ciddi şüphelerin mümkün olduğu bir alana girdik.
Bu tartışmada neden bu kadar çok duygu ve rahatsızlık olduğunu merak ediyorum. Benchmark'lar ya da anlamlılık gibi sıkıcı bir akademik tartışma nasıl kişisel saldırı kavgasına dönüştü?
Yapay zeka dışı uygulama yöntemleriyle çalışan çok insan var.
Yeniden üretmenin bir yolu olmadan büyük iddialar ortaya atıp medyaya koşarsanız, medya her şeyi yer.
“Yapay zeka yapay zekayı tasarlıyor… yok, çip tasarlıyor” sözü beşeri bilimler kökenlilere fütüristik geliyor; tüm “AI” iddialarından şüphe etmesi gereken programcılara da öyle görünüyor anlaşılan. Nature'da yayımlanmasından başlayarak tüm yayın süreci dürüst değilmiş gibi görünüyor. Neden ISCCC gibi bir yer değildi?
Para yüzünden.
Bunu rahatsız edici buluyorsanız, Twitter'da Jeff Dean'e saldırmaya çalışan çevre aktivistlerini görmeniz lazım.
Sorun, yapay zeka etrafındaki Big Tech'in ticari teşviklerinin “sıkıcı akademi”nin suyunu bulandırıp dergi makalesi ya da arXiv ön baskısı kılığına girmiş dürüst olmayan bilgi reklamları üretmesinde[1].
Sonuç olarak modern yapay zeka araştırmaları, sosyal bilimlerden çok daha ağır bir tekrarlanabilirlik krizi yaşıyor ve meşru mazeretleri çok daha az. Google yalan söylemiyorsa, bağımsız kişilerin inceleyebilmesi için benchmark verilerini yayımlaması tartışmanın büyük kısmını ortadan kaldırırdı; ama hâlâ bunu reddediyor: https://cacm.acm.org/news/updates-spark-uproar/ Google, sonuçlarının yalnızca otoriteye dayanarak kabul edilmesi gerektiğini düşünüyor gibi. Ayrıca Google'ın 2022'de işten çıkardığı ihbarcı Satrajit Chatterjee'nin sızan makalesinde, RePlAce'in “%30-35” üstünlüğünün, Google'ın o dönemde çip tasarımı yapay zeka yaklaşımı için öne sürdüğü “insanüstü” iddiaları çürüten sonuçlarla tutarlı olduğu söyleniyordu. Jeff Dean'e yönelik “kişisel saldırılar” tamamen yerinde; çünkü eleştirinin özü, onun karakterinin dürüst olmayan ve otoriter olduğu yönünde. Şüpheli araştırmalar yayımlıyor ve karşı çıkan kişileri işten çıkarıyor.
[1] Jeff Dean'in, eleştirel makale bir konferans bildirisi olduğu için onu küçümsemesi özellikle iğrenç. İnanılmaz derecede kötü bir tavır.
Jeff Dean’in tweet’ine göre Cheng ve diğerleri, Google araştırmacılarının çalışmasını yeniden üretmek için gereken prosedürleri izlememiş
Özellikle, “yazarlar hiç ön eğitim yapmadı; Nature makalesinde ön eğitimden 37 kez söz edilmesine rağmen bunu yapmadıkları için, öğrenme tabanlı yöntemin diğer çip tasarımlarından öğrenme yeteneğini elinden aldılar” diyor. Ancak Google’ın Circuit Training deposu[1] “sıfırdan eğitilen sonuçların, önceden eğitilmiş modeli ince ayar yapan makaledeki sonuçlara benzer ya da daha iyi” olduğunu açıkça belirtiyor. Bir şeyi yanlış anlamış olabilirim ama hangisi doğru? Ön eğitim yapmadıkları için mi batırdılar, yoksa depoda yazan “prosedürü” izleyerek adil bir yeniden üretim mi denediler? UCSD grubunun birkaç adımı tersine mühendislikle çıkarmak zorunda kaldığı düşünülürse, yalnızca makale sonuçlarıyla yeniden üretilebilir değilmiş gibi görünüyor
[1]: https://github.com/google-research/circuit_training/blob/mai...
Markov’un makalesinde de Google’dan farklı bir yazar grubunun makalesine bağlantı var ve orada da ön eğitimin faydası çok küçük görünüyor
Üstelik benchmark sayısının az olduğu bir durumda, kaynağı bilinmeyen Google ön eğitim modelini kullanmak ters tepebilir. Google’ın muhtemelen kullanılabilir tüm benchmark’larla eğitip ticari araçların en iyi çözümlerini geri kusmasını sağlamış olması çok olası
“Sıfırdan eğitim”, yeni tasarım denemeleriyle geçmiş tasarımların karıştırılması anlamına da gelebilir
O zaman çelişki yok. Bu, geçmiş tasarımlarla ön eğitim yapıp sonra yeni tasarımla ince ayar yapmak ile tüm süre boyunca tüm verileri en baştan karıştırarak eğitmek arasındaki farktır. İnce ayar katastrofik unutmaya yol açabilir ve ikisi de geçmiş tasarımları hiç içermeyen bir yaklaşımdan daha iyi performans gösterebilir
Circuit Training deposu daha çok basit bir örnek göstermeye yakın. Açık kaynak depoların kurulum testi veya doğrulama için basit örnekler açıklaması yaygındır; bu, genel olarak en iyi sonuçları elde etmenin yolu olduğu anlamına gelmez
Karışıklık, o örnekte makaledeki ön eğitim sonuçlarına benzer sonuçlar elde edildiğinin söylenmesinden kaynaklanmış olabilir. Ama bunun genel olarak ön eğitimi reddetmediği açık. Cheng ve diğerleri gerçekten belirsiz bulduysa, sorumlu yazara sormalıydı. Deponun bazı kısımlarını “tersine mühendislikle” çözmeleri gerektiğini düşündülerse, bunu da sormalıydılar
Bağlantı verilen makalede kötü adam gibi gösterilen Chatterjee artık Google’a dava açıyor gibi görünüyor. Görünüşe göre, kovulmasının nedeninin yöneticisi Jeff Dean’in yanlış iddiaları bildiği hâlde sunduğunu belirtmesi olduğunu düşünüyor.
“Açık olmak gerekirse, RL’in akademideki en güncel düzeyden ya da en güçlü ticari makro yerleştiriciden daha iyi olduğuna inanmak için hiçbir kanıt yok. İkincisiyle yapılan karşılaştırma o kadar zayıf ki, birçok durumda ticari araç kurulum sorunları nedeniyle çalıştırılamadı bile” ifadesinin Jeff Dean’in şirket içi sunum ekran görüntüsü olduğu söyleniyor. https://regmedia.co.uk/2023/03/26/satrajit_vs_google.pdf Dışarıdan biri olarak Chatterjee’nin iş arkadaşlarının iyi sonuçlarını bastıran kötü ve pahalı bir işe alım mı, yoksa yanlış bir sunumu engellemeye çalışan son derece değerli bir çalışan mı olduğunu anlamak çok zor.
Gerçekten çok fazla zaman boşa harcandı.
Markov ile birlikte şirket içinde araştırma bile yürüttü, ancak AlphaChip yazarları şöyle açıklıyor: 2022’de Google’ın bağımsız komitesi inceleme yaptı ve “taslağın iddia ve sonuçlarının deneylerle bilimsel olarak desteklenmediğine” karar verdi; ayrıca “[AlphaChip]’in orijinal veri kümesi sonuçlarının bağımsız olarak yeniden üretilmesi, [Markov et al.]’ın RL sonuçlarını sorgulanır hâle getirdi” deniyor. Yazarlar, komiteye Markov ve diğerlerinin rapor ettiğinden çok daha iyi RL sonuçları üreten tek satırlık bir betik sağladıklarını ve bu sonuçların onların “daha güçlü” benzetimli tavlama temel çizgisinden de iyi olduğunu söylüyor. Markov ve ortak yazarlarının makaledeki sayıları nasıl ürettiği hâlâ bilinmiyormuş.
(https://arxiv.org/pdf/2411.10053)
Akademide, finansta ve başka alanlarda dolandırıcılık ya da manipülasyon yapacak kişileri işe almak gerçekten büyük bir sorun.
Bunu azaltmanın en iyi, belki de tek yolu iç teşvikler ve kontroller ile kültürdür. Her döngüde birkaç puanlık bitmek bilmeyen iyileştirmeler için güçlü baskı yapıp, bu performansın baştan gerçekten var olup olmadığını doğrulamadan bunu düzenli olarak getiren kişileri terfi ettirirseniz, ölçekten bağımsız olarak sonunda aynı şey olur. Küçük bir ekipte, departmanda, şirkette, bu şirketlerden çoğunu elinde tutan bir hedge fund’da, o fonların fonunda ya da federal hükümette her yerde olabilir. Er ya da geç liderlik, vicdanı olmayan kişiler tarafından ciddi şekilde sızmaya uğrar. Akademide peş peşe gelen yayın skandalları ve finans dünyasındaki sayısız olay bunun örneği. Holmes ve SBF hapiste, ama finanse ettikleri kişiler ve benzerleri hâlâ etkinin zirvesinde; o ideolojiyi taşıyorlar ve artık daha iyi avukatlara da sahipler. “Balık baştan kokar” diye eski bir söz vardır. STEM sektörlerinin sembol liderlerinde görülen her türden şüpheli durum ve bitmeyen skandallar karşısında “aferin, sistemi yendi” derseniz, dürüst ve adil mevcut düzenin her cepheden saldırıya uğramasından başka bir sonuç beklemek zor. Biz de sonuçta “güç haklıdır” diyen yarı dinsel bir ideale ayaklarımızla oy verdik; ben de tiksinip bırakana kadar bunun bir parçasıydım. Buna Objectivism, Effective Altruism, Capitalism gibi farklı adlar veriliyor ama gerçek kapitalizm de değil. Her şeyin yapış yapış kirlenmiş olmasına şaşırmamak gerek. Bugünün cevabını pek bilmiyorum. Daha az kötü şirketlerde çalışmak, en azından anonim olarak suistimalleri ifşa etmek ve liderlerin röportajlarda söylediklerini dinleyip dikkatle incelemek gibi şeyler. Başka önerileri de duymak isterim.
Jeff’in buna yanıt vermesi için baskı görmesini anlıyorum. “Google Brain” araştırma çıktılarının neredeyse tamamında adı var.
Ama “Onlar aptal oldukları için yeniden üretemediler, dolayısıyla yeniden üretilebilir” tarzı bir yaklaşım bir karşı argüman değil, taciz. Eleştirmenler sinire dokunmuş gibi ve onun araştırmasının ortaya koyduğu yeniden üretilebilirlik sorununa iyi bir yanıtı yokmuş gibi duyuluyor.
Bağlantı verilen tweette böyle bir iddiada bulunmuyor. Onun iddiası “onlar prosedürü izlemedikleri için yeniden üretemediler” ve bu iddianın motivasyonu ne olursa olsun oldukça makul bir iddia gibi görünüyor.
Ön eğitim ya da yeterli hesaplama gibi yeniden üretim prosedürünü izlemedikten sonra başarısız oldularsa, o “yeniden üretim” girişiminin kusurlarını belirtmekte ne sorun olduğunu anlamıyorum.
Bu nerede yazıyor? Dean tweetinde yazarların kaçırdığı somut adımları ortaya koyuyor.
Neyse ki böyle bir şey söylemedi.
Tweet yalnızca yeniden üretim girişiminin orijinal metodolojiyi gerçekten izlemediğini söylüyor. Yeniden üretim girişiminin yazarlarının “aptal” olduğu ya da benzeri bir ifade yok; bu sadece uydurma. “Yeniden üretemediler, o hâlde yeniden üretilebilir” şeklindeki açıkça hatalı mantık da tamamen uydurma.
Eleştirmenin işvereni nedeniyle önyargılı olduğunu iddia etmek gerçekten komik. Sanki Google’da çalışmak çıkar çatışması değilmiş gibi konuşuluyor.
Google, hisse fiyatını yükseltmek için her türden “ben de yapıyorum” tarzı yapay zeka geliştirmesini umutsuzca abartan şirket değil mi? Jeff fazla Kool-Aid içmiş, suyun ne olduğunu bile unutmuş gibi.
Google’ın nihai kanıtı, rakiplerinden daha iyi çipler yapmak olacaktır. Şu an için bunu yapamıyor.
“Yöntemimizi yeniden üretirken yeterince hesaplama kaynağı kullanmadılar” eleştirisi bugünlerde biraz komik. Elbette öyledir, siz Google’sınız.
Buluta sahip değilseniz metodolojimizi inceleyemezsiniz demek gibi duyuluyor. Daha fazla hesaplama ve daha fazla ön eğitimin faydalı olduğu doğru olsa bile şaşırtıcı değil, ama o zaman doğrulama zorlaşıyor. İlginç bir karşı tarafı da var: Google’ın muazzam hesaplama kaynağı var, ama Synopsys’in öğrenmek için muazzam miktarda verisi var. Elbette müşteri fikri mülkiyetiyle eğitim yapılıp yapılamayacağı çok büyük bir şart.
Çip tasarımcıları EDA araçlarını şirket içi sunucularda çalıştırır. Bir EDA şirketi müşteri verilerine nasıl erişsin? NDA kapsamında hata ayıklama amacıyla bir miktar erişim mümkün olabilir, ama bu müşteri fikri mülkiyeti ile eğitim yapabilecekleri anlamına gelmez.
1 yorum
Hacker News yorumları
AlphaChip hakkında yazdığım yazının (https://vighneshiyer.com/misc/ml-for-placement/) en altına, Google'ın yanıtını ve genel olarak AlphaChip algoritmasını ele alan bir ek bölüm ekledim.
Özetle, Nature yazarlarının ISPD yazarlarının eğitim metodolojisine yönelik bazı geçerli eleştiriler getirdiğini düşünüyorum. Ancak AlphaChip, ticari otomatik floorplanner'lara ve AutoDMP'ye kıyasla hâlâ hesaplama maliyeti ve çalışma süresi açısından çok yüksek olduğundan rekabet gücü düşük. Yine de ISPD yazarlarının Nature yazarlarının tüm eleştirilerini ele alan daha titiz bir çalışma yayımlaması gerekiyor; ayrıca yalnızca Google'ın yayımladığı önceden eğitilmiş checkpoint'leri değerlendirmek bile tartışma için yararlı veri sağlayacaktır.
Sırf bu neden bile ISPD çalışmasının sonucunun geçerliliğinden şüphe etmek için yeterli görünüyor; bunu nasıl değerlendiriyorsunuz merak ediyorum. Ayrıca bu yorum nötr, fakat yazıda AlphaChip yazarları için “arrogance”, “disdain”, “hyperbole”, “belittling”, “hostile” gibi ifadeler kullanılırken Synopsys başkan yardımcısı için “excellent” denmiş; ton çok daha sertti. Bu farkın nereden kaynaklandığını da merak ediyorum.
Bulutta GPU'lar saat başına yaklaşık 1-2 dolar; yani çıkarım yaklaşık 100-200 dolar, ön eğitim yaklaşık 800-1600 dolar tutar ve ön eğitim maliyeti birden çok çipe yayılarak amorti edilir. Bulut fiyatları üst sınıra yakın; çoğu bilgisayar bilimi laboratuvarının elinde bu seviyeden çok daha fazla şirket içi kaynak bulunur. Endüstride bu tür maliyetler, çip tasarım sürecinin geri kalan maliyetleriyle kıyaslandığında tamamen küçüktür; ticari EDA yazılım lisanslarının maliyeti bile milyonlarca dolar düzeyindedir.
Şu aşamada Jeff Dean'e en azından temel bir güven payı vermemek için bir neden var mı, emin değilim. Geçmiş başarıları neredeyse kimseyle kıyaslanamaz ve hâlâ aktif. Onun üzerine gölge düşürecek bir şey oldu mu? Bazen mesajı getiren kişinin kendisi de ağırlık taşır.
Karizmatik genç bir dolandırıcının etkisine kapıldığını ve artık geri adım atamayacak kadar işin içine girdiğini düşünenler de olacaktır. Bu projeye odaklanması Google içindeki konumuna da yardımcı olmadı; geçen yıl önemli işlerin hepsi Demis'e geçti ve ona neredeyse onursal sayılabilecek bir unvan kaldı. Başarıları düşünüldüğünde epey üzücü.
Bence artık iyi niyet varsayımı aşamasını geçip ciddi şüphelerin mümkün olduğu bir alana girdik.
Bu tartışmada neden bu kadar çok duygu ve rahatsızlık olduğunu merak ediyorum. Benchmark'lar ya da anlamlılık gibi sıkıcı bir akademik tartışma nasıl kişisel saldırı kavgasına dönüştü?
“Yapay zeka yapay zekayı tasarlıyor… yok, çip tasarlıyor” sözü beşeri bilimler kökenlilere fütüristik geliyor; tüm “AI” iddialarından şüphe etmesi gereken programcılara da öyle görünüyor anlaşılan. Nature'da yayımlanmasından başlayarak tüm yayın süreci dürüst değilmiş gibi görünüyor. Neden ISCCC gibi bir yer değildi?
Sonuç olarak modern yapay zeka araştırmaları, sosyal bilimlerden çok daha ağır bir tekrarlanabilirlik krizi yaşıyor ve meşru mazeretleri çok daha az. Google yalan söylemiyorsa, bağımsız kişilerin inceleyebilmesi için benchmark verilerini yayımlaması tartışmanın büyük kısmını ortadan kaldırırdı; ama hâlâ bunu reddediyor: https://cacm.acm.org/news/updates-spark-uproar/ Google, sonuçlarının yalnızca otoriteye dayanarak kabul edilmesi gerektiğini düşünüyor gibi. Ayrıca Google'ın 2022'de işten çıkardığı ihbarcı Satrajit Chatterjee'nin sızan makalesinde, RePlAce'in “%30-35” üstünlüğünün, Google'ın o dönemde çip tasarımı yapay zeka yaklaşımı için öne sürdüğü “insanüstü” iddiaları çürüten sonuçlarla tutarlı olduğu söyleniyordu. Jeff Dean'e yönelik “kişisel saldırılar” tamamen yerinde; çünkü eleştirinin özü, onun karakterinin dürüst olmayan ve otoriter olduğu yönünde. Şüpheli araştırmalar yayımlıyor ve karşı çıkan kişileri işten çıkarıyor.
[1] Jeff Dean'in, eleştirel makale bir konferans bildirisi olduğu için onu küçümsemesi özellikle iğrenç. İnanılmaz derecede kötü bir tavır.
Jeff Dean’in tweet’ine göre Cheng ve diğerleri, Google araştırmacılarının çalışmasını yeniden üretmek için gereken prosedürleri izlememiş
Özellikle, “yazarlar hiç ön eğitim yapmadı; Nature makalesinde ön eğitimden 37 kez söz edilmesine rağmen bunu yapmadıkları için, öğrenme tabanlı yöntemin diğer çip tasarımlarından öğrenme yeteneğini elinden aldılar” diyor. Ancak Google’ın Circuit Training deposu[1] “sıfırdan eğitilen sonuçların, önceden eğitilmiş modeli ince ayar yapan makaledeki sonuçlara benzer ya da daha iyi” olduğunu açıkça belirtiyor. Bir şeyi yanlış anlamış olabilirim ama hangisi doğru? Ön eğitim yapmadıkları için mi batırdılar, yoksa depoda yazan “prosedürü” izleyerek adil bir yeniden üretim mi denediler? UCSD grubunun birkaç adımı tersine mühendislikle çıkarmak zorunda kaldığı düşünülürse, yalnızca makale sonuçlarıyla yeniden üretilebilir değilmiş gibi görünüyor
[1]: https://github.com/google-research/circuit_training/blob/mai...
Üstelik benchmark sayısının az olduğu bir durumda, kaynağı bilinmeyen Google ön eğitim modelini kullanmak ters tepebilir. Google’ın muhtemelen kullanılabilir tüm benchmark’larla eğitip ticari araçların en iyi çözümlerini geri kusmasını sağlamış olması çok olası
O zaman çelişki yok. Bu, geçmiş tasarımlarla ön eğitim yapıp sonra yeni tasarımla ince ayar yapmak ile tüm süre boyunca tüm verileri en baştan karıştırarak eğitmek arasındaki farktır. İnce ayar katastrofik unutmaya yol açabilir ve ikisi de geçmiş tasarımları hiç içermeyen bir yaklaşımdan daha iyi performans gösterebilir
Karışıklık, o örnekte makaledeki ön eğitim sonuçlarına benzer sonuçlar elde edildiğinin söylenmesinden kaynaklanmış olabilir. Ama bunun genel olarak ön eğitimi reddetmediği açık. Cheng ve diğerleri gerçekten belirsiz bulduysa, sorumlu yazara sormalıydı. Deponun bazı kısımlarını “tersine mühendislikle” çözmeleri gerektiğini düşündülerse, bunu da sormalıydılar
İlgili yazılar. Başka var mı?
AI Alone Isn't Ready for Chip Design - https://news.ycombinator.com/item?id=42207373 - Kasım 2024, 2 yorum
That Chip Has Sailed: Critique of Unfounded Skepticism Around AI for Chip Design - https://news.ycombinator.com/item?id=42172967 - Kasım 2024, 9 yorum
Reevaluating Google's Reinforcement Learning for IC Macro Placement (AlphaChip) - https://news.ycombinator.com/item?id=42042046 - Kasım 2024, 1 yorum
How AlphaChip transformed computer chip design - https://news.ycombinator.com/item?id=41672110 - Eylül 2024, 194 yorum
Tension Inside Google over a Fired AI Researcher’s Conduct - https://news.ycombinator.com/item?id=31576301 - Mayıs 2022, 23 yorum
Google is using AI to design chips that will accelerate AI - https://news.ycombinator.com/item?id=22717983 - Mart 2020, 1 yorum
Jeff Dean’in yanıtının bağlamı burada
https://news.ycombinator.com/item?id=41673769
https://news.ycombinator.com/item?id=41673808
Kötü bir işe alımın ne kadar pahalıya patlayabileceği gülünç derecede açık: https://www.wired.com/story/google-brain-ai-researcher-fired...
“Açık olmak gerekirse, RL’in akademideki en güncel düzeyden ya da en güçlü ticari makro yerleştiriciden daha iyi olduğuna inanmak için hiçbir kanıt yok. İkincisiyle yapılan karşılaştırma o kadar zayıf ki, birçok durumda ticari araç kurulum sorunları nedeniyle çalıştırılamadı bile” ifadesinin Jeff Dean’in şirket içi sunum ekran görüntüsü olduğu söyleniyor. https://regmedia.co.uk/2023/03/26/satrajit_vs_google.pdf Dışarıdan biri olarak Chatterjee’nin iş arkadaşlarının iyi sonuçlarını bastıran kötü ve pahalı bir işe alım mı, yoksa yanlış bir sunumu engellemeye çalışan son derece değerli bir çalışan mı olduğunu anlamak çok zor.
Markov ile birlikte şirket içinde araştırma bile yürüttü, ancak AlphaChip yazarları şöyle açıklıyor: 2022’de Google’ın bağımsız komitesi inceleme yaptı ve “taslağın iddia ve sonuçlarının deneylerle bilimsel olarak desteklenmediğine” karar verdi; ayrıca “[AlphaChip]’in orijinal veri kümesi sonuçlarının bağımsız olarak yeniden üretilmesi, [Markov et al.]’ın RL sonuçlarını sorgulanır hâle getirdi” deniyor. Yazarlar, komiteye Markov ve diğerlerinin rapor ettiğinden çok daha iyi RL sonuçları üreten tek satırlık bir betik sağladıklarını ve bu sonuçların onların “daha güçlü” benzetimli tavlama temel çizgisinden de iyi olduğunu söylüyor. Markov ve ortak yazarlarının makaledeki sayıları nasıl ürettiği hâlâ bilinmiyormuş.
(https://arxiv.org/pdf/2411.10053)
Bunu azaltmanın en iyi, belki de tek yolu iç teşvikler ve kontroller ile kültürdür. Her döngüde birkaç puanlık bitmek bilmeyen iyileştirmeler için güçlü baskı yapıp, bu performansın baştan gerçekten var olup olmadığını doğrulamadan bunu düzenli olarak getiren kişileri terfi ettirirseniz, ölçekten bağımsız olarak sonunda aynı şey olur. Küçük bir ekipte, departmanda, şirkette, bu şirketlerden çoğunu elinde tutan bir hedge fund’da, o fonların fonunda ya da federal hükümette her yerde olabilir. Er ya da geç liderlik, vicdanı olmayan kişiler tarafından ciddi şekilde sızmaya uğrar. Akademide peş peşe gelen yayın skandalları ve finans dünyasındaki sayısız olay bunun örneği. Holmes ve SBF hapiste, ama finanse ettikleri kişiler ve benzerleri hâlâ etkinin zirvesinde; o ideolojiyi taşıyorlar ve artık daha iyi avukatlara da sahipler. “Balık baştan kokar” diye eski bir söz vardır. STEM sektörlerinin sembol liderlerinde görülen her türden şüpheli durum ve bitmeyen skandallar karşısında “aferin, sistemi yendi” derseniz, dürüst ve adil mevcut düzenin her cepheden saldırıya uğramasından başka bir sonuç beklemek zor. Biz de sonuçta “güç haklıdır” diyen yarı dinsel bir ideale ayaklarımızla oy verdik; ben de tiksinip bırakana kadar bunun bir parçasıydım. Buna Objectivism, Effective Altruism, Capitalism gibi farklı adlar veriliyor ama gerçek kapitalizm de değil. Her şeyin yapış yapış kirlenmiş olmasına şaşırmamak gerek. Bugünün cevabını pek bilmiyorum. Daha az kötü şirketlerde çalışmak, en azından anonim olarak suistimalleri ifşa etmek ve liderlerin röportajlarda söylediklerini dinleyip dikkatle incelemek gibi şeyler. Başka önerileri de duymak isterim.
Jeff’in buna yanıt vermesi için baskı görmesini anlıyorum. “Google Brain” araştırma çıktılarının neredeyse tamamında adı var.
Ama “Onlar aptal oldukları için yeniden üretemediler, dolayısıyla yeniden üretilebilir” tarzı bir yaklaşım bir karşı argüman değil, taciz. Eleştirmenler sinire dokunmuş gibi ve onun araştırmasının ortaya koyduğu yeniden üretilebilirlik sorununa iyi bir yanıtı yokmuş gibi duyuluyor.
Tweet yalnızca yeniden üretim girişiminin orijinal metodolojiyi gerçekten izlemediğini söylüyor. Yeniden üretim girişiminin yazarlarının “aptal” olduğu ya da benzeri bir ifade yok; bu sadece uydurma. “Yeniden üretemediler, o hâlde yeniden üretilebilir” şeklindeki açıkça hatalı mantık da tamamen uydurma.
Google, hisse fiyatını yükseltmek için her türden “ben de yapıyorum” tarzı yapay zeka geliştirmesini umutsuzca abartan şirket değil mi? Jeff fazla Kool-Aid içmiş, suyun ne olduğunu bile unutmuş gibi.
Google’ın nihai kanıtı, rakiplerinden daha iyi çipler yapmak olacaktır. Şu an için bunu yapamıyor.
“Yöntemimizi yeniden üretirken yeterince hesaplama kaynağı kullanmadılar” eleştirisi bugünlerde biraz komik. Elbette öyledir, siz Google’sınız.
Buluta sahip değilseniz metodolojimizi inceleyemezsiniz demek gibi duyuluyor. Daha fazla hesaplama ve daha fazla ön eğitimin faydalı olduğu doğru olsa bile şaşırtıcı değil, ama o zaman doğrulama zorlaşıyor. İlginç bir karşı tarafı da var: Google’ın muazzam hesaplama kaynağı var, ama Synopsys’in öğrenmek için muazzam miktarda verisi var. Elbette müşteri fikri mülkiyetiyle eğitim yapılıp yapılamayacağı çok büyük bir şart.