- Intel CEO'su Pat Gelsinger, New York City'deki etkinlikte Core Ultra ve 5th Gen Xeon veri merkezi çiplerini tanıtarak Nvidia'nın CUDA hâkimiyetinin yapay zeka eğitiminde sonsuza dek sürmeyeceğini savundu
- Gelsinger, MLIR, Google ve OpenAI'ı örnek göstererek sektörün yapay zeka eğitimini daha açık hale getirmek için Pythonic programlama katmanına doğru ilerlediğini düşünüyor
- Intel, CUDA bağımlılığı olmayan çıkarım (inference) pazarını daha önemli bir mücadele alanı olarak görüyor; Gaudi 3, Xeon ve edge PC'leri öne çıkararak eğitim sonrası model çalıştırma rekabetine girmeye hazırlanıyor
- Yapay zeka stratejisinin merkezinde OpenVINO bulunuyor; Intel, bazı işlemlerin bulutta, bazılarının ise PC'de işlendiği karma bir bilgi işlem ortamı öngörüyor
- Gelsinger, veri merkezi yapay zeka pazarında CPU, hızlandırıcı ve foundry ile rekabet edeceklerini söyledi; hem dahili çip fırsatlarını hem de Nvidia ve AMD gibi şirketlerle ticari fırsatları kovalayacaklarını belirtti
Intel'in CUDA hâkimiyetine karşı atağı
- Pat Gelsinger, New York City'deki etkinlikte Intel Core Ultra ve 5th Gen Xeon veri merkezi çiplerini tanıtırken Nvidia'nın CUDA teknolojisini doğrudan hedef aldı
- NASDAQ'ta soruları yanıtlarken, Nvidia CUDA'nın yapay zeka eğitimindeki hâkimiyetinin sonsuza dek sürmeyeceğini söyledi
- “Tüm sektör CUDA pazarını ortadan kaldırmaya motive olmuş durumda” dedi
- MLIR, Google ve OpenAI'ın, yapay zeka eğitimini daha açık hale getirmek için Pythonic programlama katmanına doğru ilerlediğini düşünüyor
- CUDA'nın hendeğini “sığ ve küçük” olarak niteleyerek sektörün geniş çaplı eğitim, inovasyon ve veri bilimi için daha geniş bir teknoloji setini devreye almak istediğini savundu
Eğitimden çok çıkarıma odaklanan strateji
- Intel, yalnızca eğitimde rekabet etmektense çıkarımı ana pazar olarak görüyor
- Gelsinger'e göre bir model bir kez eğitildikten sonra CUDA bağımlılığı kalmıyor; önemli olan o modelin ne kadar iyi çalıştırılabildiği
- Sahnede ilk kez tanıtılan Gaudi 3, bu rekabete yanıt verecek ürün olarak sunuldu
- Xeon ve edge PC'ler de aynı yöndeki rekabet eksenleri olarak anıldı
- Bu, Intel'in eğitim pazarından vazgeçtiği anlamına gelmiyor; ancak Gelsinger “temelde çıkarım pazarının asıl mücadele alanı” olduğunu düşünüyor
OpenVINO ve karma bilgi işlem
- Gelsinger, Intel'in yapay zeka çalışmalarında merkezi standart olarak OpenVINO'yu vurguladı
- Gelecekte bazı işlemlerin bulutta, bazılarının ise kullanıcının PC'sinde işlendiği bir karma bilgi işlem dünyası öngörüyor
- Sandra Rivera, Intel'in veri merkezinden PC'ye kadar ölçeğe sahip olması nedeniyle tercih edilen bir iş ortağı olabileceğini ekledi
- Rivera, Intel'in yüksek hacimli üretim yapabilmesini de güçlü bir yön olarak öne çıkardı
Veri merkezi yapay zeka pazarını hedefleyen üç kollu rekabet
- Gelsinger, Intel'in veri merkezi yapay zeka pazarının tamamında CPU, hızlandırıcı ve foundry olmak üzere üç şekilde rekabet edeceğini açıkladı
- Dahili fırsatlar arasında TPU, Inferentia ve Trainium gibi çipler anıldı
- Ticari fırsatlar tarafında ise Nvidia, AMD gibi şirketlerle iş birliği olasılıklarının tamamını değerlendirecekleri görüşünde
- Intel, kendi ürünleriyle rekabet etme stratejisinin yanında bir foundry oyuncusu olma stratejisini de ortaya koyuyor
Rekabet tablosunda kalan soru
- Gelsinger, bu duyuruda güçlü bir özgüven sergileyerek ekibinin sunumuna liderlik etti
- CUDA'ya gerçekten karşı koyup koyamayacağı, Intel'in tanıttığı çipler ile rakiplerin geliştirmekte olduğu çiplerin uygulamaları daha geniş çapta yayıldıktan sonra görülecek bir mesele olarak kalıyor
1 yorum
Hacker News görüşleri
Diğer yorumlarda da söylendiği gibi asıl mesele CUDA. Intel ya da AMD de çipleri oldukça hızlı üretebilir, ama gerçek rekabetin yazılım ve ekosistem tarafında olduğunu anlamıyorlar.
Örneğin eBay’de A100’e neredeyse benzer performansa sahip ikinci el bir MI100’ü beşte bir fiyatına alabilirsiniz; bu kadar ucuz olmasının nedeni, Nvidia GPU’lara kıyasla yazılım uyumsuzluğu yüzünden çalıştırmak için inanılmaz zaman harcamanız gerekmesi.
Google bile PyTorch’a XLA arayüzü ekleyerek araştırmacılara idare eder bir uyumluluk yolu sunma seviyesinde; Intel de benzer durumda.
Bu alandaki bir şirketin çip satabilmesi için Hugging Face’teki tüm modeller gibi dev bir test paketi oluşturup sorunları kaba kuvvetle tek tek düzeltmesi gerekir.
Intel her zamanki gibi açık bir girişim duyurup ardından desteği asgari düzeyde tutuyor; OpenVINO’nun pek sonuç vermeden sönme ihtimali yüksek görünüyor. OpenAI’ın Triton’ından şimdiden daha çok bahsediliyor gibi.
PyTorch Intel GPU’larda iyi çalışırsa birçok kişi memnuniyetle geçer.
Biraz yaşınız varsa sektörde bu kalıbı tekrar tekrar görmüşsünüzdür. 1990’lardaki Unix - Windows NT tarihi de böyle hamlelerle doluydu; ağ tarafı da UltraEthernet ile aynı şeyi yeniden yaşıyor.
OpenGL muhtemelen en başarılı yaklaşımdı ama ancak ucu ucuna çalıştı ve zaten kazanma yolunda olmayan oyunculara pek faydası olmadı. Unix 95 de, Unix 98 de tutmadı.
Intel’in ilgili girişimler hakkında bolca konuşup bir iki çeyrek sonra o birimi büyük ölçüde küçültmesi muhtemel.
CUDA alanında rekabet etmek için çok yıllı bir taahhüt ve büyük ölçekli işe alım gerekir; bunun için de maaşları piyasa seviyesine çıkarmak gerekir.
NVIDIA’nın pastasından pay almak için hemen H100’den daha iyi bir şey yapmanız gerekmiyor. 4090, 4080, hatta 3080 seviyesine razı olup bunun yarı fiyatına olmasını, Amazon ya da NewEgg gibi yerlerden hemen satın alınabilmesini ve üzerinde “fiyat için iletişime geçin” düğmesi olmamasını isteyen çok tüketici var.
AMD ve Intel, çipleri gerçekten satın alınabilir kılma konusunda NVIDIA’dan çok daha iyi, ama bu tek başına yeterli değil.
Gereken şey,
nvcc’ye verdiğiniz tam olarak aynı kodu aynen alıp derleyenintelcc,amdcc,qualcommcc. Tek bir fonksiyon imzası bile farklı olmamalı ve soru sormadan hedef donanımda çalışmalı. CUDA’nın drop-in alternatifi olmalı.Bu olursa PyTorch’u ve diğer her şeyi başka çipler için yeniden derlemek önemsiz bir işe dönüşür.
İlginç bir bilgi: NVIDIA mühendislerinin yarısından fazlası yazılım mühendisi. Jensen, GPU’ların üzerine güçlü bir yazılım yığınını bilinçli ve stratejik biçimde inşa etti; bunu onlarca yıldır yapıyor.
Intel, sadece rakamlara bakan bir yönetici yerine Jensen kadar teknik ve stratejik bir CEO bulana kadar CUDA’ya başarılı şekilde karşılık vermesi zor görünüyor.
Gelsinger, 1979’da 18 yaşındayken Intel’e katıldı; 1987’de 80386 mikroişlemcisi programlama kitabının ortak yazarı oldu ve 1989’da çıkan 4. nesil 80486 işlemcisinin baş mimarıydı.
32 yaşında Intel tarihinin en genç başkan yardımcısı oldu; 2001’de CTO olarak Wi-Fi, USB, Intel Core, Intel Xeon ve 14 çip projesi gibi temel teknolojilerin geliştirilmesine öncülük etti. Microsoft WinHEC’e karşılık Intel Developer Forum’u da başlattı.
Intel kendi ayağına takılıp düşse bile daha fazla çip üreticisini bu işe çekmek için büyük bir teşvik var. Bu olacak; mesele bunun aylar mı, yıllar mı, yoksa on yıl mı süreceği.
Şahsen kısa tarafa bahse girerdim. Büyük ölçüde matris çarpımı problemi gibi görünüyor ve bir anda muazzam para ve ilgi buraya aktı. AMD’nin APU stratejisinin [0] MI300A ile üst segmente ulaşmaya başlaması da ilginç bir gelişme.
[0] Bu akışı takip etmeyenler için ekleyeyim: AMD sistem belleği ile GPU belleğini birleştiriyor. Doğru anladıysam bu çiplerde artık “veriyi GPU’ya kopyalama” gerekmiyor. Temelde CPU, matris matematiği için büyük bir genişlemeye sahip oluyor. Geçmişte bu teknolojiyi düşük fiyatlı CPU’lara koydukları için yapay zeka işleri için kullanışlı değildi, ama artık büyük çiplere koyuyorlar.
Elbette ilk izlenimim kötü olmuş olabilir. Satın alma duyurusunda Pivotal’a söylediği ilk söz “Siz bizim kuzenlerimizdiniz, ama artık daha çok çocuklarımız gibisiniz” olmuştu; bu yüzden genel hava tuhaftı.
Yazılımsız donanım sadece pahalı kumdur. Tüm yarı iletken şirketleri bunu bilir. Zaten x86 ile bu paketi baştan sona tamamlayan taraf Intel’di.
GPU hesaplama alanında CUDA, x86’dır. Her yerdedir, fiili standarttır ve bir gün sarsılacaktır. Mesele bunun 1 yıl mı, 10 yıl mı süreceğidir.
CUDA’dan daha iyi bir araç zinciri, ekosistem ve programlama deneyimi oluşturup bunu tüm hesaplama platformlarında en iyi performansla uyumlu hale getirebilirlerse harika olur. Herkes kazanır.
O zamana kadar bu tür iddialar biraz komik; özellikle de OpenCL’in programcı deneyimi ve azalan destek açısından başarısız olduğu düşünülürse daha da öyle. DX/GL/Vulkan’ın compute shader’larıyla genel amaçlı GPU hesaplaması yapma girişimleri de aynı şekilde.
Gerçekten “motive” olmuş durumdalar mı? Zaten yılları vardı ve sonuçlar berbat. CUDA’ya yapılan yatırımın küçük bir kısmını bile yapıp yapmadıklarını bilmiyorum. Bunu sözle değil, parayla göstermeleri gerekiyor.
Yardımcı işlemci de istemiyorum; ister bir sürü aykırılığı olan C/C++ olsun, ister beceriksiz bir Python kopyası, yine başka bozuk bir özel amaçlı dil yaratmaya çalışmalarını da istemiyorum. Sadece daha fazla çekirdek koyup normal programlama dillerinin gerçek thread’lerini kullanmamıza izin versinler.
Intel ve AMD’nin OpenCL üzerinde benzer işlevler sunmak için yılları vardı.
Önce kendi başarısızlıklarına bakmaları gerek gibi.
Denemek için baktığımda da birden fazla uygulama vardı; her biri farklı işletim sistemi ve donanım alt kümelerini desteklediği için epey dağınıktı.
https://www.intel.com/content/www/us/en/developer/tools/onea...
İnsanlar Nvidia donanımında bile daha yavaş ve belki daha ucuz hesaplama satın almak istemiyor. Peki Intel donanımında neden bunu yapsınlar? Uygulamayı da değiştirmek gerektiği için baştan bariz biçimde zor görünüyor.
Bu alanın uzmanı değilim ama bir şeyi mi kaçırıyorum? x86 sektörü Nvidia’nın sunduklarından uzaklaşmak istiyorsa, Intel’in bir şekilde “daha iyi” tarafına giren bir şeyi doldurması gerekiyor.
Bunun yerine CUDA’nın üzerine inşa edip diğer donanım üreticilerinin CUDA’ya sahip olmamasından şikâyet ediyorlar.
Bence bunun nedeni OpenCL’in, birden fazla şirketin uygulanabilir olduğu konusunda uzlaşabildiği ortak alt küme olmasıydı. CUDA, OpenCL, C++ ve OpenMP’ye derlenen kod yazdım; sürekli “Ne, OpenCL bunu da mı yapamıyor? Kahretsin” döngüsüydü.
AI alanını derinlemesine bilen birinin CUDA’nın gerçek hendeğinin ne olduğunu açıklaması iyi olurdu.
Bunun donanım değil yazılım, yani CUDA ekosistemi olduğu herkes için açık.
Eskiden makine öğrenmesiyle biraz uğraşmıştım; ama modeli eğitip ayarlama düzeyinde yüksek seviyeli kütüphaneler kullanıyordum ve bildiğim kadarıyla bu kütüphaneler hangi backend’i kullanacaklarına bir
ififadesiyle karar veriyordu.O halde Intel vb.’nin pratik bir rakip uyguladığını varsayarsak, birçok kullanıcı için geçişin pürüzsüz olacağını düşünmek yanlış mı? Araştırmacılar ya da sınırları zorlayanlar için olmayabilir ama çoğu şirket için geçiş maliyeti büyük değil gibi.
Bu ürünleri de büyük Amerikan şirketleri yapıyordu. Amaçları PC’yi genel amaçlı bir metaya dönüştürmek değil, büyük bir pazarın küçük bir parçasını almaktı.
Gerçek PC klonları, yani saf drop-in uyumlu ürünler Tayvan’da yapıldı ve pazarı ele geçirdi. Büyük şirketler fiyatların düşük olduğu ve herkesin eşit şartlarda yarıştığı metalaşmış bir pazar istemez. “Pürüzsüz geçiş” tam da böyle bir sonuç doğurduğu için bu şirketler onu yapmıyor.
Elbette söylemesi kolay. Google’ın TPU’su bile dolar başına kayan nokta işlemlerinde H100’ü yakalamakta hâlâ zorlanıyor ve Jax kullanmıyorsanız kullanımı da epey zahmetli.
Rakipler, özellikle Intel, pazara yukarıdan aşağı bir yaklaşımla girmeye çalışıyor gibi. Sıralı işleme donanımını kullanarak çıkarım pazarının bir kısmını almaya çalışıyor ve fiilen Nvidia’da gerçekleşen inovasyona bel bağlıyor. CUDA her zaman bir adım önde olacak.
Büyük ölçekli LLM eğitiminde CUDA büyük bir hendek değil. Anthropic’in CUDA’dan Trainium’a geçtiğine bakınca bu görülebilir. Muhtemelen tüm kernel’ları Trainium için yeniden yazmışlardır.
İnsanların CUDA’dan uzaklaşmak istiyor gibi göründüğünü sanmıyorum. Son birkaç ayda çeşitli modellere ve araçlara baktım; çoğu neredeyse şöyle:
device = "cuda" if torch.cuda.is_available() else "cpu"AMD’nin sinir ağı ara katmanını uygulayan hiçbir şey görmedim: https://www.amd.com/en/developer/zendnn.html
cudacihazlarını ve modüllerini overload ederek ROCm’nin özellik kontrollerinde CUDA gibi görünmesini sağladığını anlıyorum.Geçişi sorunsuz yapmak istiyorlar; mevcut kodlar da sık sık CUDA’yı kontrol ettiği için, o kodların çalışması adına gerekeni yapıyorlar
Döngüyü kırmanın makul yolu, AMD’nin popüler büyük projelere kod, test ve kolay “hemen çalışan” kurulumlar için aktif katkı vererek AMD desteği ekletmesi ve sonrasında daha fazla donanım satması olurdu. Ama AMD’nin bunu yaptığını görmüyorum
Bu yüzden AMD GPU kullanırken de
device = "cuda"aynı anlamda çalışırIntel son 10 yılda hiçbir şey yapmadı. Zar zor çalışan GPU’lara milyarlarca dolar harcadı; CPU tekelciliğine yaslanıp inovasyonu yavaşlatırken sadece kârını çekti
En azından Nvidia, yapay zeka ilerlemesine yardımcı olan bir şey inşa etti ve cesur bahsi tuttu
Pat Gelsinger ve Lisa Su’nun ikisi de yazılımdan hiç anlamıyor, hatta delege etmeyi bile beceremiyor gibi görünüyor. Kendi aşırı karmaşık donanımları için yazılımı “topluluğun” yapmasını bekliyorlar
Nvidia’dan Bill Daly’nin sunumuna [1] bakınca donanım ve yazılımı birlikte geliştirdikleri görülüyor. CUDA programlama modeli uzun zaman önce yapılmış dev bir bahisti ve makine öğrenimi/yapay zeka alanında hak ederek kazandılar
Intel ve AMD radikal biçimde değişmezse oyun bitti. ARM ve Nvidia’ya yenilecekler
[1] https://www.youtube.com/watch?v=kLiwvnr4L80
Bu, insanların söylediğinden çok daha zor bir iş
Gemi 10 yıl önce çoktan kalkmıştı. O zamanlar üniversitede genel amaçlı GPU hesaplama dersine, muhtemelen “heterojen paralel programlama” gibi bir adı olan bir derse yazılmıştım; ilk derste tüm donanım ve materyallerin NVIDIA tarafından ücretsiz sağlandığını öğrendim
Sonuç, alternatiflerden hiç söz edilmeyen saf bir CUDA dersiydi; eski Word ve Excel üniversite dersleri gibiydi
Nvidia hendek yaratmakta ya da satın almakta gerçekten iyi
PhysX’te Nvidia GPU yoksa, SSE kullanabilen CPU’larda bile optimize edilmemiş FPU’nun yavaş yoluna düşüyordu: https://arstechnica.com/gaming/2010/07/did-nvidia-cripple-it... https://www.realworldtech.com/physx87/3/ “Nvidia açısından, x87 komutlarını ve tek iş parçacığını kullanarak temel CPU performansını düşürmek GPU’nun daha iyi görünmesini sağlar”
“The Way It’s Meant To Be Played” programı stüdyolara para verip AMD’yi doğrudan dezavantajlı hale getirmelerini sağlıyordu. Ubisoft’un DX10.1 yamasını geri çekmesi buna bir örnek: https://techreport.com/news/14707/ubisoft-comments-on-assass...
“GameWorks” programında bunu bir adım ileri götürüp oyun stüdyolarına para vererek Nvidia’nın performans düşürücü kütüphanelerini doğrudan oyunlara koydurdu: https://techreport.com/review/21404/crysis-2-tessellation-to... https://arstechnica.com/gaming/2015/05/amd-says-nvidias-game... https://wccftech.com/fight-nvidias-gameworks-continues-amd-c...
NVIDIA’nın CUDA hakimiyetini sürdürmek için teşviki olduğunu da tamamen anlıyorum; bu piyasa koşullarında AMD ve Intel gibi diğer şirketlerin fırsatı kaçırdığını da anlıyorum.
Ancak bu tür teknik ve işlevsel hendekler belirli kullanım senaryolarında fiilî bir tekeli sürdürdüğünde, sonunda tüketicinin zarar gördüğünü belirtmek gerekir.
CUDA yalnızca AI için değil; fizik, sayısal modelleme, kriptografi, biyoloji vb. alanlarda da kullanılıyor. Nvidia binlerce kullanım senaryosu buldu, müşteri geri bildirimlerini dinledi ve platformu oluşturdu; AI da devasa bir gelir kaynağına dönüştü.
Sorun şu ki Intel ve AMD’nin bundan sonra da yalnızca “AI” para çantasına bakıp hata ayıklama, derleyici, dil entegrasyonu, GUI, hata düzeltmeleri dahil platformun geri kalanını görmezden gelme olasılığı yüksek.
Intel “OpenCL’e milyarlarca dolar yatırıp en üst düzey geliştirici deneyimini ve platformu garanti edeceğiz, CUDA’yı ortadan kaldıracağız” dese heyecan verici olurdu; ama şu an okunan şey daha çok “PyTorch’ta birkaç CUDA fonksiyon çağrısını değiştireceğiz”e benziyor. Performans sorununu debug etmek zorunda kaldığınız anda GitHub’da bir CUDA mühendisiyle doğrudan konuşmak yerine ölü bir Intel e-posta listesine e-posta göndermeniz gerektiğini fark edene kadar eğlenceli olacaktır.
Bu açıdan CUDA tüketiciye büyük fayda sağlıyor. Çünkü alternatifler gerçekten berbat.