OpenAI, Broadcom ve TSMC ile iş birliği yaparak ilk çipini geliştiriyor ve foundry planlarını küçültüyor

 (reuters.com)
1 puan yazan GN⁺ 2024-10-30 | 1 yorum | WhatsApp'ta paylaş
  • OpenAI, yapay zeka çıkarım çipi geliştiriyor ve foundry ağı planından vazgeçiyor
  • Broadcom, OpenAI’nin çip tasarımına yardımcı oluyor ve TSMC’de üretilebilmesini destekliyor
  • OpenAI, çip tedarikini çeşitlendirmek için AMD’nin yapay zeka çiplerini de ekliyor

OpenAI’nin dahili çip tasarımı çabası ve sektör ortaklıklarından yararlanması

  • OpenAI, çip tedarikini çeşitlendirmek ve maliyetleri düşürmek için çeşitli seçenekleri değerlendiriyor
  • Şirket, şimdilik iddialı foundry planını durdurup dahili çip tasarımı çalışmalarına odaklanmayı planlıyor
  • OpenAI’nin stratejisi, Amazon, Meta, Google ve Microsoft gibi büyük rakiplerde olduğu gibi, çip tedarikini güvence altına almak ve maliyetleri yönetmek için sektör ortaklıklarıyla birlikte dahili ve harici yaklaşımların nasıl kullanıldığını gösteriyor
  • OpenAI, en büyük çip alıcılarından biri konumunda ve özel çip geliştirirken farklı çip üreticilerinden tedarik etme kararı teknoloji sektörü üzerinde geniş kapsamlı etkiler yaratabilir
  • Broadcom, Google gibi şirketlerin üretim için çip tasarımlarını ince ayarlamasına yardımcı oluyor ve çip içinde bilginin hızlı taşınmasını sağlayan tasarım bileşenleri sunuyor
  • OpenAI, Broadcom aracılığıyla 2026’da ilk özel tasarım çipini üretebilmek için TSMC’den üretim kapasitesi güvence altına aldı
  • Şu anda Nvidia’nın GPU’ları pazarın %80’inden fazlasını elinde tutuyor
  • Ancak tedarik sıkıntısı ve artan maliyetler nedeniyle Microsoft, Meta ve artık OpenAI gibi büyük müşteriler dahili ya da harici alternatifler arıyor
  • OpenAI’nin Microsoft Azure üzerinden AMD çiplerini kullanma kararı, AMD’nin yeni MI300X çipinin Nvidia’nın hakim olduğu pazardan pay almaya çalıştığını gösteriyor
  • Yapay zeka modellerini eğitmek ve ChatGPT gibi hizmetleri çalıştırmak pahalı
  • OpenAI, bu yıl 3,7 milyar dolar gelir karşılığında 5 milyar dolar zarar bekliyor
  • Hesaplama maliyetleri şirketin en büyük gideri ve bu durum kullanım verimliliğini optimize etme ile tedarikçileri çeşitlendirme çabalarını tetikliyor

GN⁺ görüşü

  • OpenAI’nin dahili çip tasarımı çabası ve farklı çip üreticileriyle iş birliği, yapay zeka sektöründe önemli bir değişime işaret ediyor. Bu, Nvidia’nın hakimiyetine meydan okuyabilecek yeni alternatifler yaratabilir ve yapay zeka teknolojilerinin gelişimini hızlandırabilir
  • Ancak OpenAI’nin maliyet yapısına ilişkin kaygılar gündeme gelebilir. Yapay zeka modeli geliştirme ve hizmet işletmenin çok yüksek maliyet gerektirdiği bir ortamda, uzun vadeli kârlılık ve sürdürülebilirlik konusunda soru işaretleri bulunuyor
  • Öte yandan AMD’nin MI300X gibi yeni yapay zeka çiplerinin ortaya çıkışı, pazardaki rekabeti artıracak ve müşterilere daha fazla seçenek sunacak. Bu da yapay zeka teknolojilerinin yaygınlaşmasına ve ticarileşmesine katkı sağlayabilir
  • Yapay zeka çip pazarındaki rekabetin kızışmasıyla birlikte teknolojik inovasyonun hızlanması ve yüksek performanslı, düşük güç tüketimli çiplere olan talebin artması bekleniyor. Buna bağlı olarak çip tasarımı ve üretimi alanında yatırım ile yetenek kazanımı rekabetinin de daha sert hale gelmesi öngörülüyor
  • Şirketler yapay zeka çiplerini devreye alırken performans, maliyet, uyumluluk ve ölçeklenebilirlik gibi çeşitli unsurları birlikte değerlendirmeli. Uzun vadeli teknoloji yol haritası ve iş stratejisiyle uyumlu en uygun çipi seçmek önemli

İlgili okumalar

1 yorum

 
GN⁺ 2024-10-30
Hacker News yorumları

  • Eski bir Google çalışanı olarak benim için hiç şaşırtıcı değil. Hâlâ Google’daki arkadaşlarımla düzenli olarak görüşüyorum ve son birkaç ayda OpenAI’nin Google çıkışlı donanım mühendislerini çok daha fazla işe aldığını söylüyorlar
    LinkedIn’de sadece OpenAI’nin donanım mühendisi profillerine bakarak bile Google geçmişi olanların ne kadar fazla olduğunu kolayca görebilirsiniz. Google’ın TPU ekibi artık eski gücünün gölgesi gibi, bu yüzden gelecekte Google TPU’larının OpenAI’nin yeni çipinden geri kalması şaşırtıcı olmaz
    Google’ın geçmişteki TPU çalışmaları da Broadcom’un desteğine dayanıyordu: https://www.theregister.com/AMP/2023/09/22/google_broadcom_t...
    Broadcom Google TPU’larına bu kadar iyi destek vermişken, Google çıkışlı kişilerin bu tedarikçi ilişkisini yeni şirketlerine taşımaları son derece doğal

    • BRCM, özel ASIC isteyen şirketler için ASIC tasarlayan bir hizmet şirketine giderek daha çok benziyor. Böyle şirketler çok var; bunun neden haber olduğunu anlamıyorum
      BRCM, Marvell ile birlikte SerDes alanında liderlerden biri ve Synopsys ile Cadence’in IP’leri de bu tür çip şirketleri tarafından yaygın biçimde kullanılıyor. Hiçbir şirket tüm IP’yi tamamen dikey entegre etmeyeceği için burada büyütülecek bir şey yok gibi görünüyor
    • Google’ın TPU için çok zaman, para ve insan sermayesi harcadığını ve sonuçları yavaş yavaş aldığını da görmek lazım. Büyük ölçekli yaygınlaştırma konusunda tecrübeli şirketler bile bunu deneyip başarısız oldu; örneğin Tesla
      Bu, doktoralı insanları bir odaya doldurup LLM çıkarmalarını istemek kadar kolay değil. Donanım geliştirme zor, yavaş, doğrulaması uzun sürüyor ve maliyeti son derece yüksek

  • Jensen uzun süredir talebin “çılgın” olduğunu söylüyor ve verimin düşük olduğuna dair söylentiler de var. Bu, önümüzdeki aylar ya da yıllar boyunca tedarik sorunlarına yol açabilir
    Fortune 500 şirketleri arasında yapay zeka donanımı ve yazılımının tamamını tek bir tedarikçiye bağlayacak olan yoktur. Tek kaynağa bağımlı kalmayıp çeşitlendirmek akıllıca bir seçimdir

    • Şirketimizde yöneticilere neden Nvidia kullanmadığımız sorulduğunda verdikleri net cevap tedarikçi çeşitlendirmesi oluyor. Komik olan şu ki eğitim için hiç Nvidia kullanmıyoruz
      Nvidia bulamadığımız için Trainium kullanıyoruz
    • “Yapay zeka donanımı ve yazılımının tamamını tek bir tedarikçiye bırakmamak akıllıcadır” ifadesinin Microsoft ile olan özel anlaşma ile nasıl bağdaştığını merak ediyorum
      OpenAI/Oracle anlaşmasında bile Oracle’ın kendi veri merkezlerinde Azure yığınını çalıştırması gerekiyor, böylece MSFT ilişkiyi aracılıkla yönetebiliyor. Haberde geçen AMD çiplerini de MSFT satın alıyor
      Bunun, OpenAI’nin riski ve sermaye harcamasını üstlenirken Microsoft’a çeşitli donanımlar sağladığı anlamına mı geldiğini, yoksa başka şartlar mı olduğunu merak ediyorum

  • OpenAI’nin her şeyi kendi bünyesinde yapmak ve çip üretimi için bir dökümhane ağı kurmak üzere sermaye toplamayı değerlendirdiği yönündeki ifade, Sam’in hırsının ne kadar absürt olduğunu ciddi biçimde hafifletiyor
    O, yapay zeka silikonuna adanmış 36 fab kurmak için bir şekilde 7 trilyon dolar toplamayı gündeme getirmişti ve TSMC yöneticilerinin bunu duyunca neredeyse yüzüne güldüğü aktarılmıştı

    • Sam bu iddiaya doğrudan açıklık getirdi. Kastettiği şey, talebi karşılamak için sonunda hepimizin topluca bilgi işlem için 7 trilyon dolar harcaması gerekeceğiydi; OpenAI’nin tek başına 7 trilyon dolar toplayıp tüm üretim kapasitesini kurması değil
    • Satya Nadella’nın bu kişiye ve bu plana bakıp “OpenAI’yi emanet edeceğimiz istikrarlı dâhi tam da bu” diye düşünmüş olması şaşırtıcı
    • Biraz sağduyusu olan herkes gülmeliydi. 7 trilyon dolar öylece toplanabilecek bir para değil
      ABD’nin toplam net yurtiçi yatırımı bile 1 trilyon doların altında: https://fred.stlouisfed.org/series/W790RC1Q027SBEA
      Net yatırım ile amortismanın toplamı olan toplam sabit sermaye oluşumu da bundan çok daha yüksek değil: https://fred.stlouisfed.org/series/NFIRSAXDCUSQ
      Google, Apple ve Microsoft’un toplam yıllık sermaye harcaması bile 100 milyar doların altında. Bu üç şirketin toplam piyasa değeri neredeyse 10 trilyon dolar olsa da durum böyle
      100 milyar dolarlık bir şirketin 7 trilyon dolar istemesi, inanılması güç derecede saçma
    • Yine de bir bakıma etkileyici. İlk başta 7 trilyon dolar isterseniz, sonra yalnızca 1 trilyon dolar istemek oldukça makul görünür ;-)
    • Belki fazla alaycıyımdır ama tek bir fabdan söz etmek bile güldürmeye yeter. Tasarım neyse de, bir de üretim demek var

  • “The Subprime AI Crisis” içindeki ikna edici finansal analize bakınca, “Dodgeball” filminden şu replik dışında ekleyecek bir şeyim kalmıyor
    “Cesur bir strateji, Cotton. Bakalım işe yarayacak mı.”
    0 - https://www.wheresyoured.at/subprimeai/
    1 - https://www.imdb.com/title/tt0364725/quotes/

    • wheresyouredat yazısına yanıt olarak, OpenAI’nin ücretsiz genel modeli zayıflatarak benim benchmark’ımda sürekli eksik yanıtlar vermesine neden olmuş gibi görünüyor. Buna karşılık o1 modeli aynı benchmark’ta doğru sonuç vermeye devam ediyor
      Eskiden ücretsiz model de bazı günlerde benim benchmark’ıma daha doğru yanıtlar verebiliyordu. Bu yüzden aradaki farkı açıp o1’i daha kullanışlı göstermek istemişler gibi geliyor
      OpenAI ürünleriyle ne yaparsa yapsın umurumda değil ama bana, ücretsiz ürünü kısıp o1’i görece daha iyi gösterecek şekilde ayarlamışlar gibi geliyor

  • Bu yeni çipin üretime alınması ve eğitim ya da çıkarımda kullanılması ne kadar sürer?

    • İyi bir ekip için kabaca 2 yıl. Sonrasında da onu düzgün çalıştıracak yazılım gerekir. Hızlı yapılabilecek bir iş değil
      Daha fazla para harcamak bunu hızlandırabilir ama tersine işleri bozup daha da uzatabilir
    • Burada zamanın o kadar kritik olduğu düşünülmüyor. Apple silicon performansı değiştirip Intel bağımlılığını nasıl ortadan kaldırdıysa buna bakmak yeterli
      Eğer doğru yapılırsa diğer LLM sağlayıcılarıyla aradaki fark daha da açılabilir
      1. nesil çipin gerçek operasyonlarda kullanılmak için yeterli olmama ihtimali yüksek; o durumda 2. nesle geçmek gerekir. Bu da yaklaşık 3-4 yıl sürebilir

  • Muhtemelen bu çipi kullanmak için kendi veri merkezlerini kuruyorlar ama makalede bunun açıkça söylenmemesi garip
    Batı dünyasındaki yapay zeka/matris çarpımı çipleri arasında TSMC’de üretilmeyen bir çip var mı? Amazon ya da Meta farklı mı acaba? NVIDIA, AMD, Google TPU da Broadcom tasarım ortaklığıyla TSMC kullanıyor, şimdi OpenAI de öyle
    Samsung’un rekabetçi olup olmadığı da merak konusu. Toplam çip veya yonga seti hacmindeki sınırın TSMC üretim kapasitesinden mi, yoksa bellek ya da paketlemeden mi kaynaklandığını da merak ediyorum

    • Samsung rekabetçi olmadığı için şu anda iyi çiplerin hepsi TSMC’de üretilmek zorunda. Yapay zeka çiplerinde darboğazın paketleme ve HBM olduğu bildiriliyordu ama TSMC de yüksek kapasite kullanımında çalışıyor
    • Samsung yaklaşık 2-3 yıl geriden geliyor ve HN’de söylendiği kadar korkunç bir durumda değil. Ama çipleri %80 kâr marjıyla satabiliyorsanız elbette en iyisini kullanmak istersiniz

  • OpenAI, marka bilinirliği dışında aslında pek bir hendeği olmadığını fark edip, fab ve çip tasarımıyla bir hendek oluşturmaya çalışmış gibi görünüyor
    Özel fab ve çipler sihirli şekilde üstün olsaydı ve yeşil takım vergisini ödemeden ucuza üretilebilseydi, çıkarım maliyetinde muazzam bir avantaj olurdu
    Belki de yalnızca özel çiplerle başlamanın bile yeterli olacağını düşünmüş olabilirler

  • Yapay zekada transistörlerin israf edildiği düşüncesi aklıma takılıp duruyor. Sistemlerden entropiyi atmak için ikili durumları kullanıyoruz ama yapay zekada çok daha fazla entropiye izin veriliyor
    Bu kullanım için NAND kapılarından çok daha iyi bir yöntem olması gerektiği hissi var

    • İkili yaklaşımın kullanılmasının bir başka nedeni de elle çizilen devreler yerine sentez otomasyonu yapılabilmesiydi. Büyük ölçekte bu gerçekten çok önemli
      Tekrarlanmayan mühendislik maliyetlerini düşürüyor ve geliştirme hızını artırıyor. Bundan vazgeçmek, bugünkü verimliliği mümkün kılan araç zincirinden de vazgeçmek anlamına gelebilir

  • GH Copilot gibi şeyler etkileyici ama onun dışında LLM’lerin toplumsal ve kültürel etkisini henüz görmüş değilim. Influencer’ların havalı örnekler ya da model lansmanları gösterdiği aşırı ısınmış sosyal medya paylaşımlarını kastetmiyorum
    Bu teknolojinin toplum geneline yayıldığına dair bir tablo görünmüyor; acaba ben mi bağışıklıklıyım yoksa bu etki SaaS/kurumsal ürünlerin derin katmanlarında mı gizli diye merak ediyorum
    3D TV ya da VR gibi "aa güzelmiş" deyip geçilecek bir şey değil de, yaygın, kalıcı ve yüksek tutunma oranına sahip üretken bir kültürel etki olması gerekirmiş gibi geliyor
    GPU soğutucularına o kadar çok para yakıldığı düşünülünce daha da öyle

    • Şu anda okul ve üniversitedeki nesil, LLM’leri günlük rutinlerinin bir parçası hâline getiriyor
      Eğitim dışında da LLM merkezli bir SEO endüstrisi büyüdü ve bunlar büyük ölçekli spam üretme yönündeki yeni yeteneklerine bayılıyor
      Kurumsal ve kamu tarafında ise, biraz halüsinasyon ya da robotik kurumsal üslubun tolere edildiği iletişim işlerinde verimlilik artışı için dikkatli biçimde devreye alınıyor. Son cümleyi hâlâ insan yazıyor
      Müşteri desteği ve satış tarafında, eski telefon menü ağaçlarının “AI” sürümüne para harcanıyor ve sonuçta bir insana bağlanmadan önce "müşteri temsilcisiyle konuşmak istiyorum" diye bağırmanıza neden oluyor
      Diğer alanlarda benimseme yavaş. Çünkü deterministik sonuçlar bekliyoruz ama bu tür modellerde bunu beklemek zor. LLM API’leriyle etkileşen yazılımlar geliştirirken, çıktı rastgele biçimde istenen yapıdan sapabildiği için 10 yılı aşkın süredir kullanmadığınız savunmacı kodlama tekniklerini yeniden uygulamanız gerekebiliyor. Bu yüzden yapılandırılmış çıktı ya da function calling kullanımı da zorlaşıyor
    • Bunu doğrulamak aslında oldukça kolay. Arkadaşlarınıza, mümkünse geliştirici olmayan arkadaşlarınıza, kullanıp kullanmadıklarını sorun yeter
      Muhasebe alanındaki bir arkadaşımın ve pazarlama tarafındaki bir arkadaşımın temel analiz ya da tanıtım metni yazımı için kullandığını görünce, geliştirici olmayanların da düzenli olarak kullandığını anladım
      Teknik olmayan mesleklerde kullanım bu alanda önemli. Aşırı heyecan için karşı örnek olarak kriptoda, tanıdığım teknik olmayan kişiler borsalar üzerinden sadece “tuttu”, ama iddia edilen kullanım senaryolarını hayata geçiremedi
    • Çevremdeki insanlar ve ben, bunu kısmen web aramasının yerine kullanıyoruz
      Özellikle o1-preview, ilgimi çeken sorular üzerine geniş çerçeveli mini değerlendirme yazıları yazmakta oldukça iyi
      Konuyla ilgili zaten çok sayıda metin varsa ve bunların benim soruma göre yeniden birleştirilmesi gerekiyorsa iyi çalışıyor
      Sohbet biçimi, web’de arama yapmaktan ya da ilgili birkaç Wikipedia yazısını okumaktan çok daha verimli. Bu gerçekten bardağın yarısı dolu mu yarısı boş mu meselesi. Faydasından çok etkileniyor ve umutlanıyorum ama bunun AGI olmadığı da açık
    • Garip şekilde medya kullanım düzeyini doğru düzgün yakalayamamış gibi görünüyor. Gazetecilerin ve YouTuber’ların çoğu yalnızca önemsiz kullanım örnekleri gösteriyor
      Beklenmedik insanların her türlü amaç için LLM kullandığını gördüm. Çoğu durumda yöneticilerine bu aracı kullandıklarını söylemek bile istemiyorlar çünkü onlara süper güç veriyor
      Banka çalışanları, mağaza yöneticileri, yerel siyasetçiler, küçük işletme sahipleri gibi kişilerden söz ediyorum. Eskiden buna inanmakta zorlanırdım ama giderek daha fazla beklenmedik kişinin LLM kullandığını ve prompt’ları düzgün kurduğunu görüyorum
    • Sanki sadece doğrudan tüketicileri düşünüyorsunuz; oysa Microsoft’un Copilot’u Windows’a entegre ettiğini ve sürekli geliştirdiğini görmek lazım
      Outlook kullanan herkesin özetleme, çıkarım ve e-postayı iyileştirme düğmeleri olduğunda, yüz milyonlarca insan her gün LLM kullanıyor olacak

  • Kendi fab’ına 7 trilyon dolar harcama fikri hem iddialı hem de çılgıncaydı. Sonunda gerçeklik devreye girmiş gibi görünüyor. Büyük hayalden uyandılarsa umarım kaliteyi korumaya devam ederler

    • Görünüşe göre fiyat çıpasını belirleme işi tamamlandı ve artık gerçek pazarlık yapmaya hazırlar