- Hot Chips 2023’te tanıtılan bu araştırma çipi, DARPA HIVE’ın ultra seyrek veri işleme hedefi için tasarlandı ve 8 çekirdekle toplam 528 donanım iş parçacığı sunuyor
- İş yükü analizine göre paralellik yüksek olsa da önbellek satırı kullanımı ve uzun out-of-order pipeline verimliliği düşük olduğundan, genel sunucu CPU’larından farklı bir tasarım gerekiyordu
- İşlemci x86 yerine RISC ISA tabanlı; çekirdek başına 66 iş parçacığı ve çok iş parçacıklı pipeline ile büyük ölçekli eşzamanlılığı işliyor
- Çipler arası iletişim, silikon fotonik tabanlı doğrudan mesh-to-mesh optik fabric ile bağlanıyor; switch ve NIC olmadan, kasa dışındaki çekirdeklerle bile doğrudan iletişim kurabiliyor
- Uygulama TSMC 7nm 8 çekirdekli 75W CPU; gücün yarısından fazlası optik bağlantıya harcandığı için şimdilik laboratuvar aşamasında deneysel bir tasarım olarak kalıyor
DARPA HIVE için 528 iş parçacıklı CPU
- Intel, Hot Chips 2023’te genel sunucu çiplerinden ayrı olarak direct mesh-to-mesh optical fabric teknolojisini sergiledi
- Tasarımın temel hedefi, DARPA HIVE programının gerektirdiği ultra seyrek veri işlemeydi
- Intel’in iş yükü profilleme sonuçları, genel CPU tasarımıyla uyuşmayan özellikler gösterdi
- Büyük ölçekli paralellik mevcut
- Önbellek satırı kullanımı düşük
- Uzun out-of-order pipeline yapısından yeterince yararlanılmıyor
- Buna uygun olarak işlemci, 8 çekirdekli soket yapılandırmasıyla tasarlandı
- Çekirdek başına 66 donanım iş parçacığı
- Toplam 528 iş parçacığı
- x86 değil, RISC ISA
- Her çekirdek çok iş parçacıklı pipeline kullanıyor
Çipleri silikon fotonikle doğrudan bağlama
- Bu çip, 16 soketi tek bir OCP compute tray içine yerleştirip optik ağ ile birbirine bağlayan bir yapı kullanıyor
- Yüksek hızlı I/O çipi, elektrik sinyalleri ile optik işlevler arasında köprü görevi görüyor
- On-die ağda yönlendiriciler bulunuyor; 16 yönlendiricinin yarısı yüksek hızlı I/O’ya daha fazla bant genişliği sağlama görevini üstleniyor
- Paket içi fiziksel bağlantı katmanında EMIB kullanılıyor
- Off-die bağlantılarda her çip, silikon fotonik üzerinden optik ağı sürüyor
- Çekirdekler arası bağlantı çipler arasında doğrudan kurulabiliyor
- Aynı kasada olmasalar bile switch ve NIC olmadan bağlanabiliyorlar
- Tüm çip, EMIB tabanlı çok çipli paket olarak yapılandırılıyor
- Silikon fotonik motorunun eklenmesi, paketten fiber optik tellere uzanan kısımda ek zorluklar doğuruyor
- Güç açısından bu, 8 çekirdekli 75W CPU uygulaması; gücün yarısından fazlası silikon fotonik için kullanılıyor
- Gerçek die fotoğrafıyla TSMC 7nm sürecinin kullanıldığı doğrulandı ve çalışma laboratuvarda devam ediyor
- Optik bağlantı kısmında Ayar Labs’ten yardım alındı
- Intel’in Innovation 2022’de tanıttığı takılabilir konektör bu uygulamada kullanılmadı
1 yorum
Hacker News yorumları
Çekirdek başına 66 iş parçacığı varsa, bu her şeyden çok bir barrel işlemciye benziyor.
Her bir iş parçacığının hızlı olmasını beklemek zor; ancak işlemcinin yeterince işi varsa, belleği beklemek yerine zamanın çoğunda yararlı iş yapabileceği söylenebilir.
Barrel işlemcilerin başlıca zayıflığı insan tarafında. Potansiyelini gerçekten ortaya çıkaracak kodu tasarlamayı bilen çok az kişi var. Normal kod da fena çalışmadığı için kod düzeyinde tanıdık görünür; ama yalnızca CPU için kod yazmış birine çok tuhaf gelecek şekilde yazılmadıkça performans iyi çıkmaz.
Veri yapıları ve algoritmalar tasarlamak için alışılmadık bir mimari ve barrel işlemciler için algoritma tasarımı literatürü de çok fazla değil.
Eski Tera sistemlerinden bu yana çeşitli barrel işlemci mimarileri için kod tasarladım ve bu konuda epey iyi oldum; bence işini bilen biri kullandığında, benzer silikon bütçesine sahip genel amaçlı hesaplamada neredeyse her mimariden daha yüksek hesaplama verimliliği sağlayabilir.
Ancak verimli kod yazmak için, CPU’daki eşdeğer koda kıyasla kafanızda çok daha karmaşık bir model tutmanız gerekir. Ekonomi, ortalama bir mühendisin de makul verim alabileceği CPU gibi mimarilerin lehine işliyor.
Saf hesaplama verimliliği açısından avantajlarına rağmen, artık ana akım barrel işlemciler göreceğimize dair beklentimi bıraktım.
Bu çekirdeğin ilgili kısmı mevcut GPU’lara çok benziyor.
Bu deneysel Intel CPU’daki fark, GPU benzeri kısımdan ayrı olarak her çekirdeğin 2 çok hızlı iş parçacığı da içermesi. Bu ikisi sırasız yürütme yapıyor, yavaş iş parçacıklarından çok daha yüksek saat hızında çalışıyor ve her birinin paylaşılmayan yürütme birimleri var.
2 hızlı iş parçacığı ve 64 yavaş iş parçacığı ayrı ayrı bakıldığında eski CPU’lara veya GPU’lara benziyor; yeni olan, bunların paylaşımlı scratchpad belleği ve önbelleği olan tek bir çekirdek içinde birleştirilmiş olması.
https://citeseerx.ist.psu.edu/document?repid=rep1&type=pdf&d...
Bu araştırmayı destekleyen DARPA projesinin, Tera’nın Cray’i satın alacak kadar para almasını sağlayan o üç harfli kısaltma ilgi silsilesiyle aynı tarafta olduğuna bahse girerim.
“Belleği beklemek” ifadesini “G/Ç’yi beklemek” ile değiştirince neredeyse aynı tablo ortaya çıkıyor.
Yavaş getirme işlemleri sürerken sistem diğer iş parçacıklarının komutlarını paralel olarak daha fazla çalıştırabilir.
Marvell, 768 Threads Per Node iddiasıyla SMT8 ARM CPU üretmişti.
https://www.servethehome.com/marvell-thunderx3-arm-server-cp...
Hatırladığım kadarıyla veritabanı iş yüklerini hedefliyordu ve temel mantık da aynıydı: Çekirdek normalde RAM’i beklerken boş duruyorsa, o arada başka bir iş parçacığını işleyebilir.
IBM ve Zen4C bu talebin bir kısmını karşılıyor, ama bu tür düşük komut işleme oranlı iş yüklerini açıkça hedefleyen daha fazla SMT16 bulut instance’ı görmek iyi olurdu.
Bu tür barrel işlemci tarzı tasarımlarda CMT8/SMT8 makul nokta gibi görünüyor.
Elektrik sinyalini optik sinyale çevirmenin die maliyeti ve hız kaybı amorti edilebilirse, optik ara bağlantılarda mesafeden fiilen bağımsız hızı iyi verimlilikle elde edebileceğiniz yönünde bir öneri gibi görünüyor.
Elbette tamamen böyle olmayacaktır; ama tek bir şasi içindeki çip taşıyıcı mesafeleriyle sınırlarsanız parazit az olur ve optik kılavuzların bükülme yarıçapı içinde kablolama da serbestleşir.
Yanlış okumuş olabilirim. Optik bileşenler die istifleme gibi başka bir amaç için de olabilir; ya da süper taşıyıcı üzerinde bir çip ızgarası oluşturup bunları optik ara bağlantılarla bağlamaya çalışıyor olabilirler.
Gerçek die fotoğrafı ve TSMC 7nm’de üretildiğinin doğrulanması, Intel açısından epey acı bir sahne.
Böyle bir şey için rakibinin fab’ını kullanmak zorunda kalıyorsa, bir çip üreticisi için oldukça düşük bir an olsa gerek.
Ancak 10nm node’u Intel için bir felaketti ve şirketi çip üretim işinde yaklaşık 5-10 yıl geriye düşürdü.
Bir araştırma projesi söz konusuysa TSMC’nin tercih edilmesini kolayca hayal edebilirsiniz.
Bu da böyle tuhaf şeylerin neden TSMC’ye gittiğini açıklıyor. Örneğin Silicon Photonics’in kendisi de ölmekte olan bir tesis olan Albuquerque’de yürütülüyor.
Google’da aramayı 2001-2010 aralığıyla sınırlarsanız ilgili haberleri bulabilirsiniz.
HN kullanıcılarının yarı iletkenleri pek bilmemesinin bir nedeni olmalı. Muhtemelen ağırlıklı olarak yazılım tarafındaki okurlardan oluştuğu içindir. Bu sitede özgüvene kıyasla açıklama kalitesi oranının en yüksek olduğu alan bu gibi görünüyor.
AMD de GlobalFoundries’i bıraktığında aynı şeyi yaptı ve bunun Intel’in önüne geçmesinin başlıca nedeni olduğu da söylenebilir.
Zaten herkes ASML litografi ekipmanı kullanıyor; wafer’ı makineye kimin koyduğu biraz ikincil kalıyor.
Bu, satılabilir bir üründen çok kavram kanıtı CPUya daha yakın görünüyor.
Çok özelleşmiş ve hangi sorunları, hangi iş yüklerini çözeceği hâlâ bulunması gereken bir aşamada.
Gelecekte fotonların genel amaçlı bilişime de gireceğini düşünüyorum. En azından büyüyen aşırı ısı üretimi sorununu ele almak için bile böyle olacaktır. Özellikle dikkat çeken şey, 10nm’den 7nm’ye geçiş olan süreç değişimi.
Sun da uzun zaman önce benzer bir şey yapmıştı ama sonraki UltraSPARC CPU’larda bundan vazgeçti.
Thread’ler aç mı kalıyordu? Çekirdek sayısını azaltıp daha hızlı yapmak daha iyi diye mi düşündüler? Ayrıntıları bulmak zor.
HN’deki bcantrill’in içeriden bilgi vermesi iyi olurdu.
Performans almak için çoğu zaman çok daha fazla parametre ayarlamak ya da yeniden derlemek gerekiyordu.
Benim için bu dönem SSL kullanma ihtiyacının büyük ölçüde arttığı zamanla da çakıştı; SSL x86 için iyi optimize edilmişti ama Sparc için öyle değildi. Bu yüzden SSL offloading kartları veya reverse proxy gibi ek karmaşıklıklarla da uğraşmak gerekiyordu.
Sonuçta birkaç niş alan dışında iyi çalıştırması fazla zahmetliydi.
Büyük bir etken olmayabilir ama sistem yöneticisi açısından da zahmetliydi. Çünkü yapmamız gereken işlerin önemli bir kısmı seri ve tek çekirdek odaklıydı. Yani genellikle tedarikçi onayını veren gruba en kötü yönünü göstermiş oluyordu.
Bu, graph reduction ve dataflow programlama için mükemmel görünüyor.
Gerçekten üretime girerse bununla oldukça havalı şeyler yapılabilir gibi.
8 çekirdekte 528 thread mi; hesap nasıl tutuyor? 512 sandım, sonra tekrar okumam gerekti.
İş yükü nedeniyle cache’in pek iyi kullanılmadığı anlaşılıyor ve bu x86 değil, RISC komut seti.
Burada 2, günümüz CPU’larındaki gibi yavaş thread sayısı; 64 ise GPU thread’lerine daha yakın.
Bu mimari, GPU entegrasyonunun bir sonraki adımı olabilir. Umarım standart matematik kütüphanelerinin verimli uygulamalarını iyi yazabilirler. Tek paketteki ayrı CPU+GPU’dan daha hızlı olabilir.
Neden 66 olduğu açıklanmamış.
Artık tüm kodları event-driven, io_uring vb. şekilde yeniden yazma işini bitirmenin zamanı geldi.
Başkalarının bahsettiği Tera MTA’da bunun için bellek sisteminde donanımsal senkronizasyon vardı ya da var.
Interrupt yoktu; sadece birinin uyandırmasını bekleyen thread’ler vardı.
Makaleyi doğru mu okudum? Çipin üzerinde 32GB DRAM olduğu mu söyleniyor, yoksa sadece standart DIMM mi kullanıyor?
İlginç olan, özel DIMM ve bellek denetleyicisi kullanarak 8 baytlık erişimler yapması. Üstelik die fotoğrafında görüldüğü gibi her çekirdeğin kendi bellek denetleyicisi var.
Her bellek denetleyicisi 4GB DRAM yönetiyorsa çip başına 32GB’ı açıklayabilir.
Daha ayrıntılı açıklayan materyaller de var; Nvidia da Grace Hopper’da bunu yapıyor gibi, Apple da M serisi çiplerde benzerini yapıyor.
Güncelleme: Bu durumda sadece DDR5, daha doğrusu “custom DDR5-4400 DRAM” gibi görünüyor.