Meta, özelleştirilmiş CXL köprü çipiyle eski RAM’i yeni sunucularda yeniden kullanıyor

 (theregister.com)
1 puan yazan GN⁺ 3 시간 전 | 1 yorum | WhatsApp'ta paylaş
  • Meta, atıl duruma düşebilecek DDR4 bellek modüllerini yeni DDR5 sunuculara bağlayarak, bazı ayrık çıkarım iş yüklerinde gereken sunucu sayısını en fazla %25 azaltıyor
  • Sunucu filosunun yaklaşık %40’ında bellek genişletmesi yapılamazken, bellek sunuculardan daha uzun ömürlü olduğundan DIMM yeniden kullanımı maliyet düşürme yöntemi haline geliyor
  • Şirketin kendi ASIC’i Vistara, DDR4’ü CXL 2.0/1.1 uyumlu PCIe Gen5 x16 arabirimi üzerinden bağlayarak mevcut CXL ekipmanlarının DDR4 yeniden kullanımı konusundaki sınırlamalarını aşıyor
  • Vistara tabanlı MemServer, AMD Turin, 768GB DDR5 ve 256GB DDR4’ü bir araya getiriyor; DDR4’ü işletim sistemine CPU’suz ayrı bir NUMA düğümü olarak gösteriyor
  • CXL ile genişletilmiş bellek, OOM nedeniyle oluşan iş başarısızlıklarını, yeniden başlatmaları ve kaynak parçalanması ek yükünü %33 azaltarak büyük ölçekli altyapı işletim yükünü düşürüyor

DDR4’ün yeniden kullanılmasının arka planı

  • Meta, eski sunuculardan geri kazanılan DDR4 DIMM’leri yeni sunuculara takarak paylaşılabilir bir bellek havuzu oluşturuyor
  • Sunucu filosunun yaklaşık %40’ında bellek genişletmesi yapılamadığı için bazı iş yüklerini çalıştırmak zorlaşıyor
  • Sunucuların beklenen ömrü 3-5 yıl iken bellek 7-10 yıl boyunca faydalı biçimde kullanılabiliyor
  • Bu ömür farkı nedeniyle eski sunuculardaki belleği yeni sistemlerde yeniden kullanmak, altyapı verimliliğini artırma yöntemi haline geliyor
  • Genişletilemeyen sunucu oranı: {p:40}

CXL kullanımındaki kısıtlar ve Vistara’nın rolü

  • CXL, birden fazla host arasında bellek paylaşımını mümkün kılsa da üretim ortamında düşük bant genişliği, yüksek gecikme ve ek bellek katmanı yönetimi yükü sorun yaratabiliyor
  • Farklı bellek teknolojileri tek bir sistemde birleştirildiğinde bu kısıtlar daha da belirgin hale gelebiliyor
  • Meta, tek bir makine içinde birden çok bellek türünü karıştırmak istedi, ancak hazır CXL ekipmanları gereksinimlerle örtüşmedi
    • CXL çözümlerinin çoğu DRAM ile denetleyiciyi birlikte paketlediği için DIMM yeniden kullanımı zorlaşıyor
    • Çoğunda DDR4 desteği bulunmadığından eski belleğin yeniden değerlendirilmesine uygun olmuyor
    • Güç tüketimi ve maliyet de benimsenme cazibesini düşürüyor
  • Meta, bu boşluğu doldurmak için özelleştirilmiş ASIC Vistara’yı geliştirdi

Vistara ASIC yapısı

  • Vistara, DDR4 belleği host işlemciye bağlayan bir CXL köprüsü görevi görüyor
  • Temel arabirim CXL 2.0/1.1 uyumlu PCIe Gen5 x16
  • Her Vistara ASIC şu yapılandırmaya sahip
    • Bağımsız 72 bit DDR4 bellek kanalı 2 adet
    • En fazla 3.200 MT/s hız desteği
    • 64GB DIMM kullanıldığında çip başına en fazla 256GB destek
  • ASIC’i çalıştırmak için özelleştirilmiş 2 adet RISC-V işlemci kullanılıyor

MemServer donanımı ve yazılımı

  • Vistara donanımı, Meta’nın MemServer adını verdiği cihaza yerleştiriliyor
  • Her MemServer şu bileşenleri bir araya getiriyor
    • AMD Turin işlemci
    • 158 çekirdek, 316 thread
    • 768GB DDR5 bellek
    • Vistara ASIC üzerinden bağlanan 256GB DDR4
  • Vistara CXL kartı, MemServer kasasının içindeki yalnızca arkadan erişilebilen yuvaya takılıyor
  • Yüksek yoğunluklu bellek ile CXL cihazlarının ısıl yükünü yönetmek için kasa, yüksek kapasiteli fanlar ve yönlendirilmiş hava akışıyla soğuk havayı doğrudan Vistara modülüne iletiyor
  • Yazılım tarafında DDR4, işletim sistemine CPU’suz ayrı bir NUMA düğümü olarak gösteriliyor ve işlemciye doğrudan bağlı yerel DRAM düğümünden ayrılıyor
  • Meta platformu önce kullanılabilir yerel DDR4’ü kullanıyor, gerektiğinde ise CXL tabanlı belleğe geçiyor
  • Vistara’da kullanılan Linux CXL sürücü kodu ya zaten upstream kernel’de yer alıyor ya da upstream’e dahil edilme sürecinde bulunuyor

Üretimde kullanım ve operasyonel etkiler

  • Meta, Vistara tabanlı CXL yapılandırmasını milyonlarca sunucudan oluşan hyperscale altyapısında kullanıyor
  • Kullanıldığı iş yükleri arasında şunlar var
    • Öneri sistemlerindeki embedding tablolarını içeren ayrık ML çıkarımı
    • Büyük veri işleme
    • Veritabanları
    • Dağıtık önbellek
    • CI/CD build sistemleri
  • Spark ve Hive gibi büyük veri araçları terabayt ve petabayt ölçeğinde veri kümeleriyle çalışıyor ve iş başına yüzlerce GB bellek gerektirebiliyor
  • Bu tür iş yüklerinde OOM olayları yaşanırsa kritik iş analitiği ve ML boru hatları kesintiye uğrayabiliyor
  • CXL ile genişletilmiş ek bellek kapasitesi, OOM riskini azaltarak iş başarısızlıkları, iş yeniden başlatmaları ve kaynak parçalanmasıyla ilgili ek yükü %33 azaltıyor
  • Ayrık çıkarımda gereken sunucu sayısında en fazla %25 azalma görülüyor
  • Meta ayrıca yüksek bellek fiyatlarından kaçınma avantajı da sağlıyor
  • Operasyonel ek yükte azalma: {p:33}
  • Ayrık çıkarımda sunucu sayısında azalma: {p:25}

İlgili okumalar

1 yorum

 
GN⁺ 3 시간 전
Hacker News yorumları

  • William Gibson’ın Neuromancer’ının başlarında ana karakter yeraltı piyasasında 3 MB RAM satmaya çalışıyor; bu da kitabın zamanın sınavına dayanamadığına dair sık verilen örneklerden biri
    Ama günümüzde bellek piyasasının yönüne bakınca… belki de henüz oraya biz ulaşamamışızdır

    • İlk dönem bilgisayar bilimcileri gerçekten iyimserdi. Birkaç KB RAM ve birkaç MHz CPU ile yapay zeka, bilinç, makine öğrenmesi, dil, konuşma sentezi dahil her şeyin yapılabileceğine inanıyorlardı
      Şimdi tek bir web formu için GB düzeyinde RAM kullanıyoruz. Gibson’ın siber uzaydaki bir bilince 3 MB RAM’in yeteceğini düşünmesi çok iyimser, ama dönemin havasına gayet uygundu
    • Bilgisayarlara bilinçli biçimde bakmaya başladığımdan beri en etkileyici gelişmenin bellek kapasitesi olduğunu birçok kez düşündüm. Ağlar ya da USB de büyük ilerlemeler ama bilgisayarları aynı şekilde “hızlı” yapmıyorlar
      2000’de Diablo II yeni çıktığında 450 MHz Pentium III ve 64 MB RAM’li bir bilgisayarı ödünç kullanabiliyordum; o dönemde 64 MB RAM orta seviye sayılırdı ve doğal kabul edilen bir özellik değildi. Hatırladığım kadarıyla Diablo II tek oyunculu için 64 MB, çok oyunculu için 128 MB öneriyordu
      Şu an bu yazıyı yazdığım bilgisayarda 64 GB RAM var; bu 1024 kat demek. Buna karşılık CPU, en fazla yaklaşık 3 GHz’e çıkan 20 çekirdekli bir Intel; her çekirdeğin aynı anda en yüksek hızda çalıştığını varsaysak bile CPU performans artışı yaklaşık 133 katta kalıyor
      NVMe okuma süreleri bellek kapasitesi artışı kadar, hatta daha önemli olabilir; ama PC özellik listelerinde bellek ve CPU kadar öne çıkmıyor
      Sabit disk kapasitesindeki artış da RAM kadar etkileyici sayılır. 2000’de kabaca 10–30 GB civarındaydı diye hatırlıyorum; şimdi ise 10 TB diske ihtiyacım olmadığı için kullanmıyorum, 1 TB yetiyor. Bu yüzden kişisel olarak etkisini bellek kadar hissetmiyorum
    • Bilgi işlemin ilk dönemlerinde bellek birimleri henüz yerleşmemişti; donanım mimarisine göre word boyutları da değişiyordu ve illa 8’e bölünebilir olmak zorunda değildi
      Bu makinelerin bellek boyutları aslında word boyutuyla ifade edilirdi. Örneğin “bu makinede 8 kiloword çekirdek bellek var” gibi. Bu yüzden eski romanlarda döneme aykırı görünen bellek kapasiteleri gördüğümde, sadece onların kullandığı word boyutunu bilmediğimi varsayıyorum
    • Kriyojenik bir şişede saklanan “sıcak” 3 MB RAM ise cold boot saldırısına daha yakın olurdu; RAM’i değil, veriyi satıyor olursun
    • Eserin bu yüzden çağının gerisinde kaldığını söylemek epey kusur aramak olur. Hamlet’te cep telefonu yok ama hâlâ harika bir oyun olduğunu düşünüyorum
      Tabii hızlı bir FaceTime görüşmesi trajediyi önleyebilirdi

  • Neden doğrudan daha ayrıntılı asıl makaleye gidilmediğini anlamıyorum
    https://www.theregister.com/systems/2026/06/29/zuck-saves-me...

    • Orijinal makalenin bağlantısı https://aisystemcodesign.github.io/papers/isca26/vistara_cam...
      Kabaca göz atınca, çok sayıda DDR4’ü PCIe kartına takıp swap alanı gibi kullanmaya benzetebilirsiniz. Gerçekte CXL protokolü nedeniyle daha sofistike, ama ödünleşimi böyle anlamak mümkün
      Hızlı ana DRAM ile gecikmesi daha yüksek genişletme DRAM’i arasında hot/cold sayfaları taşımak için işletim sistemi düzeyinde destek de var gibi görünüyor
      DRAM’in ömrünün oldukça uzun olması, üretim sürecinde zaten kayda değer miktarda gömülü karbon emisyonu taşıması ve aynı zamanda yeni DRAM arzında bir kriz yaşanması çok makul bir mesele
    • Böyle bir şeyi “Zuck” sayesinde olmuş gibi yazmaları şaşırtıcı. Gerçekte onun bu konulardan haberdar olduğunu düşünmek zor
    • “Asıl makale” deniyorsa Register’ın kardeş sitesi olan şu taraf gibi görünüyor
      https://www.blocksandfiles.com/architecture/2026/06/26/panmn...

  • Eskiden beri, “eski ya da elde kalmış SIMM/DIMM’leri, bir-iki nesil önceki bellekleri bolca takıp swap/yavaş bellek/RAM disk olarak kullanmaya yarayan ucuz PCI/PCI-X/PCIe kartları” pazarının neden hiç büyümediğini merak etmişimdir.
    Anakart adres alanını en yeni bellekle tamamen doldurmak nadir bir durum; çekirdeğe de hızına göre hangi belleği daha çok tercih etmesi gerektiği öğretilebiliyor, dolayısıyla bunun gayet mümkün görünmesi gerekirdi.
    Benzer bir işi flash ile yapmaya çalışan pazarın patent sorunları yüzünden kırıldığını hatırlıyorum ama ayrıntılar bulanık. Yine de flash cache, en azından büyük oyuncular tarafında bir pazar oldu. Burada da benzer bir şey yaşanmış olabilir ya da o dönem benim ilgilendiğim nişe özgü bir durumdu.
    [1] Bu alanda birkaç ürün olduğunu biliyorum ama izlenimim, büyük çıkış yapamadıkları yönünde. Yanılıyor olabilirim.
    [2] NetBSD’de bunun kesinlikle mümkün olduğunu biliyorum. VMEbus gibi mimarilerde bizzat yaptım; küçük ve hızlı onboard bellek ile bus tarafında daha yavaş ama daha büyük belleğin birlikte bulunduğu yapılandırmalar yaygındır. Linux’ta da NUMA desteği çalışmaları sayesinde bunun mümkün olabileceğini sanıyorum ama bizzat incelemedim.

    • Büyük bir pazar olmamasının nedeni, yeni belleğin; yeni sunucularda eski bellek kullanmanın maliyeti, riski ve kısıtlarına kıyasla yasaklayıcı derecede pahalı olmamasıydı.
      Şimdi durum değiştiği için insanlar bu fikre yeniden bakıyor.
    • Tam olarak aynı şey değil ama eski parçalardan bir NAS kutusu yapıyorum. Elde kalan RAM’lerin çoğu dizüstü tipi DDR4 SODIMM olduğu için SODIMM → masaüstü DIMM adaptörü denedim, pek iyi çalışmadı.
      Sistem yaklaşık 5 denemeden 1’inde boot ediyordu; bellek hızı ayarlarını nasıl değiştirirsem değiştireyim kararlı hâle gelmedi.
    • 30 yıl önce, 4 adet 30 pin SIMM modülünü 72 pin SIMM yuvasına uyacak şekilde dönüştüren böyle kartlar olduğunu hatırlıyorum.
      https://www.ebay.com/itm/383521792853
    • Eski nesil DIMM’ler o kadar da ucuz değil ve arzları da sınırlı. Çünkü yeni çip üretim kapasitesini açmak için eski nesil ürünler üretimden çekiliyor.
      DDR2 şimdiden DDR3’ten daha pahalı; muhtemelen artık üretilmemesine rağmen eski donanımlarda bellek değişimi ya da yükseltme talebi hâlâ olduğu için.
    • Bugünün büyük farkının, CXL’in PCIe üzerine cache tutarlılığı eklemesi olduğunu anlıyorum. Yanılıyor olabilirim.
      Cache tutarlılığı olmazsa o belleği nasıl kullanacağınız konusunda çok daha dikkatli olmanız gerekir ve performans konusu da karmaşıklaşır. CXL üzerindeki RAM, CPU bellek denetleyicisine doğrudan bağlı RAM’den daha düşük performans verecektir ama büyük tuzaklar barındırmaz.

  • Özel çip tasarlamak istemiyorsanız standart ürün olarak CXL bellek genişletme çipleri var.
    https://www.marvell.com/products/cxl.html

  • Bu “RAM krizi”nde ilginç olan taraf, diğer alanlarda olduğu gibi sorun çıkınca birçok aktörün alternatif aramaya başlaması.
    Bunun sonucunda krizden sonra, umarız yerel makinelere de uygulanacak bir bellek patlaması yaratabilecek ilginç fikirler veya geçici çözümler ortaya çıkabilir.
    Birincisi, Apple yeni bir Çinli üreticiyi değerlendiriyor; kalite güvencesi iyiyse arz-talep dengesi değişebilir. (https://www.ft.com/content/f4ac5c92-03be-4499-b16a-017a7e9ee...)
    İkincisi, şirketler performans için dolambaçlı çözümler arıyor. Birdenbire single channel da “yeterince iyi” mi oldu? :)
    (https://www.gigabyte.com/press/news/2403)

    • Single channel RAM bile disk tabanlı swap’tan kesinlikle daha iyidir.
    • Yazılımları yeniden donanım kısıtlarını dikkate alarak tasarlamaya başlasak iyi olur.
    • Sonuçta ihtiyaç, icadın anasıdır. Entelektüel düşüncedeki en eski soyut kavramlardan biri olabilir.
      Kaynak kıtlığı ile motivasyon arasında sıkı bir bağ var. En büyük frontier modellerin RAM, SSD ve GPU üzerinde yarattığı talep, daha küçük LLM’ler geliştirmek için doğrudan motivasyon oluyor. Hayvanların daha küçük ve daha az besin kullanan yönde evrimsel baskı görmesine benziyor.
      Bu küçük modeller başarılı olsa bile, yüksek kaliteli video işleme dışında muhtemelen hâlâ diğer tüm uygulamalardan daha fazla RAM, SSD ve GPU kullanacaklar. Küçük LLM’ler ile gelişmiş video işlemenin ihtiyaç duyduğu kaynaklar benzer görünüyor.
      Ancak kaynaklar pazar geneline daha geleneksel biçimde dağıldıkça daha az çılgın bir döngüye dönüşebilir.
      Bu yüzden üreticilerin yaşadığı RAM/SSD fiyat döngüsü krizinin, yani arz kısıtları ile yeni üretim kapasitesinin yol açtığı aşırı arz arasında fiyatların inip çıkması sorununun çıkışı, daha küçük LLM araştırmalarını finanse etmek gibi görünüyor. Nasıl olsa neredeyse aynı miktarda ürün satacaklar; belki daha fazlasını bile satabilirler.

  • Bunu tüketici tarafı için de yapsalar iyi olur. Epey eski RAM’im var.

    • Eskiden Gigabyte, RAM disk eklenti kartı yapmıştı. Tam olarak aynı şey değil ama depolama aygıtı olarak göründüğü için işletim sistemi swap alanı olarak kullanılabiliyordu.
      https://en.wikipedia.org/wiki/I-RAM
    • RAM’i bu şekilde eklemek, ana sistem RAM’ini genişletmekle tam olarak aynı şey değil. RAM, PCIe ailesinden bir bağlantı üzerinden bağlandığı için temel RAM gibi davranmaz.
      Bu yapı, mühendislerin mimariye göre özelleştirme ve ayar yapabildiği sunucu çiftliklerine daha uygundur.
      RAM’i depolama aygıtı olarak kullanan kartlar da vardı ama disk gibi yapılandırılmaları gerektiğinden kullanım alanları çok sınırlıydı ve popüler olmadılar.
    • Tüketici sistemlerinde CPU’ya geri dönen bant genişliği çok fazla olmadığı için his biraz farklı.
      Bugünkü ikinci el DDR4 fiyatlarına bakınca, satıp bir NVMe sürücü almak daha mantıklı olabilir.

  • ServeTheHome, CXL bellek genişletme denetleyicisini Aralık ayında zaten ele almıştı
    https://www.servethehome.com/hyper-scalers-are-using-cxl-to-...

  • Makalede şöyle deniyor: “CXL çözümümüz çeşitli iş yüklerinde büyük iyileşmeler sağladı; dağıtık ML çıkarımında sunucu sayısını %25’e kadar azalttı”
    Daha kötü RAM kullanırken aynı iş yükünde sunucu sayısında %25 azalma nasıl mümkün, anlamıyorum

    • Çünkü daha iyi RAM’in yerine geçmiyor; ek olarak kullanılıyor
    • CXL, temelde PCIe üzerinde “daha yavaş” RAM eklemek demek. Yerine koyma değil

  • Önümüzdeki birkaç yılda tüketici elektroniği pazarının ne olacağını görmek ilginç olacak. Şirketler şu anda RAM kıtlığı yüzünden tüketicilerin daha yüksek fiyat ödeyeceğine bahse giriyor
    Ama diğer tüm maliyetler de artarken, önemli sayıda tüketicinin bir süre yeni cihaz almayacağını düşünüyorum. HN ölçüt alınmamalı; herkesin teknoloji sektörü maaşı almadığını hatırlamak gerek

    • Sanırım ben de buna daha yakınım. Teknolojiyle daha az etkileşime girmeyi seçiyorum
      Her şey giderek daha düşmanca hale geldi ve eşik noktasına ulaştı
    • İşletim sistemi üreticilerinin eski donanımları daha uzun süre desteklemesi gerekecek
      Microsoft, Win11 için yeni donanımı zorla dayatmaya çalışınca Win10 zaten 1 yıl daha uzatıldı

  • Güzel, artık ikinci el RAM fiyatları da göklere çıkabilir
    PC fiyatları yeniden bir araba fiyatına gelirse iyi olur. Para kazanma fırsatları gerçekten çoğalır ne de olsa

    • Zaten öyle oldu. 5 yıllık ikinci el DDR4 şu anda 5 yıl önceki sıfır ürün fiyatından daha pahalı