Nvidia'nın Project Digits'i, "kişisel yapay zeka süper bilgisayarı"

 (techcrunch.com)
3 puan yazan GN⁺ 2025-01-08 | 2 yorum | WhatsApp'ta paylaş
  • Nvidia, CES 2025'te Grace Blackwell tabanlı yapay zeka donanımını masa üstüne konabilecek küçük bir cihaz formunda tanıttı
  • Project Digits, Nvidia'nın yapay zeka yazılım yığınını yerelde çalıştıran kişisel yapay zeka süper bilgisayarı olarak, bulut ile iş istasyonu arasındaki seçeneği hedefliyor
  • Nvidia'ya göre tek bir cihaz, GB10 Grace Blackwell Superchip ile 1 petaflop'a kadar performans ve 200 milyar parametreli modelleri çalıştırma desteği sunuyor
  • GB10, MediaTek ile iş birliği içinde geliştirildi ve Blackwell GPU, 20 çekirdekli Grace CPU, 128GB bellek ve en fazla 4TB flash depolama içeriyor
  • Mayıstan itibaren büyük iş ortakları üzerinden 3.000 dolar fiyatla satışa çıkması planlanıyor; bu da güçlü bir yerel yapay zeka geliştirme ortamı sunsa da bireysel alıcı kitlesini sınırlayabilir

Masaya inen Grace Blackwell

  • Nvidia, Las Vegas'ta düzenlenen CES 2025'te Project Digits'i tanıttı
  • Project Digits, şirketin Grace Blackwell donanım platformunu küçük bir form faktörde sunan bir “kişisel yapay zeka süper bilgisayarı”
  • Başlıca hedef kitle olarak yapay zeka araştırmacıları, veri bilimcileri ve öğrenciler gösteriliyor
  • CEO Jensen Huang, Project Digits'in Nvidia'nın tüm yapay zeka yığınını çalıştırdığını ve masaya konan bir bulut bilişim platformu ile iş istasyonu gibi kullanılabildiğini söyledi

Model çalıştırma ölçeği ve donanım yapısı

  • GB10 Grace Blackwell Superchip

    • Project Digits'in içinde Nvidia'nın yeni GB10 Grace Blackwell Superchip'i bulunuyor
    • Yapay zeka modeli prototipleme, fine-tuning ve çalıştırma için en fazla 1 petaflop hesaplama performansı sağlıyor
    • Nvidia'ya göre tek bir Project Digits cihazı, en fazla 200 milyar parametreli modelleri çalıştırabiliyor

  • Çip ve bellek yapısı

    • GB10, MediaTek ile iş birliği içinde geliştirildi
    • Nvidia Blackwell GPU ile 20 çekirdekli Nvidia Grace CPU'nun bağlandığı bir yapıya sahip
    • İçinde 128GB bellek havuzu ve en fazla 4TB flash depolama bulunuyor

  • Genişleme ve kullanım biçimi

    • İki Project Digits birbirine bağlandığında, iş yüküne bağlı olarak en fazla 405 milyar parametreli modeller çalıştırılabiliyor
    • Bağımsız olarak kullanılabiliyor ve temel Windows veya Mac PC sistemlerine bağlanarak da çalışabiliyor
    • İşletim sistemi, Nvidia'nın Linux tabanlı DGX OS'u

Çıkış takvimi ve fiyat

  • Project Digits, mayıstan itibaren “büyük iş ortakları” üzerinden 3.000 dolar fiyatla satışa sunulacak
  • Huang, Grace Blackwell Superchip'i milyonlarca geliştiriciye ulaştırmanın ve veri bilimcileri, yapay zeka araştırmacıları ile öğrencilerin masasına yapay zeka süper bilgisayarı getirmenin yapay zeka çağına katılımı genişlettiğini söyledi

İlgili okumalar

2 yorum

 
berry 2025-01-16

Umarım söyledikleri gibi iyi performans gösterecek ve bakımı da düzgün şekilde yapacaklardır.
 
GN⁺ 2025-01-08
Hacker News yorumları

  • Köşede duran Jetson Nanoya bakınca, Nvidia'nın onu 4 yıl sonra terk ettiğini ve emeklilikte sadece kâğıt ağırlığı görevi gördüğünü görüyorum
    “AI” için tek kartlı bilgisayar olarak çıkmıştı ama zaten eskimiş, özelleştirilmiş Ubuntu 18.04 tabanlıydı; 18.04 desteği sona erince Nvidia, tescilli JetPack ve sürücü güncellemelerini tamamen durdurdu
    Sonuç olarak CUDA, Pytorch gibi makine öğrenimi yığınları da işe yaramaz hale geldi; yazılım desteği Linux kernel upstream'ine girmediği sürece bir daha Nvidia tek kartlı bilgisayar almayı düşünmüyorum

    • Gerçekten önemli bir nokta
      Nvidia ile Linux'un ilişkisi genel olarak karmaşıktı. Sürücü sağlıyorlar ama bir Linux kurulumunu geri döndürülemez biçimde bozmanın en kesin yollarından biri o sürücüyü kurmak ya da yükseltmekti
      Linux'u birinci sınıf destek hedefi olarak önceliklendirmekten ziyade, “çalışıyor” diyebilecekleri asgari şeye katlanıyorlarmış gibi hissettiriyor
    • Benzer bir şey yaşadım; Xavier NX de son güncellemeden sonra çalışmayı bıraktı ve şimdi toz topluyor
      Açıkçası Nvidia tek kartlı bilgisayarlar, sağladığından daha fazla zahmet çıkardı
    • Orin serisinden sonra UEFI kullanıyorlar ve GPU etkinleştirilmemiş upstream kernel'i de çalıştırabiliyor gibi görünüyor. Bununla ilgili bir kullanıcı kılavuzu sayfası da var
      Epey iyileşmiş görünüyor ama JetPack Linux fork'unda Tegra için ayrı bir nvgpu sürücüsü var ve hâlâ o ağaçtan ayrılmadığı için GPU'suz kernel sınırlaması büyük
      Açıkça robotik ve uç yapay zeka çıkarımı yapmıyorsanız daha iyi alternatifler var
      Bu cihaz; adına, DGX tarzı tasarımına ve DGX OS gibi yazılımlarına bakınca Tegra'dan çok Grace Hopper/veri merkezi tasarımına daha yakın hissettiriyor
      Bu tür workstation/sunucu tarafı UEFI kullanır ve istediğiniz dağıtımda upstream Linux kernel'i ile açık kaynak Nvidia sürücüsünü kullanma ihtimali olabilir
      Öyleyse Jetson serisinden çok daha tanıdık, sıradan bir Linux makinesi olabilir; ancak GH200/GB200 için de özel yamalar gerekip gerekmediği henüz bilinmiyor
      Zaman gösterecek ama iyi bir GPU ile iyi bir ARM Cortex tasarımı birleşir ve Jetson serisinden daha geleneksel bir Linux kutusu gibi davranırsa harika bir yerel yapay zeka çıkarım makinesi olabilir
    • DGX OS çalıştırıyor ve Jensen da bu cihazın Nvidia donanım yığınının tam bir parçası olacağını bizzat söyledi
    • Ayrı bir uzatılmış bakım yoksa Ubuntu 22.04 de 2 yıl sonra destek dışı kalacak
      Deneyimime göre üreticiler güvenlik yamalarını upstream kadar iyi takip edemiyor. Nvidia'nın kapalı ekosistemini düşününce uzun vadeli destekten büyük beklentim yok

  • Bu, 5x serisi GPU'lardan daha büyük bir anlam taşıyor gibi görünüyor
    AI/LLM çılgınlığını düşünürsek, M4 Max/Ultra Mac mini çıksa bile Apple'ın elinde tuttuğu hobi amaçlı yapay zeka geliştiricileri kitlesinin bir kısmını aşındırabilir
    Son birkaç yıldır Nvidia sanki her şeyi doğru yapıyor; keşke hisselerini elimde tutsaydım diye düşündürüyor

    • Her şirketin mutlaka sahip olması gereken şey bir onboarding yolu
      Xeon Phi birçok nedenle başarısız oldu ama optimize edilmiş yazılımın erişilebilirliği başarısız olmak zorunda olmayan bir alandı
      Bugün Xeon, EPYC ve çok sayıda verimlilik çekirdeğine sahip MI300C var; ancak son 10 yılda bu donanıma göre uyarlanmış yazılımlar kullanılmış olsaydı performansı ortaya çıkarma sorunu çoktan çözülmüş olurdu
      Itanium için de Intel'in en önce garanti altına alması gereken şey iyi Linux desteğiydi ve bu, ilk silisyum çıkmadan önce bile hazırlanabilirdi
      Bir süre Itanium desteği iyiydi ama artık çoktan ölmüş bir platform haline geldi
      Sun da SPARC'ta benzer şekilde başarısız oldu. Workstation'lardan vazgeçtikten sonra kolay bir onboarding yolu kalmamıştı
      OpenSolaris ile işletim sisteminin alakasını koruması ve x86 Solaris'e fiilen göz yumarak insanların öğrenip eğitim almasını sağlaması iyi bir hamleydi
      Oracle Cloud'un en azından SPARC'ı bulut instance'ı olarak sunmasını isterdim
      IBM de şimdi aynı yolda ilerliyor. Workstation sınıfı x86 ile performans açısından rekabet edebilecek makul bir giriş seviyesi POWER makinesi yok
      En fazla masanın yanındaki kasaya koyabileceğiniz küçük bir yarım rack makinesi var
      AIX, IBMi veya Linux on POWER ile yeni sistem dağıtmak isteyen şirket neredeyse görmedim; çünkü rakip platformlarda kurulum yapmak çok kolay
      IBM Cloud'da AIX, IBMi, IBM Z instance'ları bulunabiliyor ama kolay değil; “0'dan SSH/5250/3270'ye” giden bir eğitim de bulamadım
      Linux on Z mümkün ama IBM'in Linux on POWER sunmasının bir yolu yok gibi görünüyor; yalnızca bazı HPC laboratuvarları hâlâ böyle kaynaklar sağlıyor
    • Burada sözü edilen geliştiriciler yalnızca hobi kullanıcıları değil; işverenleri için model geliştirmek amacıyla SuperMicro ve Lambda PC satın alan geliştiricileri de kapsıyor
      Pek çok şirket, pahalı kurumsal sınıf çipleri ticari kullanım için boşta tutmak adına bu tür cihazları yerel geliştirme için satın alacaktır
      Dâhiyane bir hamle. Mac mini'ye benzer boyutta bu kadar performansı sığdırmış olmaları, form faktörünü daha da şaşırtıcı kılıyor
      6000 dolara iki tane alıp 400B+ modelleri yerelde çalıştırabilmek akıl almaz
      Masaüstünde ChatGPT benzeri bir şeyi çalıştırmayı hayal etmek bile bir yıl önce mümkün değildi
    • Hobi kullanıcılarının pazarda çok küçük bir pay olduğunu düşünüyorum
      Yine de hobi kullanıcıları teknoloji yığınındaki iyileştirmeleri çok ittiği için, bunu kullanmaya başlarlarsa NVIDIA ekosistemi daha da derinlere yerleşecektir
    • Jensen yakın tarihli bir röportajda “şirketimi öldürmeye çalışıyorlar” anlamına gelen bir şey söyledi
      Birleşik belleğe sahip Mac'ler, onun hemen yanıt vermesi gereken bir tehdit. Görünüşe göre Jensen bir savaş dönemi CEO'su ve şaka yapmıyor
      AMD'nin üst seviye alanda geri planda kalması da şaşırtıcı değil. Nvidia, Apple'la doğrudan karşı karşıya geliyor; AMD ise Apple'la rekabet eden bir iş yapan şirket değil
    • Çevremdeki insanlara bakınca hobi pazarı zaten Nvidia 4090/3090 ile doymuş gibi
      Çünkü insanlar boş zamanlarında fine-tuning yapmak ve yetişkinlere yönelik görsel üretmek istiyor
      Evde difüzyon modelleri ve LLM çalıştırdığını paylaşan kullanıcıların Venn diyagramı neredeyse tam bir daire gibi

  • Nvidia’nın Wintel tarafındaki herhangi bir şeyden fiyat/performans olarak daha iyi bir Linux masaüstü süper bilgisayarı çıkarması ve yeni yazılım yığınının Win32’ye taşınmayıp yalnızca WSL2’de çalışması şaşırtıcı
    Gerçekten Linux masaüstünün yılı gelebilir

    • Fiyat/performansının daha iyi olduğuna karar vermek için henüz erken
      Neoverse N2 20 çekirdekin Zen 5 16 çekirdeğe kıyasla özellikle iyi performans göstereceğini sanmıyorum
      GPU tarafı umut verici görünüyor ama bellek bant genişliği, yapılandırma, ayrıntılı teknik özellikler ve performanstan söz edilmiyor
      Yalnızca “3000 dolardan başlayan”, 4 TB’a kadar NVMe, 128 GB’a kadar RAM gibi muğlak bilgiler gördüm
      AMD Strix Halo’nun, yani AI Max+ 395’in de oldukça rekabetçi olacağını tahmin ediyorum
    • Bu, masaüstünden çok iş istasyonuna yakın görünüyor
      O zaman da son birkaç on yıldır süren “iş istasyonları üzerinde Unix” akımının bir devamı değil mi diye düşünüyorum
    • Nvidia doğal olarak Windows lisansı ücreti ödemek istemeyecektir
      Nvidia kartları geliştirmek için Microsoft’la yakın çalışıyor; temel özellikler önce DirectX’e giriyor, ardından Vulkan ve OpenGL’e Nvidia uzantısı olarak ekleniyor, daha sonra başka üreticiler benzer uzantıları izlediğinde standart hâline geliyor
    • Win32’yi desteklemediği nerede yazıyor?
    • “Tüm yeni yazılım yığınının yalnızca WSL2’de çalıştığı ve Win32’ye taşınmadığı” tam olarak ne anlama geliyor, bilmiyorum
      WSL2 özünde bir sanal makine değil mi? O zaman bu Linux’ta çalıştığı ve Linux’un WSL2’de de çalıştırılabileceği anlamına gelmiyor mu?
      Gerçekten yalnızca WSL2’de çalışıyorsa mesele başka
      Linux iş istasyonu sanıp heyecanlanmıştım; ama herhangi bir şekilde WSL2 işin içine giriyorsa ya da zorunluysa hemen kaçmak gerekir

  • Maliyeti ucuz bulut çözümleriyle kıyaslayan çok yorum olmasına biraz şaşırdım
    Nvidia’nın değer önerisinin tamamen farklı olduğunu düşünüyorum
    Örneğin AB’de kişisel verileri ya da şirket sırlarını işleyen bir startup bunları LLM ile analiz etmek istiyorsa, performans darboğaz olmadığı sürece verinin bodrum katından dışarı çıkmaması tek başına 3000 dolardan daha değerli olabilir

    • İyi bir modeli yerelde istek işlemek için çalıştırabiliyorsam bu cihaza 3000 dolar ödemeye razıyım
      Token başına ücret ödemektense sahip olduğum donanımda LLM ile çok daha fazla saçma deney yapıyorum
      Hatta şu anda bile Claude’dan daha küçük yerel Llama’larla çok daha fazla vakit geçiriyorum
      Hassas bir iş yapmasam bile verilerimi bu şirketlere göndermek hâlâ içime sinmiyor
      Bu, bulutla rekabet eden değil, Mac mini ve yüksek performanslı GPU ile rekabet eden bir ürün; o pazarda 3000 dolar çok cazip bir fiyat aralığı
    • Birçok KOBİ kendi verisini bulut kara kutusuna göndermek istemeyecektir
    • Mevcut şirketler için de harika
      Bir teknoloji şirketi bu cihazlardan birkaçını yerelde bulundurursa, kullanıcılar hassas verilerle şirket LLM’ine sorgu gönderebilir
    • “Kendi PC’ni toplama” gibi diğer yerel alternatiflerle kıyaslandığında da fiyatı epey rekabetçi görünüyor
      Şu anda masaüstü yükseltmesinden kalan parçaları birleştirdiğim donanımda modeller geliştiriyor, eğitiyor ve kullanıyorum; bundan kesinlikle bir tane alırım, iyi çalışırsa iki tane de alabilirim
    • Verinin bodrumdan dışarı çıkmamasının değerinin 3000 doların üzerinde olabileceğini anlıyorum
      Ancak düzenlemeler ya da iş gereksinimleri veri yedekliliği ve koruması da isteyebilir; her şeyi yalnızca sahada tutmak bu gereksinimleri karşılamayabilir

  • Burada pek ele alınmayan bir pazar var: biyoinformatik
    Bu pazarın güçlü oyuncusu Illumina, binlerce genomu hızlı analiz etmek için DRAGEN adlı sunucuya yönelik özelleştirilmiş bir donanım çipini hâlihazırda sağlıyor
    İnsan genomu dizilemesi yaygınlaştıkça bu ürünün ana pazarı kişiselleştirilmiş tıp oluyor
    Oxford Nanopore gibi şirketler, dizileyiciden gelen ham elektrik sinyallerini A, T, G, C’ye dönüştüren baz okuma için yerleşik GPU kullanıyor; ancak boyut ve güç kısıtları nedeniyle beklendiği kadar iyi olmuyor
    Bu cihaz ONT gibi yerler için büyük bir oyun değiştirici olabilir; uyarlamalı dizileme gibi daha havalı işler için özellikle öyle
    Biyoinformatiğin diğer alanlarında, örneğin günlük analiz yazılımlarının çoğunda hâlâ CPU ve RAM bağımlılığı yüksek

    • Şimdilik görece küçük bir pazar
      Illumina bu çipi yapan şirketi 100 milyon dolara satın aldı
      Bulutta genel amaçlı donanımla tek bir genomu analiz etmenin maliyeti genellikle 10 doların altında
      Elbette böyle çipler şu anda imkânsız olan ya da maliyet yüzünden tıkanan analizleri mümkün kılabilir
      Ama en azından şu anda genomikte darboğaz analiz değil, dizileme maliyeti; şu anda genom başına 400–500 dolar seviyesinde
    • Illumina güvenliği pek umursuyor gibi görünmüyor: https://arstechnica.com/security/2025/01/widely-used-dna-seq...
    • Daha büyük resimde OpenAI o3/o4 ve özel modeller genom etiketleme ve keşif kapısını ardına kadar açacak
      Yine de ASI’nin ciddi biçimde devreye girmesi için hâlâ 1–3 yıl olduğunu düşünüyorum
    • Bu, laboratuvarları mı, hastaneleri mi, yoksa bireysel ev kullanımını mı hedefliyor?
    • Küçük bir düzeltme: Illumina dizileme pazarının lideri; tüm biyoinformatik pazarının değil

  • Merak edip baktım; bu cihaz DGX OS denen şeyi çalıştırıyor
    DGX OS 6’nın başlıca özellikleri Ubuntu 22.04 tabanı, en yeni uzun süreli destek Linux çekirdeği 5.15, Python ve GCC gibi yazılım paketlerinde güncellemeler, ek yamalar olmadan GPU Direct Storage desteği sunan Nvidia tarafından optimize edilmiş Linux çekirdeği, tüm Nvidia GPU sürücü dallarına ve CUDA Toolkit sürümlerine erişim, temel Ubuntu OFED ile ek özellikler için isteğe bağlı NVIDIA OFED kurulumu, Secure Boot desteği ve DGX H100/H200 desteği

    • Nvidia optimizasyonu, yayımlanmamış yamalar ve yükseltilmesi zor bir işletim sistemi anlamına mı geliyor?
      Üzerinde ikili blob Nvidia sürücüsü varken yükseltince ne olacağı aklıma geliyor
    • DGX OS’te ne tür casus yazılımlar olacağını merak ediyorum
      Ah, pardon, telemetri demeliydim

  • Nvidia, Intel/AMD’nin CUDA ekosistemini tehdit etmek için yapması gereken şeyi yapmış oldu
    “Ucuz” bir 128 GB yerel çıkarım cihazı/GPU çıkardı
    İyi iş çıkardı; bundan sonra Intel/AMD’nin yapay zeka girişimleri kasvetli görünüyor

    • Sanırım meselenin özünü yakalamış
      Nvidia’nın konumuna en temel SWOT analiziyle bile bakılsa, rakiplerin böyle bir ürün çıkarma ihtimalinin mutlaka hesaba katılması gerekirdi
      İster bu alanın kenarlarını zaten azar azar kemiren Apple olsun, ister bunu yapabilecek ya da yapması gereken AMD/Intel olsun
      İşlerin mutlaka böyle gideceğinin garantisi yok ama her masaya ve her eve LLM benzeri modellerin girdiği bir gelecek gayet olası

  • Bu, bilgisayara bağlanıp özel işler çalıştıran bir çevre birimi değil; Linux çalıştıran tam teşekküllü bir bilgisayar
    Bahçedeki keşiş gibi bir şey. Bir gün herkesin bunun gelecek sürümünden bir tane bulundurduğu; o cihazın bizimle birlikte yaşayıp bizimle birlikte öğrendiği ve bulut tabanlı SaaS yapay zekadan farklı olarak anında eğitilebildiği için ortalamanın dışına çıkma avantajı sağlayabildiği bir geleceği hayal ettiriyor

    • Bir tane istemiyor değilim ama çok belirli bir nişin ötesine geçmesi zor gibi
      Avantajları olsa da streaming aboneliği yerine kendi Plex sunucusunu çalıştıran kişi sayısı hâlâ çok az
      Yerel tarafta da donanım ilerlemeleri ve küçük modellerin çeşitli işleri epey iyi yapabildiğinin keşfi devam ederse, bu tür yüksek performanslı yerel iş istasyonları en fazla niş bir çekicilik olarak kalacak gibi
    • “Bahçedeki keşiş” ifadesi ilginç ve canlı
      Nereden çıktığını merak ediyorum

  • IBM Roadrunner, 25 Mayıs 2008’de 1 petaflop’a, yani saniyede 1 katrilyon kayan nokta işlemine ulaşan ilk süper bilgisayardı
    100 milyon dolar, 2,35 MW, 6000 ft² idi
    Buna karşılık Project Digits, yapay zeka araştırmacıları, veri bilimcileri ve öğrenciler için tasarlandı; Nvidia’nın yeni GB10 Grace Blackwell Superchip’iyle prototipleme, fine-tuning ve yapay zeka modellerini çalıştırmada 1 petaflop’a kadar performans sunuyor
    3000 dolar, 1 kW, 0,5 ft²

    • Digits’in petaflop’u FP4, Roadrunner’ın petaflop’u ise FP32
      Bu yüzden en az 8 kat fark var; gerçekte muhtemelen çok daha büyük olacaktır
      Digits’in FP32’de 1/8 petaflop verebileceği bile çok şüpheli
      Diğer farklar, 20 yıllık süreyi düşününce makul görünüyor

  • Nvidia Jetson AGX Orin 64GB Developer Kit’in halefi gibi görünüyor: https://www.okdo.com/wp-content/uploads/2023/03/jetson-agx-o...
    Bellek bant genişliği ve hesaplama performansı açısından ayrıntılı teknik özellikleri merak ediyorum

    • Jetson platformunda sık görüldüğü gibi işletim sistemi desteğinin berbat olmamasını umuyorum
      Şimdiki gibiyse, kullanım ömrü boyunca yalnızca 1-2 büyük çekirdek güncellemesi alıp, OS’i flash’layan aracı çalıştırmak için x86 PC’ye 6 yıllık Ubuntu kurmak gibi tuhaf işler yapmak gerekecek
    • Jetson Orin Dev Kit, üretim ortamlarında edge computing için, örneğin robot görüşünde Jetson modülleri kullanmak isteyenlere yönelik bir geliştirme kiti olarak tam yerine oturan bir ürün
      Teknik toplulukta ünlü olmasının nedeni tek kart bilgisayar sendromu
      İnsanlar yapabileceklerini düşündükleri şeylere heyecanlanıp satın alıyor, ama aslında iyi yaptığı şey satın alma nedenlerinden farklı olduğu için bir yıl sonra %95’i çekmeceye giriyor
      Bu ürün, makalede söylendiği gibi HPC varyantının soyundan gelen bir şeye daha yakın
      Sıradan bir PC’ye kıyasla genel yapay zeka işlerini daha iyi yapmak veya çalıştırmak isteyenler için gerçekten faydalı bir giriş cihazı olması amaçlanmış görünüyor
    • AGX Orin, LPDDR5 64GB ile 5000 dolardı; bunun 128GB olduğu ve muhtemelen HBM olabileceği düşünülünce kesinlikle ucuz görünüyor
      Ancak Nvidia fiyatları pek düşürmeyen bir şirket, bu yüzden bir yerlerde bir püf noktası olmalı