- Nvidia Grace-Hopper GH200 sunucusunu kişisel bir yapay zeka masaüstüne dönüştürme deneyiyle, 235B parametreli modeli yerel ortamda çalıştırabilecek düzeyde performans elde edildi
- Reddit'te 7.500 € karşılığında ikinci el bir GH200 sistemi satın alarak, veri merkezi için sıvı soğutmalı bir sunucuyu hava soğutmalı bir masaüstüye yeniden monte edildi
- Soğutma, güç ve sensör hataları nedeniyle GPU sıcaklığının 16,777,214°C olarak görünmesi, fan devresi hasarı, elle lehimle onarım gibi birçok donanım arıza giderme işlemi gerçekleştirildi
- Sonuç olarak 4 adet sıvı soğutucu, CNC işleme adaptörleri ve 3D baskı parçaları birleştirilerek stabil bir sistem tamamlandı
- Toplam maliyet yaklaşık 9.000 € olarak, tek bir H100 GPU fiyatından daha ucuza yüksek performanslı yapay zeka iş istasyonu kuruldu
Grace-Hopper sunucu satın alma ve teknik özellikler
- Reddit'in r/LocalLLaMA forumunda 10.000 € değerindeki bir GH200 sunucusu ilanı bulundu, pazarlık sonrası 7.500 € karşılığında satın alındı
- Yapılandırma: 2× Grace-Hopper Superchip, 2× 72 çekirdekli Grace CPU, 2× H100 GPU, 480 GB LPDDR5X, 96 GB HBM3, toplam 1.152 GB yüksek hızlı bellek
- NVLink-C2C bant genişliği 900 GB/s, güç tüketimi 1.000–2.000 W, 3.000 W PSU dahil
- Satıcı, Nvidia sunucularını masaüstüne dönüştürerek satan firma olan GPTshop.ai idi
- Sistem, ilk başta sıvı soğutmalı bir sunucunun hava soğutmalıya çevrilmiş bir “Frankenstein sistemi” şeklindeydi
- Dış görünümü pürüzlüydü, rack montajına uygun değildi ve 48V güç kaynağı takılıydı
Sunucunun sökülmesi ve temizlenmesi
- Sunucu şiddetli tozlanma durumundaydı ve 8 yüksek güçlü fan elektrik süpürgesi seviyesinde gürültü üretiyordu
- Evde kullanılamayacak kadar gürültülü olduğundan, sökülüp temizlenip yeniden monte edildi
- Ana kartın tamamı, birkaç litre izopropil alkol ile temizlendi, ardından ısıtmalı zemin üzerinde bir hafta kurutuldu
- Grace-Hopper modüllerinin iç durumunu görmek için sökülerek iç yapı incelendi
Sıvı soğutma sisteminin yeniden yapılandırılması
- Sızıntı riski nedeniyle özel blok yerine 4 adet Arctic Liquid Freezer III 420 AIO soğutucu kullanıldı
- GPU ve CPU die ölçümleri alındıktan sonra adaptör bloğu Fusion 360 ile tasarlandı
- Prototipler Bambu X1 3D yazıcı ile üretildi, ardından final parçalar CNC işleme ile tamamlandı
- İşlemden sonra kalan yağlar giderildi ve montaj tamamlanarak soğutma performansı sağlandı
Masaüstü montajı
- Çerçeve ProfilAlu alüminyum profil ile yapıldı, tasarım Fusion 360 ile hazırlandı
- Çeşitli PCB ve filtre montaj parçaları 3D baskı ile üretildi
- Yapının sağlamlığını artırmak için birkaç kilo filament kullanıldı
Temel sorunların ortaya çıkışı
- Fan güç bağlantısında ‘patlama’ sesi ve duman oluştu, bazı fan header devreleri hasar gördü
- Yanlış akım hesaplaması nedeniyle MOSFET hasarı tahmin edildi
- Fan gücü, ayrı bir 12V-5A adaptör ile değiştirildi
- Fan hatası nedeniyle BMC(Baseboard Management Controller) başlatma engellendi
phosphor-sensor-monitor.service devre dışı bırakılarak fan kontrolü atlandı
GPU sıcaklık hatası ve devre onarımı
- Önyükleme sırasında GPU sıcaklığı 16.777.214°C olarak göründü ve sistem otomatik olarak kapandı
- Bu değer, 24 bit tamsayı maksimumu (2²⁴-2), yani sensör sinyali hatası anlamına geliyordu
- Mikroskopla inceleme sonrası 100 nF kondansatör ve 4.7kΩ direnç hasarı tespit edildi
- Kıvamlı lehimleme ile devre onarıldı, UV maske ile sabitlendi
- Yeniden monte edildikten sonra normal önyükleme başarılı oldu
Son yapılandırma ve performans
- Ek olarak üretilmiş parçalar:
- 8 TB E1.S SSD montajı, 3 kW PSU arka paneli, radyatörü koruyan bir ızgara
- GPU başlatma sorunu NVLink devre dışı bırakma ayarı ile çözüldü
/etc/modprobe.d/nvidia-disable-nvlink.conf dosyasına NVreg_NvLinkDisable=1 eklendi
Ölçüm sonuçları
- 144 çekirdekle Llama.cpp derlemesi 90 saniye sürdü, büyük model test sonuçları:
- gpt-oss-120b-Q4_K_M: prompt 2974.79, token 195.84
- GLM-4.5-Air-Q4_K_M: prompt 1936.65, token 100.71
- Qwen3-235B-A22B-Instruct: prompt 1022.79, token 65.90
- GPU başına yaklaşık 300W tüketim, azami değerine (900W) göre geniş bir marj var
Maliyet listesi
- Grace-Hopper sunucu 7.500 €, SSD 250 €, CNC adaptör 700 €, sıvı soğutucu 180 €
- Çerçeve 200 €, cam panel 40 €, 3D baskı malzemesi 40 €, diğer parçalar 50 €
- Temizlik için izopropil alkol 20 €, 12V güç 10 €, LED aydınlatma 10 €
- Toplam maliyet yaklaşık 9.000 €, tekil H100 GPU'dan daha ucuz
Sonuç
- 235B parametreli modeli yerel olarak çalıştırabilen bir masaüstü tamamlandı
- Veri merkezi sınıfı donanımı bireysel kullanıma dönüştürme sürecinde sensör hataları, devre hasarları, soğutma sorunları gibi birçok engel aşıldı
- Sonuçta yüksek performanslı yapay zeka araştırma iş istasyonu düşük maliyetle kurulmuş oldu
Henüz yorum yok.