Raspberry Pi’nin yeni AI HAT’i, yerel LLM’ler için 8GB RAM ekliyor

• Raspberry Pi AI HAT+ 2, Hailo 10H NPU ve 8GB LPDDR4X RAM ile geliyor; böylece yerel LLM çıkarımını bağımsız olarak gerçekleştirebiliyor
• En fazla 3W güç tüketimi ve 40 TOPS(INT8) performans sunuyor; ancak gerçek testlerde Pi 5 CPU’sundan daha yavaş sonuçlar verdi
• Güç sınırı (3W) ve RAM kapasitesi (8GB) darboğaz oluşturuyor; bu nedenle orta ölçekli modelleri çalıştırmada 16GB Pi 5 daha verimli
• Görü işleme (Computer Vision) tarafında mevcut AI HAT’e kıyasla 10 kat daha yüksek hız gösterdi; ancak yazılım uyumluluğu sorunları ve eşzamanlı model çalıştırma hataları ortaya çıktı
• Düşük güç ortamlarında görü + çıkarımı birlikte yürütme gereksinimi dışında, daha çok geliştirme kartı veya deneysel platform olarak değer taşıyor

---

AI HAT+ 2’nin başlıca teknik özellikleri ve öne çıkan yönleri

• Yeni modelin fiyatı 130 dolar; içinde Hailo 10H NPU ve 8GB LPDDR4X RAM bulunuyor
  • Hailo 10H, 40 TOPS INT8 çıkarım performansı ve 26 TOPS INT4 görü performansı sunuyor
  • Pi’nin CPU’sunu ve sistem belleğini kullanmadan LLM’leri bağımsız biçimde çalıştırabiliyor
• RAM’in yükseltilememesi sorunu sürse de, AI yardımcı işlemcisi olarak kullanıldığında bellek yükünü azaltabiliyor
• eGPU bağlantısına göre daha ucuz ve kompakt; Microsoft’un ‘AI PC’ içindeki NPU’larından daha pratik olduğu değerlendiriliyor

Gerçek performans değerlendirmesi

• Testlerde aynı model, 8GB RAM’li Raspberry Pi 5 üzerinde CPU ve NPU’da ayrı ayrı çalıştırılarak karşılaştırıldı
  • Modellerin çoğunda Pi 5 CPU’su, Hailo 10H’den daha hızlı performans gösterdi
  • Yalnızca Qwen2.5 Coder 1.5B modelinde sonuçlar birbirine yaklaştı
• Hailo 10H’nin güç verimliliği yüksek olsa da, 3W güç sınırı nedeniyle performansı kısıtlanıyor
  • Pi 5 SoC en fazla 10W güç kullanabiliyor

LLM çalıştırma sınırları ve Qwen 30B örneği

• 8GB RAM, LLM çalıştırırken en büyük kısıtlayıcı unsur
  • Orta ölçekli modeller 10~12GB RAM istiyor ve bu tür kullanım için 16GB Pi 5 daha uygun
• ByteShape, Qwen3 30B A3B Instruct modelini 16GB Pi 5 için 10GB’a sıkıştırarak başarıyla çalıştırdı
  • Kalite kaybı olsa da, basit uygulama oluşturma gibi temel işleri yerine getirebiliyor
• Model llama.cpp ile Pi 5 üzerinde çalıştırıldığında hız düşük kaldı; ancak yerel modelle pratik işler yapmak mümkün oldu

Görü işleme performansı ve yazılım sorunları

• Computer Vision iş yüklerinde, Pi CPU’suna göre 10 kat daha hızlı işleme sağladı
  • Camera Module 3 ile yapılan testte klavye, monitör, telefon ve fare gibi nesneler doğru biçimde tanındı
• Ancak Hailo örnek kodu (hailo-rpi5-examples) henüz AI HAT+ 2 için yeterli desteğe sahip değil
  • Elle yapılandırıldığında model yükleme başarısızlığı veya hata oluştu
• Eşzamanlı model çalıştırmada (görü + LLM) segmentation fault ve ‘device not ready’ sorunları görüldü
  • Hailo’nun çalışan örnek sunmaması nedeniyle test tamamlanamadı

Sonuç ve olası kullanım alanları

• 8GB RAM faydalı olsa da, 16GB Pi 5 daha hızlı ve daha esnek bir seçenek
• Ancak düşük güç ortamlarında görü işleme ile çıkarımın birlikte yapılması gerekiyorsa pratik olabilir
• AI Camera (70 dolar) veya mevcut AI HAT+ (110 dolar) ile kurulan kombinasyon daha verimli olabilir
• Küçük LLM’leri çalıştırmak (10W altı) ya da Hailo 10H tabanlı cihaz geliştirme kiti olarak kullanılma potansiyeli var
• Genel olarak donanım önde olsa da yazılım olgunluğu yetersiz; daha çok niş kullanım senaryolarına yönelik bir ürün olarak değerlendiriliyor

[GN⁺]

Hacker News yorumları

• Birkaç dakika içinde bir yandan 8GB AI HAT'in RPi için harika olduğuna dair görüşler, diğer yandan da M2 MAX 96GB MacBook'umun LLM'ler için işe yaramaz olduğuna dair yorumlar gördüm
  Yine de ikincisinin aynı zamanda mükemmel bir dizüstü bilgisayar olması teselli sayılır

• Raspberry'nin eski Pi dönemindeki “sihri” ve amaç duygusunu kaybetmiş gibi görünüyor
  İlk zamanlarda yeni bir pazar yaratmıştı, ama şimdi zaten doymuş alanlara atlıyormuş hissi veriyor
  Elbette hayatta kalmak için genişlemeye çalışmasını anlıyorum, ancak eskisi gibi bir “Raspberry Pi anı” yeniden yaratamıyor gibi
  Frigate gibi çözümler Coral TPU satışlarını artırdığı gibi, bunda da böyle bir talep olabilir ama kendine özgü değer önerisi eksik görünüyor

  • Eskiden RPi benzersizdi ama şimdi ikinci el dizüstü bilgisayarlar ya da ESP32 gibi alternatifler çok daha verimli
    Artık RPi, endüstriyel gömülü kartlardan daha ucuz olduğu için ticari pazarı hedefliyor gibi görünüyor
    Tüketicilerden çok kurumsal müşteriler ana hedef haline gelmiş hissi var
  • Yine de RPi'nin güçlü yanı hâlâ sağlam yazılım ekosistemi ve açıklığı
    Diğer SBC'lerde yazılım kalitesi berbattı; Raspbian ile birleşimi asıl yenilikti
  • Diğer ARM cihazlar arasında, tüketicilerin ya da küçük işletmelerin sürekli satın alabileceği makul fiyatlı ürün neredeyse yok
    RPi hâlâ bu nişi dolduruyor
  • Aslında RPi, ürünlerini insanların zaten kullanmakta olduğu yöne doğru geliştirdi
    Pico küçük işler için, yeni Pi büyük işler için, eski Pi ile Zero ise hâlâ satışta
    Yapay zeka ile ilgili ürünler de bu akışın bir uzantısı; Pi5'te yapay zeka yapanlar için doğal bir genişleme
  • Eski Pi'ler de hâlâ ucuz ve iyi çalışıyor
    Pi'nin özü GPIO + genel amaçlı hesaplama, artık yapay zeka da bunun bir parçası oldu
    Yerel yapay zeka ile yapılabilecek şeyler şaşırtıcı derecede arttı ve drone'lar ile robotların otonom sürüşü gibi yeni kullanım alanları mümkün hale geldi

• Aslında o kadar da büyük bir şey değil
  Pi üzerinde 8GB RAM ile yapay zeka çalıştırmak biraz hayal kırıklığı yaratıyor

• Birleşik Krallık'ta Hailo HAT'in LLM için pazarlandığını hiç görmedim
  Daha çok gerçek zamanlı video nesne tespiti için kullanılıyordu ve ben de evde ve bahçede hayvan ya da ziyaretçi tespiti için denemek isterim
  Son Pimonori sürümlerinde LLM ve VLM desteğinden söz ediliyor, ama daha gerçekçi kullanımın o taraf olduğunu düşünüyorum

• “8GB? Karıncalar için LLM mi?” diye dalga geçilecek türden

  • Gemma 3 gibi hafif modeller yalnızca CPU çıkarımıyla bile oldukça iyi çalışıyor
    Ağır işler için uygun değil ama basit metin üretimi için fazlasıyla yeterli
  • Aslında bu, GPT-4 seviyesini beklemekten ziyade Pi üzerinde nelerin mümkün olduğunu gösteren bir demoya daha yakın
    Ultra küçük, özelleşmiş LLM'ler için deneysel bir ürün
    Ancak sorun, yüksek fiyatına kıyasla görüntü işleme iyileşmesinin küçük kalması ve yazılım desteğinin yetersiz olması

• Birkaç yıl önce olsaydı bu tür bir ürün muhtemelen sadece bir ML hızlandırıcısı diye adlandırılırdı
  Ama bugünlerde adına “AI” eklenince beklenti seviyesi değişiyor ve bu yüzden değerlendirmeler ayrışıyor gibi görünüyor

• Küçük LLM'lerin embedding veya eğitim dışında gerçekten işe yarayıp yaramadığından emin değilim
  Eğitim içinse daha iyi donanımı daha ucuza kullanabilirsiniz; embedding içinse sadece yavaş ve pahalı kalıyor

  • Yine de doğal dil tabanlı akıllı ev arayüzü gibi belirli amaçlara göre ince ayar yapılırsa işe yarayabilir
    Küçük modeller de özelleşmiş verilerle fine-tune edildiğinde çok daha büyük genel amaçlı modellere yakın performans verebilir

• İlginç bir fikir, ama bu kullanım için Jetson Orin Nano daha iyi bir seçenek
  Yine de RAM'in paylaşımlı olması ve işletim sistemi ek yükü nedeniyle yaklaşık 1GB kaybedilmesi bir dezavantaj

• “LLM çalıştırabilir” demek, “LLM çalıştırmak mantıklıdır” demek değil
  Kağıt üzerindeki teknik özelliklerle gerçek deneyimin tamamen farklı olduğunu gösteren bir örnek

• Edge computing açısından bakınca, bu girişim RPi ekosistemi için anlamlı bir sıçrama
  Düşük güç tüketimli çıkarım hızlandırıcısı entegre edilirse bulut olmadan yerel yapay zeka mümkün olabilir
  Henüz erken aşamada ama gerçek edge iş yükleri için doğru yönde bir adım

  • Bunun için akıllarında hangi somut kullanım senaryoları olduğunu merak ediyorum