- Raspberry Pi AI HAT+ 2, Hailo 10H NPU ve 8GB LPDDR4X RAM ile geliyor; böylece yerel LLM çıkarımını bağımsız olarak gerçekleştirebiliyor
- En fazla 3W güç tüketimi ve 40 TOPS(INT8) performans sunuyor; ancak gerçek testlerde Pi 5 CPU’sundan daha yavaş sonuçlar verdi
- Güç sınırı (3W) ve RAM kapasitesi (8GB) darboğaz oluşturuyor; bu nedenle orta ölçekli modelleri çalıştırmada 16GB Pi 5 daha verimli
- Görü işleme (Computer Vision) tarafında mevcut AI HAT’e kıyasla 10 kat daha yüksek hız gösterdi; ancak yazılım uyumluluğu sorunları ve eşzamanlı model çalıştırma hataları ortaya çıktı
- Düşük güç ortamlarında görü + çıkarımı birlikte yürütme gereksinimi dışında, daha çok geliştirme kartı veya deneysel platform olarak değer taşıyor
AI HAT+ 2’nin başlıca teknik özellikleri ve öne çıkan yönleri
- Yeni modelin fiyatı 130 dolar; içinde Hailo 10H NPU ve 8GB LPDDR4X RAM bulunuyor
- Hailo 10H, 40 TOPS INT8 çıkarım performansı ve 26 TOPS INT4 görü performansı sunuyor
- Pi’nin CPU’sunu ve sistem belleğini kullanmadan LLM’leri bağımsız biçimde çalıştırabiliyor
- RAM’in yükseltilememesi sorunu sürse de, AI yardımcı işlemcisi olarak kullanıldığında bellek yükünü azaltabiliyor
- eGPU bağlantısına göre daha ucuz ve kompakt; Microsoft’un ‘AI PC’ içindeki NPU’larından daha pratik olduğu değerlendiriliyor
Gerçek performans değerlendirmesi
- Testlerde aynı model, 8GB RAM’li Raspberry Pi 5 üzerinde CPU ve NPU’da ayrı ayrı çalıştırılarak karşılaştırıldı
- Modellerin çoğunda Pi 5 CPU’su, Hailo 10H’den daha hızlı performans gösterdi
- Yalnızca Qwen2.5 Coder 1.5B modelinde sonuçlar birbirine yaklaştı
- Hailo 10H’nin güç verimliliği yüksek olsa da, 3W güç sınırı nedeniyle performansı kısıtlanıyor
- Pi 5 SoC en fazla 10W güç kullanabiliyor
LLM çalıştırma sınırları ve Qwen 30B örneği
- 8GB RAM, LLM çalıştırırken en büyük kısıtlayıcı unsur
- Orta ölçekli modeller 10~12GB RAM istiyor ve bu tür kullanım için 16GB Pi 5 daha uygun
- ByteShape, Qwen3 30B A3B Instruct modelini 16GB Pi 5 için 10GB’a sıkıştırarak başarıyla çalıştırdı
- Kalite kaybı olsa da, basit uygulama oluşturma gibi temel işleri yerine getirebiliyor
- Model llama.cpp ile Pi 5 üzerinde çalıştırıldığında hız düşük kaldı; ancak yerel modelle pratik işler yapmak mümkün oldu
Görü işleme performansı ve yazılım sorunları
- Computer Vision iş yüklerinde, Pi CPU’suna göre 10 kat daha hızlı işleme sağladı
- Camera Module 3 ile yapılan testte klavye, monitör, telefon ve fare gibi nesneler doğru biçimde tanındı
- Ancak Hailo örnek kodu (hailo-rpi5-examples) henüz AI HAT+ 2 için yeterli desteğe sahip değil
- Elle yapılandırıldığında model yükleme başarısızlığı veya hata oluştu
- Eşzamanlı model çalıştırmada (görü + LLM) segmentation fault ve ‘device not ready’ sorunları görüldü
- Hailo’nun çalışan örnek sunmaması nedeniyle test tamamlanamadı
Sonuç ve olası kullanım alanları
- 8GB RAM faydalı olsa da, 16GB Pi 5 daha hızlı ve daha esnek bir seçenek
- Ancak düşük güç ortamlarında görü işleme ile çıkarımın birlikte yapılması gerekiyorsa pratik olabilir
- AI Camera (70 dolar) veya mevcut AI HAT+ (110 dolar) ile kurulan kombinasyon daha verimli olabilir
- Küçük LLM’leri çalıştırmak (10W altı) ya da Hailo 10H tabanlı cihaz geliştirme kiti olarak kullanılma potansiyeli var
- Genel olarak donanım önde olsa da yazılım olgunluğu yetersiz; daha çok niş kullanım senaryolarına yönelik bir ürün olarak değerlendiriliyor
Henüz yorum yok.