- 512MB RAM'e sahip Raspberry Pi Zero 2'de Stable Diffusion çalıştırmak için bir kütüphane.
- Bellek tüketimi optimizasyonuna odaklanan OnnxStream kütüphanesi geliştirildi.
- Modele ağırlık sağlayan bileşenler ayrıştırılarak bellek kullanımı optimize ediliyor.
- Teorik olarak, ağırlıklar bir HTTP sunucusundan doğrudan aktarılıp diske hiçbir şey yazmadan model çalıştırılabiliyor.
- Sonuç olarak OnnxRuntime'a göre en fazla 55 kat daha az bellek kullanıyor, ancak 0,5~2 kat daha yavaş.
- Ancak Stable Diffusion'a dahil olan VAE modeli, bu kütüphane kullanılsa bile yaklaşık 1GB RAM kullanıyor.
- VAE modelinde 8 bit statik kuantizasyon (W8A8) ile bellek kullanımı daha da optimize edildi.
- Sonunda gerçek bir RPI Zero 2 üzerinde 3 saatte görüntü üretmeyi başardı.
- Nihayetinde yalnızca yaklaşık 260MB RAM kullandı.
3 yorum
O küçücük şeyi daha ne kadar zorlayacaksınız.....
Sanırım en tuhaf yaratık insan.
Gerçekten çok etkileyici. Birkaç GB boyutundaki modellerin 260MB RAM ile çalıştırılabilmesi...
3 saat sürmesi de Raspberry Pi olduğu için; yüksek performanslı bir CPU'da elbette daha hızlı görünüyor.
RAM kullanımı da çok daha düşük.
Böyle giderse acaba Edge'de Serverless olarak çalıştırılabilecek bir yöntem çıkar mı....
Oh, ilginç bir proje. Teşekkürler!
CPU ile RAM arasındaki darboğazı azaltmaya yönelik daha birçok girişim de olacaktır gibi görünüyor +_+