Show HN: LLM çıkarım hızını 2 kat artırma olasılığı (Speeding up LLM inference 2x times (possibly))

Effort nedir?

• Effort, bir işi başarmak veya bir hedefe ulaşmak için harcanan enerji, zaman ve kaynakları ifade eder
• Bu, engelleri aşmak veya istenen sonuca ulaşmak için gereken çaba ve emeği anlatır
• Effort fiziksel de olabilir, zihinsel de olabilir
  • Ağır bir nesneyi kaldırmak veya maraton koşmak için kullanılan enerji gibi fiziksel çaba
  • Karmaşık bir sorunu çözmek ya da yeni bir beceri öğrenmek için gereken odaklanma ve zihinsel güç gibi zihinsel çaba
• Kişisel gelişim, iş hayatı, eğitim gibi yaşamın çeşitli alanlarında başarı elde etmek için temel bir unsurdur

GN⁺ görüşü

• Effort, yalnızca harcanan zaman ya da enerji miktarı değil; süreklilik, odaklanma ve motivasyon gibi çeşitli unsurların birlikte etkilediği bir kavramdır. Bu nedenle çok çalışmak her zaman başarıyı garanti etmez
• Özellikle zihinsel effort gerektiren işlerde burn out yaşamamaya dikkat etmek gerekir. Uygun dinlenme ve ödüllerle effortu sürdürebilmenin yollarını bulmak önemlidir
• Effort gösterme biçimi kişiden kişiye değişebilir. Kimi kısa sürede yoğun biçimde, kimi ise uzun vadede istikrarlı şekilde effort harcayabilir. Kendinize uygun yöntemi bulmak daha etkilidir

[GN⁺]

Hacker News görüşü

• Algoritma, parametreleri gerçek zamanlı olarak buduyor ve grup içinde mutlak değer sıralaması düşük olan ağırlıkları 0 yaparak ağırlık matrisini seyrek hale getiriyor
• Model budamayla ilgili arama sonuçlarında, temel karşılaştırma olarak "büyüklük tabanlı budama"yı ele alan pek çok makale çıkıyor
  • Ancak bu makaleler, kendi yöntemlerini abartmak için temel karşılaştırmayı kötü biçimde uyguluyor ve yöntemlerini açıklarken bolca matematiksel terim kullanıyor
  • Buna karşılık orijinal blog yazısı, arka plan bilgisi neredeyse olmayan kişilerin bile anlayabileceği şekilde yöntemi açıklıyor
• GPU uygulaması bölümündeki bir satır etkileyici
  • "GPU programlamaya yeni başlayan biri 'Bu nasıl çalışıyor?' diye sorar, deneyimli biri ise 'Bu nasıl oluyor da çalışıyor?' diye sorar"
• Matrisi ters çevirip, elemanları satır bazında sıraladıktan sonra çarpımı o yönden yeniden ele almaya "compressed sparse row (CSR)" biçimi deniyor
  • Çarpımı gerçekleştirmek için vektörden 1 alınır, 256 ile çarpılır ve sonra çıktı vektörünün üçüncü satırına eklenir
  • En küçük değerlere sahip son sütunu kesersek ne olacağını görelim önerisi yapılıyor
• İsim önerisi: "lobotomize"
• Bu, yarı yapılandırılmış (2:4) seyreklikle benzer görünüyor; bu yüzden açık bir karşılaştırma yapmaya değer
  • Bu teknik Apple Silicon için optimize edilmiş, %75 seyreklikte yaklaşık 2 kat daha hızlı, dinamik ve girdiye bağlı, çalışma anında uygulanıyor ve seyreklik derecesi seçilebiliyor
  • Buna karşılık 2:4 yarı yapılandırılmış seyreklik, seyrek tensor core'lara sahip GPU'lar için optimize edilmiş, %50 seyreklikte yaklaşık 2 kat daha hızlı, statik, model boşta iken uygulanıyor ve %50 seyreklikte sonuçlarının bu teknikten daha kötü göründüğü belirtiliyor
  • %50 seyreklikte yarı yapılandırılmış seyreklik sonucu (2 kat hızlanma) ile bu tekniğin %75 seyreklikteki sonucu (2 kat hızlanma) karşılaştırılırsa ilginç olabilir
• CSR kullanmış biri olarak bu şaşırtıcı değil; block ELL gibi bazı yeni biçimler, kodu daha zor hale getirse de sırasız okuma/toplamayı önlediği için donanıma daha uyumlu olabilir
• 15 ms gecikme, 60Hz vsync'e (16,7 ms) benziyor; token başına ekran bir kez güncellenirse bir şekilde senkronizasyon yaşanabilir
• Böylesine güzel ve açık bir katkı için teşekkürler. Bunun llama.cpp içinde uygulanmasını yakından izleyeceğim. CPU inference hızını artırmanın yollarını arıyordum; bu "effort" fikri hoşuma gitti
• Harika yazı! Nicemlemeyle karşılaştırıldığında VRAM başına performansı gerçekten merak ediyorum. Çapraz platform bir sürüm uygulama planı var mı?
• Bu, https://arxiv.org/abs/2312.12456 ve https://github.com/SJTU-IPADS/PowerInfer ile ilişkili görünüyor