Makine öğrenimi için makine öğrenimi tekniklerindeki ilerlemeler

 (blog.research.google)
1 puan yazan GN⁺ 2023-12-17 | 1 yorum | WhatsApp'ta paylaş

ML derleyicilerinin optimizasyonu

  • ML derleyicileri, kullanıcıların yazdığı programları gerçek donanımda çalıştırılabilecek komutlara dönüştüren yazılım rutinleridir.
  • ML programları hesaplama grafikleriyle ifade edilebilir; düğümler tensör işlemlerini, kenarlar ise tensör akışını temsil eder.
  • ML derleyicileri, grafik düzeyi ve kernel düzeyi optimizasyonlar dahil olmak üzere çeşitli karmaşık optimizasyon problemlerini çözmek zorundadır.

TpuGraphs veri kümesi

  • Amaç, ML modellerinin verimliliğini artırmak için ML derleyicilerini geliştirmektir.
  • Eğitilmiş bir maliyet modeli derleyiciye eklenir; programı ve derleyici yapılandırmasını girdi olarak alır ve programın tahmini çalışma süresini çıktı olarak verir.
  • TpuGraphs veri kümesi, Google'ın özel Tensor Processing Units (TPU'lar) üzerinde çalışan programlara yönelik eğitilmiş maliyet modelleri için yayımlandı.

Kaggle yarışması

  • TpuGraph veri kümesini kullanan "Fast or Slow? Predict AI Model Runtime" yarışması, 792 katılımcı ve 616 takımın yer almasıyla sona erdi.
  • Katılımcılar grafik budama/sıkıştırma, özellik padding değerleri, düğüm özellikleri ve yapılandırmalar arası attention gibi çeşitli yeni teknikler kullandı.
Reklam

NeurIPS Expo

  • Yapılandırılmış veri ve yapay zeka üzerine araştırmalarla ilgileniyorsanız, 9 Aralık'ta düzenlenen NeurIPS Expo paneli "Graph Learning Meets Artificial Intelligence"a dikkat edin.

GN⁺ görüşü

  • ML derleyicilerinin optimizasyonu, ML modellerinin çalışma hızını ve verimliliğini önemli ölçüde artırabilecek kritik bir alandır.
  • TpuGraphs veri kümesi gibi kaynaklar, ML tabanlı program optimizasyonu araştırmalarını hızlandırır ve ML sistemlerinin performansını iyileştirmeye katkı sağlar.
  • Kaggle yarışması, ML topluluğunda iş birliğini ve yeniliği teşvik eden bir platform olarak, katılımcıların yeni yaklaşımları ve teknikleri paylaşmasına ve geliştirmesine yardımcı olur.

İlgili okumalar

1 yorum

 
GN⁺ 2023-12-17
Hacker News görüşleri

  • ML derleyicilerine yönelik abartı

    ML derleyicilerinin abartıldığı düşünülüyor. Geleneksel derleyicilerde olduğu gibi burada da ödünleşimler var; uzman performans programcıları istihdam etmekten daha fazla çıktı üretseler de, ikincisi çoğu zaman çok daha yüksek performans sağlayabiliyor. ML derleyicileri çeşitli seviyelerde geride kalıyor: algoritmik olarak ağın nasıl değiştirileceğine dair geri bildirim vermiyorlar, niyet kaybı yaşanıyor ve verimsiz kernel'ler üretiyorlar. Uzman assembly programcılarıyla karşılaştırıldığında derleyicinin performansı %30'dan fazla geride kalıyor.

  • ML derleyicilerinin mevcut durumu ve vaatleri

    ML derleyicilerinin mevcut durumu ve kısa vadeli vaatleri hakkında bir soru.

  • Hesaplama grafikleri için çalışma zamanı performansı tahmininin iyileştirilmesi

    GNN kullanarak hesaplama grafiklerinin çalışma zamanı performansını tahmin etme yöntemini iyileştirmeye dair bir özet. Her düğümün operation code'u için bir embedding sözlüğü ve diğer düğüm özellikleri kullanılıyor; TPU üzerindeki çeşitli XLA derleme yapılandırmaları ve bunlara karşılık gelen performans veri kümesi de yayımlanıyor. Daha büyük grafiklerde tahmini iyileştirmek için grafik bölümleme (METIS graph partitioning) ve farklı eğitim yöntemleri kullanılıyor. Bu çalışma yalnızca performans tahminiyle ilgili; yeni eşdeğer grafikler iyileştirmiyor ya da önermiyor.

  • Gemini projesi hakkında soru

    Gemini projesinin mevcut durumuna dair bir soru.

  • Grafik içindeki conv işleminin nasıl çalıştığına dair açıklama talebi

    Belirli biçimdeki tensörler üzerinde convolution işleminin nasıl yapıldığına dair bir açıklama talebi.

  • Transformer'ların optimal olup olmadığı

    Transformer'ların hangi anlamda optimal olduğuna dair işaretler olup olmadığına ilişkin bir soru.

  • İlk paragraf hakkındaki görüş

    İlk paragrafın ana fikri gölgelediği düşünülüyor, ancak onun dışında içeriğin ilgi çekici olduğu değerlendiriliyor.

  • ML'nin gelişim hızına duyulan hayranlık

    ML'nin şu anda şaşırtıcı bir hızla geliştiği, singularity'ye inanılmasa da yazılımı ve toplumu öngörülemez biçimlerde değiştirdiği görüşü.

  • [İşaretlenen yorumlar]

    İki yorum işaretlendiği için içerikleri görülemiyor.