- Google DeepMind araştırmacıları, yapay zeka eğitim hızını artıran yeni bir yöntem olan JEST'i bir makaleyle tanıttı. Bu yöntem, görev için gereken hesaplama kaynaklarını ve süreyi büyük ölçüde azaltıyor
- Joint Example Selection ile Multimodal Contrastive Learning (JEST) yaklaşımı, 13 kata kadar daha hızlı ve 10 kat daha verimli. Bu da enerji gereksinimini düşürebileceği anlamına geliyor
- Genellikle enerji yoğun olan bu sürece yönelik bu yeni yaklaşım, yakın tarihli araştırma makalesine göre yapay zeka geliştirmeyi daha hızlı ve daha ucuz hale getirebilir. Bu da çevre için iyi haber
Yapay zeka sektörünün yüksek enerji tüketimi
- Büyük ölçekli yapay zeka sistemleri ciddi işlem gücü gerektirir; bu da enerji ve soğutma için büyük miktarda su talep eder
- Microsoft'un su tüketiminin, yapay zeka hesaplama talebindeki artış nedeniyle 2021 ile 2022 arasında %34 sıçradığı bildirildi
- IEA, veri merkezlerinin elektrik tüketiminin 2022'den 2026'ya kadar iki katına çıkmasını bekliyor. Bu durum, yapay zekanın enerji talebi ile sıkça eleştirilen kripto para madenciliği sektörünün enerji profili arasında karşılaştırmalara yol açıyor
- Ancak JEST gibi yaklaşımlar bir çözüm sunabilir. Yapay zeka eğitimi için veri seçimini optimize ederek gereken yineleme sayısını ve hesaplama gücünü önemli ölçüde azaltabilir, böylece toplam enerji tüketimini düşürebilir
JEST nasıl çalışıyor
- JEST, yapay zeka modelinin öğrenebilirliğini en üst düzeye çıkarmak için birbirini tamamlayan veri kümelerini seçiyor. Tek tek örnekleri seçen mevcut yöntemlerin aksine bu algoritma, bütün kümenin bileşimini dikkate alıyor
- Google araştırmacıları, JEST sürecinin veri noktaları arasındaki bağımlılıkları belirlediği "multimodal contrastive learning" yöntemini kullandı. Bu yöntem, yapay zeka eğitiminin hızını ve verimliliğini artırırken çok daha az işlem gücü gerektiriyor
- Önceden eğitilmiş bir referans model kullanarak veri seçim sürecini yönlendirmek bu yaklaşımın merkezindeydi. Bu teknik sayesinde model, yüksek kaliteli ve iyi küratörlü veri kümelerine odaklanabildi ve eğitim verimliliği daha da optimize edildi
- JEST kullanılarak WebLI veri kümesi üzerinde yapılan eğitim, öğrenme hızı ve kaynak verimliliğinde dikkat çekici iyileşmeler gösterdi
- Algoritma, "data quality bootstrapping" adı verilen bir teknikle, "eşleşen" belirli veri parçalarına odaklanarak eğitim sürecini hızlandırıyor. Bu teknik, nicelikten çok niteliğe önem veriyor ve yapay zeka eğitimi için daha iyi olduğu kanıtlandı
Henüz yorum yok.