AlphaEvolve: Gemini tabanlı gelişmiş algoritma tasarımı kodlama ajanı
(deepmind.google)- Google DeepMind tarafından tanıtılan AlphaEvolve, Gemini modelleri ile otomatik değerlendiricileri birleştirerek algoritmalar keşfeden ve optimize eden evrimsel bir kodlama ajanıdır
- Gemini Flash geniş fikir alanını tararken, Gemini Pro daha derin öneriler üretir; aday programlar çalıştırma, doğrulama ve puanlama süreçlerinden geçerek umut vadeden varyasyonlara evrilir
- Son 1 yılda keşfedilen algoritmalar veri merkezi planlaması, TPU tasarımı ve Gemini optimizasyonu alanlarında devreye alındı; Borg’da dünya genelindeki Google hesaplama kaynaklarının ortalama %0,7’si sürekli geri kazanıldı
- Gemini matris çarpımı çekirdeği %23 hızlandı ve eğitim süresi %1 azaldı; FlashAttention çekirdek uygulaması ise en fazla %32,5 hız artışı sağladı
- Matematik alanında 4x4 karmaşık sayı matris çarpımını 48 skaler çarpma ile gerçekleştiren bir algoritma bulundu; 50’den fazla açık problemin yaklaşık %20’sinde önceki en iyi sonuç iyileştirildi
AlphaEvolve algoritmaları nasıl evrimleştiriyor
- AlphaEvolve, genel amaçlı algoritma keşfi ve optimizasyonunu hedefleyen evrimsel bir kodlama ajanıdır
- Büyük dil modellerinin yaratıcı problem çözme yeteneğine otomatik değerlendiriciler ekleyerek yanıtları doğrular ve umut vadeden fikirleri evrimsel bir çerçeveyle sürekli iyileştirir
- Google DeepMind, 2023’te LLM’lerin kod fonksiyonu üretimi yoluyla açık bilimsel problemlerde kanıtlanabilir yeni bilgi bulabildiğini göstermişti; AlphaEvolve bunu tek bir fonksiyondan tüm kod tabanına ve daha karmaşık algoritmalara genişletiyor
- Model yapısı, keşif genişliği ile öneri kalitesini ayrı ayrı üstlenecek şekilde tasarlanmış
- Gemini Flash: hızlı ve verimli model olarak daha geniş bir fikir uzayını tarar
- Gemini Pro: daha güçlü model olarak daha içgörülü öneriler sunar
- Üretilen programlar otomatik değerlendirme metrikleriyle çalıştırılır, doğrulanır ve puanlanır; bu da doğruluk ve kaliteyi nicel olarak ölçülebilen matematik ve bilgisayar bilimi problemlerine özellikle uygundur
Google altyapısında uygulanan sonuçlar
- Son 1 yılda AlphaEvolve’un keşfettiği algoritmalar Google’ın veri merkezleri, donanımı ve yazılımı genelinde devreye alındı
- Tekil optimizasyonlar büyük ölçekli yapay zeka ve hesaplama altyapısına uygulanarak aynı kaynaklarla daha fazla iş yükünün işlenmesini sağladı
-
Veri merkezi planlaması
- AlphaEvolve, Borg’un Google’ın büyük ölçekli veri merkezlerini daha verimli koordine etmesine yardımcı olan basit ama etkili bir heuristic keşfetti
- Bu çözüm 1 yıldan uzun süredir üretimde çalışıyor ve dünya genelindeki Google hesaplama kaynaklarının ortalama %0,7’sini sürekli geri kazanıyor
- İnsanların okuyabileceği kod olarak uygulandığı için yorumlanabilirlik, hata ayıklama kolaylığı, öngörülebilirlik ve dağıtım kolaylığı da sağlıyor
-
Donanım tasarımı
- Matris çarpımı için yüksek düzeyde optimize edilmiş aritmetik devrelerde gereksiz bitleri kaldıran bir Verilog yeniden yazım önerisi sundu
- Önerilen değişikliklerin devrenin işlevsel doğruluğunu koruduğunu doğrulamak için güçlü bir doğrulama sürecinden geçmesi gerekiyor
- Bu öneri, Google’ın özel yapay zeka hızlandırıcısı olan gelecekteki Tensor Processing Unit sürümlerine entegre edildi
- Çip tasarımcılarının kullandığı standart dille değişiklik önermesi, yapay zeka ile donanım mühendisleri arasındaki iş birliği biçimine de uyum sağlıyor
Gemini eğitim ve çıkarım optimizasyonu
- AlphaEvolve, büyük matris çarpımı işlemlerini daha küçük alt problemlere bölmenin yeni bir yolunu bularak Gemini mimarisindeki temel çekirdeği %23 hızlandırdı
- Bu çekirdek iyileştirmesiyle Gemini eğitim süresi %1 azaldı ve üretken yapay zeka modelleri geliştirmek için gereken hesaplama kaynağı da düştü
- Çekirdek optimizasyonu için gereken mühendislik süresi, uzmanların haftalar süren çalışmasından birkaç günlük otomatik deneylere indi
- Düşük seviyeli GPU komutları da optimizasyon kapsamına dahil edildi
- Bu alan genelde derleyicilerin zaten güçlü biçimde optimize ettiği, insan mühendislerin doğrudan müdahale etmediği bir alan
- Transformer tabanlı yapay zeka modellerinin FlashAttention çekirdek uygulamasında en fazla %32,5 hız artışı elde edildi
- Bu tür optimizasyonlar, uzmanların performans darboğazlarını bulmasına ve iyileştirmeleri kod tabanına daha kolay entegre etmesine yardımcı oluyor
Matematik ve algoritma keşfi
- AlphaEvolve, yalnızca asgari düzeyde bir kod iskeleti verildiğinde bile karmaşık matematik problemleri için yeni yaklaşımlar önerebiliyor
- Yeni gradyan tabanlı optimizasyon süreçlerinin çeşitli bileşenlerini tasarlayarak matris çarpımı için yeni algoritmalar keşfetti
- Örnekte optimize edici, ağırlık başlatma, kayıp fonksiyonu ve hiperparametre araması gibi çeşitli bileşenler değiştirildi ve evrim sürecinde 15 mutasyon gerekti
- AlphaEvolve’un yöntemi, 4x4 karmaşık sayı matris çarpımını 48 skaler çarpma ile gerçekleştiren bir algoritma buldu
- Bu, bu kurulumda daha önce en iyi bilinen çözüm olan Strassen’in 1969 tarihli algoritmasını geliştiren bir sonuç
- Matris çarpımı algoritmalarına özel geliştirilen AlphaTensor, 4x4 matrislerde yalnızca ikili aritmetik için iyileştirme bulmuştu
- Matematiksel analiz, geometri, kombinatorik ve sayı teorisindeki 50’den fazla açık probleme de uygulandı
- Deneylerin çoğu birkaç saat içinde kurulabildi
- Vakaların yaklaşık %75’inde bilinen en ileri çözümler yeniden keşfedildi
- Vakaların yaklaşık %20’sinde ise mevcut en iyi sonuçlar iyileştirilerek ilgili açık problemlerde ilerleme sağlandı
- kissing number problem için 11 boyutta dış kürelerin 593 yerleşimini bularak yeni bir alt sınır oluşturdu
Yayın planı ve uygulama kapsamı
- AlphaEvolve, belirli alanlardaki algoritma keşfinin ötesine geçip gerçek problemler için karmaşık algoritma geliştirmeye uzanan bir yönelimi gösteriyor
- Google DeepMind, büyük dil modellerinin kodlama yetenekleri geliştikçe AlphaEvolve’un da sürekli iyileşmesini bekliyor
- People + AI Research team ile birlikte AlphaEvolve ile etkileşime girilebilecek kullanıcı dostu bir arayüz geliştiriliyor
- Seçilmiş akademik kullanıcılar için bir Early Access Program planlanıyor; daha geniş çaplı yayın olasılığı da değerlendiriliyor
- İlgi kaydı bu form üzerinden alınacak
- Şu anki uygulama alanları matematik ve hesaplama olsa da, çözümü algoritma olarak ifade edilebilen ve otomatik olarak doğrulanabilen her problem için uygulanabilir
- Google DeepMind, AlphaEvolve’un malzeme bilimi, ilaç keşfi, sürdürülebilirlik ve daha geniş teknoloji ile iş uygulamalarında da fark yaratabileceğini düşünüyor
- İlgili kaynaklar
Henüz yorum yok.