AlphaEvolve: Gemini tabanlı gelişmiş algoritma tasarımı kodlama ajanı

• AlphaEvolve, LLM ile otomatik değerlendiriciyi birleştiren evrimsel bir algoritma üretim ajanı
• Matematik, bilişim, yapay zeka ve donanım tasarımı alanlarında somut sonuçlar ortaya koyarak Google altyapısının geneline uygulanıyor
• Gemini Flash ve Gemini Pro’yu birleştirerek fikirlerin hem genişliğini hem derinliğini birlikte araştırıyor
• Veri merkezi zamanlama, TPU tasarımı, yapay zeka çekirdeği optimizasyonu gibi alanlarda hız artışı ve kaynak tasarrufu sağlıyor
• 50’den fazla matematik problemine de meydan okuyor, yeni algoritmalar öneriyor ve bazı problemlerde mevcut çözümleri iyileştiriyor

---

AlphaEvolve: Gemini tabanlı algoritma evrimi ajanı

Genel bakış

• AlphaEvolve, Google DeepMind tarafından geliştirilen büyük dil modeli (LLM) tabanlı bir kodlama ajanı
• Yaratıcı kod üretimini Gemini modeli, doğrulamayı ise otomatik değerlendirici üstleniyor
• Evrimsel algoritma aracılığıyla en iyi kod adaylarını yinelemeli olarak iyileştiriyor

Gerçek kullanım alanları ve sonuçlar

Google bilişim altyapısının optimizasyonu

• AlphaEvolve, veri merkezi, donanım ve yazılım genelinde uygulanıyor
• Verimlilik iyileştirmeleri, tüm yapay zeka altyapısında sürekli bir zincirleme etki yaratıyor

Veri merkezi zamanlamasının iyileştirilmesi

• Google’ın küme yöneticisi Borg için yeni bir sezgisel yöntem öneriyor
• 1 yıldan uzun süredir canlı hizmette kullanılıyor ve küresel bilişim kaynaklarının %0,7’sinin geri kazanılmasına katkı sağlıyor
• İnsanların anlayabileceği kod sayesinde bakımı kolay

Donanım tasarımına destek

• Verilog ile yazılmış matris çarpımı devresinin optimizasyonu için öneriler sunuyor
• Gelecekte Google’ın TPU tasarımına entegre edilmesi planlanıyor
• Donanım mühendisleriyle iş birliğini teşvik ediyor

Yapay zeka eğitimi ve çıkarımın hızlandırılması

• Matris çarpımını daha küçük problemlere bölerek Gemini eğitim hızını %1 artırıyor
• Çekirdek optimizasyon süresini haftalardan günlere indiriyor
• FlashAttention çekirdeğinde %32,5’e kadar hız iyileştirmesi sağlıyor
• Derleyici optimizasyonunun son derece yoğun uygulandığı alanlarda bile ek performans artışı mümkün

Matematik ve algoritmalar alanında yenilik

Yeni bir matris çarpımı algoritmasının keşfi

• Mevcut Strassen algoritmasına (1969) kıyasla daha iyi bir yöntem buluyor
• 4x4 karmaşık matrisi yalnızca 48 skaler çarpımla işliyor

Matematiksel zorlukların araştırılması

• Analiz, geometri, kombinatorik ve sayı teorisi gibi alanlarda 50’den fazla problem üzerinde deney yapıldı

  • %75’inde mevcut en iyi çözümler yeniden bulundu
  • %20’sinde mevcut çözümleri aşan sonuçlar elde edildi

• Örnek: kissing number problemi için yeni bir alt sınır keşfi

  • 11 boyutta 593 kürenin dizilimiyle önceki rekor güncellendi

Nasıl çalışıyor

1. Prompt örnekleyici girdi oluşturur
2. Gemini Flash/Pro modelleri kod üretir
3. Otomatik değerlendirici doğruluk ve kaliteyi nicel olarak değerlendirir
4. Genetik algoritma yaklaşımıyla yüksek performanslı kod evrimleştirilir
5. En iyi kod yeniden kullanılabilir, dağıtılabilir ve ölçeklenebilir

Gelecek planları

• Kodlama yeteneği geliştikçe AlphaEvolve’un da sürekli iyileştirilmesi planlanıyor
• People + AI Research ekibi ile iş birliği içinde kullanıcı arayüzü geliştiriliyor
• Early Access Program aracılığıyla akademik kullanıcılara açılması planlanıyor
  İlgi kaydı

Uygulama potansiyeli

• Çözümü algoritma ile tanımlanabilen ve değerlendirilebilen problemler söz konusuysa her alana uygulanabilir
• Örnek: yeni malzeme geliştirme, ilaç keşfi, sürdürülebilirlik, teknoloji/iş problemlerinin çözümü

Referans bağlantıları

• Beyaz belgenin tamamını oku (PDF)
• Matematik sonuçlarını Google Colab’da görüntüle

[GN⁺]

Hacker News görüşleri

• Makalede alıntılanan bilgiye göre, Strassen algoritmasını yinelemeli uyguladığınızda 4x4 matris çarpımı için 49 çarpma gerekiyor; AlphaEvolve ise 4x4 karmaşık sayı matrisi çarpımını yalnızca 48 çarpma ile yapan ilk yöntemi buldu. Matrisi doğrudan çarpmayı denerseniz, benzer hesapların birçok kez tekrarlandığı hissine kapılıyorsunuz. Örneğin iki kümenin birleşim boyutunu hesaplarken de örtüşen kısmı çıkarmanız gerekir. Strassen algoritması, sonraki aşamalarda gerekecek hesapları takip etme biçimidir ve bir bakıma dinamik programlamaya benzer. İlginç olan, ek tasarrufun yalnızca karmaşık sayılarda ortaya çıkması; sanki naif yöntemde karmaşık düzlem üzerinde bir tür çift sayım yaşanıyor gibi
  • “4x4 matrices multiplication 48” diye Google'da ararken math.stackexchange'de bir gönderi buldum. 2019'da 4x4 matris çarpımının 48 çarpma ile yapılabileceğine dair bir ifade ve bir doktora tezi bağlantısı vardı. Bu sonucun zaten bilinen bir şey olabileceğini düşünüyorum (henüz algoritmanın genel hatlarına bakamadım)
  • Strassen algoritması hakkında bir yanlış anlama var gibi. Birincisi, Strassen dinamik programlama değil, böl ve yönet tekniğinin klasik bir örneği. İkincisi, Strassen algoritması karmaşık sayılarla değil, yalnızca reel sayılarla da çalışır
• AlphaEvolve'un Transformer tabanlı yapay zeka modellerinin FlashAttention çekirdeğinde %32,5'e kadar hız artışı sağladığı söyleniyor. Vakaların %75'inde mevcut en iyi çözümü yeniden keşfettiği, %20'sinde ise mevcut en iyi sonucu daha da iyileştirdiği belirtiliyor. Gerçekten etkileyici bir sonuç, ama pratikte hangi yöntemlerin ve iyileştirmelerin kullanıldığını somut olarak merak ediyorum. %32,5'lik artış yalnızca aşırı uç bir istisna durumda mı görüldü, gerçek benchmark'ları merak ediyorum
  • GPU'larda önbellek hiyerarşisi var; bu yüzden blok boyutunu en uygun şekilde ayarlamak çok büyük kazanç sağlayabilir, ama pratikte birçok farklı çekirdek, GPU ve tuning çabası gerekiyor. Kernel fusion ve API sınırı sorunları da var. AlphaEvolve'un sonucu çok etkileyici olsa da sihir ya da hile değil
  • AlphaEvolve, büyük matris çarpımı işlemlerini daha yönetilebilir alt problemlere akıllıca bölerek Gemini mimarisinin çekirdek kernel'ini %23 hızlandırdı ve Gemini'nin toplam eğitim süresini %1 azalttı
  • Bu tür rakamlar son zamanlarda fazlasıyla abartılı görünüyor. FlashAttention gerçekten %32,5 hızlandıysa, neden Flash Attention deposuna PR olarak gönderilmiyor, merak ediyorum. Keşke daha ayrıntılı okuyabilsek
• Şu an gerçekten anlamlı bir an. Yapay zeka sistemlerinin gerçek dünyaya somut değer getiren yeni araştırmalar yapabildiğine dair net bir kanıt ortaya çıktı. %1'lik tasarruf yalnızca başlangıç; bu etkiler birikirse ciddi kazançlar beklenebilir. Ayrıca bu sürecin kendisi de gemini 2.5 pro'nun gelişiminde kullanıldı; yani adım adım öz iyileştirmeye gidiliyor. Tam otomatik hale gelmiş değil, ama nereye gittiğinin ana hatları görünüyor
  • Genetik programlama sistemleri uzun süredir algoritmaları iyileştiriyor. LLM tabanlı genetik programlamanın devrim niteliğinde mi yoksa kademeli bir evrim mi olacağını henüz bilmiyoruz. Öz iyileştirme fikrine karşı temkinliyim. “GP, GP kullanarak kendini geliştiriyor!” fikri gerçekten çok eski ama hâlâ sonuç üretemedi. Bununla ilgili başka şirket örnekleri ve makaleler de var
  • Bunun gerçekten yeni bir sonuç olup olmadığı şüpheli. Zaten 48 ve 46 çarpma çözümlerinin bilindiğini söyleyen kaynaklar var ve yapay zekanın tekilliğe ulaştığı yönünde bir heyecan da görülüyor. Gerçekten büyük bir atılım olsaydı, makaleden daha önce duyulurdu
• Bunun ne kadar kademeli bir ilerleme olduğunu merak ettim. Örnek olarak B.2'yi (ikinci otokorelasyon eşitsizliği) seçip önceki makaleye baktım (https://arxiv.org/pdf/0907.1379); yazarlar Mathematica ile sayısal arama yaparak önceki üst sınırı bulduklarını söylüyor. Bu kısmı daha da iyileştirmemelerinin sebebinin, harcanan emeğe göre getirinin düşük olması olduğunu açıkça belirtmişler. Yani AlphaEvolve'un buradaki ilerlemesi de epey kademeli (yine de harika bir sonuç)
  • Artık “emek” maliyeti çok düştü; dolayısıyla bunun artık “uğraşmaya değmez” denebilecek bir şey olmaktan çıktığı bir noktadayız. Önemli olan da bu
  • İnsan için zaman açısından değersiz olan işler, yapay zeka ile otomatikleştirildiğinde sayısız “fırsat” birikerek devasa bir fark yaratabilir
  • Bu bana gerçek yapay zekanın havalanmaya başladığının işareti gibi geliyor
• Böyle iddialı savlar karşısında savunmacı kalmak zor. Eğer gerçekten anlatıldığı gibiyse, zaten “kontrolden çıkan yapay zeka” neredeyse tamamlanmış demektir. Felsefi açıdan bakarsak, eski bir LLM'ye yeni keşifleri adım adım anlatırsanız, o bilgi onun için “yeni” bilgidir; yani burada sonuçta insan zekası dolaylı yoldan sisteme girmiş oluyor
• Etkileyici ama özünde Google'ın Co-Scientist'ine oldukça benzemiyor mu? Birden fazla LLM'nin birbirine bağlam verip doğrulama yaptığı bir yapı. Uygulama açısından etkileyici olsa da temelde tamamen yeni bir şey gibi gelmiyor. LLM'ler kod optimizasyonunda ya da insanların kaçırdığı örüntüleri ve tekrarları bulmada kesinlikle faydalı, ama bu haber de Google'ın bir başka gösterişli blog yazısı gibi duruyor. “Alpha” markası eskiden AlphaGo ve AlphaFold gibi net yenilikler için kullanılırdı; bugünlerde etkisi görece daha sınırlı sistemlere de veriliyor gibi. Bu arada Co-Scientist'in de bir değerlendirme yöntemi vardı. ( https://research.google/blog/accelerating-scientific-breakth... bakınız )
  • AlphaEvolve makalesi bu farkı ele alıyor. AI Co-Scientist, bilimsel hipotezleri ve değerlendirmeleri doğal dilde ifade ederken, AlphaEvolve'da evrim kod üzerinden ve programatik değerlendirme fonksiyonlarıyla yürütülüyor. Böylece LLM halüsinasyonlarından büyük ölçüde kaçınılabilmiş ve uzun adımlar boyunca kesintisiz evrim süreci işletilebilmiş
  • Google'da her zamanki gibi benzer işlevli ürünleri farklı ekiplerin aynı anda üretmesi sürüyor gibi geliyor
  • “Google's Co-Scientist”in birden fazla proje adı mı olduğunu bilmiyorum
• Tekillik bekleyenler şu ifadeyle ilgilenecektir. “AlphaEvolve, çip tasarım mühendislerinin kullandığı standart dilde değişiklik önererek yapay zeka ile donanım mühendislerinin birlikte çalışmasını sağlıyor”
  • Makaledeki ilgili bölümü alıntılarsak, AlphaEvolve matmul birimi içindeki işlem aygıtı kodunda gereksiz bitleri kaldırdı ve bu değişiklik TPU tasarımcıları tarafından doğrulandı. Sebep, MAC devresi çıktısının üst bitlerinin alttaki akümülatör vb. yerlerde kullanılmaması olabilir. Aslında eşdeğer optimizasyonlar sonraki sentez araçlarında otomatik olarak da yapılır; burada öne sürülen şey, bitleri kaynak RTL'de önceden kırpmanın sentez sonrası optimizasyondan daha anlamlı olduğu. Ancak sentez araçları devrenin anlamını değiştirmediğini garanti eder, kaynak RTL değişiklikleri ise etmez; bu yüzden insan doğrulaması gerekir. Yine de sentez sonucunda hangi kısımların optimize edildiğinin kaynakta gösterilememesi üzücü. LLM tabanlı kod evrimi donanım tasarımında erken keşif için anlamlı olabilir, ama AlphaEvolve'un gerçek başarısının abartıldığını düşünüyorum
  • Sonuç olarak bunun anlamı, derleyici ara temsili veya debug metni üzerinde çalıştığıdır
  • Bu yaklaşım yalnızca değerlendirme fonksiyonu iyi tanımlanmış ya da ölçülebilir optimizasyon problemlerine uygulanabilir. “Genel zeka” için bir değerlendirme fonksiyonu yazamazsınız
  • “AlphaEvolve Google'ın veri merkezleri, çip tasarımı ve yapay zeka eğitiminin verimliliğini artırıyor — buna AlphaEvolve'u doğuran LLM eğitimi de dahil” ifadesi dikkat çekici. Sanki yapay zeka, kendini insanlardan daha hızlı iyileştirdiği bir gerçekliğe giriyormuşuz gibi hissettiriyor
  • Tekillik her zaman aşırı özgüvenin zirvesinde yer alır ve yapay zeka gerçekte ‘otomatikleştirilmiş telesiyej’ benzeri bir sahte zekadır
• İlginç olan, AlphaEvolve'un aslında bir yıldır kullanılıyor olması ve ancak şimdi açıklanması. Makaleye göre Gemini 2.0 (Pro ve Flash) tabanlı çalışıyor; yani Gemini 2.5'i eğitmek için Gemini 2.0'ın kullanıldığı tuhaf bir durum var. Tipik bir “öz iyileştirme geri besleme döngüsü” olmasa da o bağlama bir miktar oturuyor. AlphaEvolve'un bu bir yıl boyunca yalnızca geliştirildi mi yoksa geliştirilip üretimde de kullanıldı mı, bunu merak ediyorum. Ayrıca yapay zeka araştırmalarında elde edilen sonuçları hemen paylaşmak zorunda olunmadığını da düşündürüyor
  • Eğer yeterli beyin gücü, hesaplama kaynağı ve donanıma sahipseniz, gerçek bir geri besleme döngüsünü durdurabilecek pek bir şey yok gibi. DeepMind bu açıdan benzersiz bir konumda
  • Gemini 2.0 kullanarak Gemini 2.5'i iyileştirme süreci, geçmişte OpenAI'ın RLHF'yi devreye almasından bu yana yapılandırılmış veri ve damıtılmış model üretme stratejisine benziyor
  • Asıl mesele otonomi. Kendi yaptığı değişikliklerin insan doğrulaması olmadan da mümkün olması gerekir ki gerçekten anlamlı olsun. Tamamen açıklanamaz çözümler artarsa bunun gerçekten faydalı olup olmayacağı da tartışmalı. Hatta gereksiz yere anlaşılmaz kod birikebilir. Acaba amaç bu mu diye düşünüyorum
• AlphaEvolve'un evrim prosedürüyle ilgili açıklamanın bu kadar az olmasına şaşırdım. “MAP elites algoritması ve island-based population model'den ilham alan bir algoritma” ifadesinde “ilham alan” kısmı gerçekte çok şeyi kapsıyor. MAP-elites'ın mutasyon boyutları nasıl belirleniyor, iki algoritma nasıl birleştiriliyor, alınan ilhamın kapsamı nedir; bunlar yeterince somut değil. Evrim prosedürünün özünün fiilen gizli sos olarak kaldığı hissi veriyor
  • 2023'te Nature'da yayımlanan island tabanlı LLM evrimi makalesi (https://www.nature.com/articles/s41586-023-06924-6) bunu daha ayrıntılı ele alıyor. Bu tür temel “boyut/özellik” ayarları önemli. Böyle whitepaper'lar bilimsel açıdan daha çok hayal kırıklığı yaratabiliyor
  • En basit yol, modele farklı değerlendirme ölçütleri üretmesini söylemek ve her birini bir boyut olarak kullanmak olabilir
• Makalede evrimsel kısım çok yetersiz anlatılmış. Genel olarak evrim algoritmalarında çaprazlama unsuru bulunur; eğer burada bu yoksa, aslında bunu evrimden çok hill climbing ya da beam search'e daha yakın sınıflandırmak gerekir
  • Bir görsel açıklamasında 16 adet “mutasyon” gerektiğinden söz ediliyordu; bu mutasyon sürecinin ne olduğu merak konusu
  • Sıradan mutasyon ve çaprazlama olmadan, aday popülasyon kullanarak gradyan manzarasını yaklaşıklayan “evolution strategies” algoritmaları da var
  • Korkutucu olan şey, bunun bir evrim algoritmasından ziyade sadece adı benzer bambaşka bir yöntem olma ihtimali