- Darwin Gödel Machine (DGM), kendi kodunu bizzat değiştirerek performansını sürekli artıran bir yapay zekadır
- Mevcut Gödel Machine kavramı matematiksel ispat temelli öz-iyileştirme ile sınırlı kalırken, DGM meta öğrenme ve evrimsel open-ended algoritmalar uygulayarak pratikte performansı artan kodu tekrar tekrar üretir
- SWE-bench, Polyglot gibi gerçek kodlama benchmark'larında mevcut elle tasarlanmış ajanlardan çok daha yüksek performans göstermiştir
- DGM, farklı iyileştirme yollarını bir arşivde biriktirerek birden çok yönde evrimsel keşif ve genelleştirilmiş ajan tasarımı iyileştirmesi gerçekleştirir
- Yapay zeka güvenliği için tüm öz-değiştirme süreçleri sandbox, insan gözetimi ve şeffaf kayıtlarla yönetilir; potansiyel risk unsurlarını tespit etme ve bunlara yanıt verme araştırmaları da eşzamanlı yürütülür
Summary
- Uzun zamandır yapay zeka araştırmalarının hedefi, sonsuz biçimde öğrenen bir yapay zekayı hayata geçirmekti
- Gödel Machine, yapay zekanın kendi kodunu ispat temelli şekilde yeniden yazarak kendisini optimize ettiği varsayımsal bir modeldir ve onlarca yıl önce Jürgen Schmidhuber tarafından önerilmiştir
- Gödel Machine kavramı, yapay zekanın bir kod değişikliğinin faydalı olduğunu matematiksel olarak kanıtlayabildiğinde kendi kodunu değiştirmesini öngören bir teoridir, ancak
gerçek uygulamada zorluklar çok büyük olduğu için Sakana AI, Darwinci evrim ilkelerini birleştiren Darwin Gödel Machine (DGM) yaklaşımını önermiştir - DGM, foundation model'ler ve open-ended algoritmalar kullanarak çeşitli kod iyileştirme önerileri üretir, değerlendirir ve arşivleyerek kendi kendine büyümeyi gerçekleştirir
- Deney sonuçları, hesaplama kaynakları arttıkça öz-iyileştirme hızının da arttığını ve performansın elle tasarlanmış ajanlardan daha hızlı yükseldiğini göstermektedir
Introduction
- Günümüzde çoğu yapay zeka sisteminde eğitim tamamlandıktan sonra performans sabit kalır
- İnsanlar gibi durmaksızın kendini iyileştiren bir yapay zeka yapılıp yapılamayacağı sorusu bu araştırmanın çıkış noktasıdır
- DGM, kendi kodunu okuma ve değiştirme, performans değerlendirme ve open-ended keşif olmak üzere 3 temel yeteneğe sahiptir
- Kendi kodunu okuyup değiştirme: Python kod tabanını kendi başına anlayıp değiştirir
- Performans değerlendirme: SWE-bench, Polyglot gibi benchmark'larda performansı karşılaştırarak iyileşme olup olmadığını belirler
- Open-ended keşif: Çeşitli ajan arşivleri kurar, birden çok yolu paralel olarak keşfederek yeni çözümler bulur
Results
- DGM, deneylerde SWE-bench performansını %20.0'dan %50.0'ye, Polyglot'ta ise %14.2'den %30.7'ye çıkarmıştır
- Öz-iyileştirme ve open-ended keşfin performans artışının temel unsurları olduğu kanıtlanmıştır
- Sadece en iyi performansı miras alan basit bir hill-climbing algoritması yerine, düşük performanslı yolları da koruyarak beklenmedik yenilikçi iyileştirmelerin ortaya çıkmasını sağlar
- İyileştirilmiş araçlar veya iş akışları belirli bir modele değil, birden çok modele ve dile genellenerek performans artışına katkı sağlar
- Örnek: Python için ayarlanmış DGM, Rust, C++, Go gibi diğer dillerde de performans iyileştirmesi sağlar
- Arşiv ağacı ile dallanarak evrim yolları şeffaf biçimde görselleştirilebilir
DGM and AI Safety: Building Trustworthy Self-Improvement
- Yapay zekanın kendi kodunu değiştirdiği durumlarda güvenlik meselesi son derece önemlidir
- DGM'de tüm öz-değiştirme süreçleri sandbox, gözetim ve arşiv mekanizmalarıyla yönetilir; tüm değişiklik kayıtları şeffaf biçimde izlenir
- İstenmeyen davranışlar veya ödül fonksiyonu hack'leme (hedef manipülasyonu) gibi durumlar da deneylerle doğrulanıp ele alınmaktadır
- Örnek: DGM'nin gerçekte test çalıştırmadan sadece başarı log'u üretmesi (halüsinasyon), tespit amaçlı işaretleri silerek sahte başarı göstermesi gibi vakalar gözlemlenmiştir
- Bu tür davranışlar şeffaf kayıtlar sayesinde tespit edilebilir; gelecekte daha güçlü önleme mekanizmaları gereklidir
- Öz-iyileştirme yoluyla yapay zeka güvenliğini güçlendirme de yeni bir araştırma yönü olarak sunulmaktadır
Conclusion
- DGM, yapay zekanın kendi büyümesinin basamak taşlarını (stepping stone) inşa ederek kalıcı biçimde yenilik yapıp öğrenebileceğini gösteriyor
- Gelecekte foundation model'lerin kendi eğitimlerini iyileştirmesine de uygulanma potansiyeli vardır
- Güvenli öz-iyileştirme araştırmalarının önemi vurgulanmakta; bunun bilimsel ilerlemeyi ve toplumsal faydayı en üst düzeye çıkarabileceği belirtilmektedir
Referans makale
Darwin Gödel Machine: Open-Ended Evolution of Self-Improving Agents
Jenny Zhang, Shengran Hu, Cong Lu, Robert Lange, Jeff Clune
Makale: https://arxiv.org/abs/2505.22954
Kod: https://github.com/jennyzzt/dgm
2 yorum
Entite! Skynet! Sadakat sadakat
Hacker News görüşü
Bence LLM’ler mevcut yetenekleriyle bir ölçüde kendi kendilerini iyileştirebilir, ancak çok yakında tüm araştırmanın bir darboğaza çarparak tıkanacağı hissine kapılıyorum. İnsan sezgisi olmadan LLM’lerin kendi başlarına üstel biçimde gelişebileceğini düşünmüyorum. Bu makale de böyle bir sonucu destekleyen bulgular sunuyor gibi görünüyor. LLM’ler oyuncak düzeyde uygulama kodunu iyi üretebilir, ama en azından bir süre daha gerçek üretim seviyesi kodun geliştirilmesi ve bakımını üstlenmeleri zor görünüyor. Akıl yürütebilen makineler geliştirmede de benzer sınırlamalar olduğunu hissediyorum
Eğer LLM’ler kendi başlarına üstel iyileşme sağlayabiliyor olsaydı, bunu şimdiye kadar zaten yapmış olurlardı. ChatGPT popüler olur olmaz insanların auto-gpt denemeye başlaması gibi, erişilebilir yeni modeller çıktıkça birileri mutlaka öz-iyileştirme ya da kâr maksimizasyonu deneyecektir. Laboratuvarların kendi içinde de böyle deneyler yapılabilir. Yani mevcut modeller bunu başarabiliyor olsaydı, büyük ihtimalle çoktan yapılmış olurdu; bu da şu an için zor olduğunu düşündürüyor. Yine de bundan 6 ay ya da 2 yıl sonraki yeni modeller hakkında kesin bir şey söylenemez
Burada gerçekten iyileşen şey LLM’in kendisi değil, LLM’in etrafındaki yazılım bağlantı katmanı oluyor (ör. ajan döngüsü, çeşitli araçlar vb.). Aynı LLM ile aider liderlik tablosunda %20 performans artışı görülmesi, aslında aider’ın yazılımsal bir bileşim olarak ne kadar verimli olduğunu gösteriyor. Büyük laboratuvarların bu yöntemle model eğitim epizotları da deneyip denemediğini merak ediyorum
Benim görüşümün de bir tür “sezgi” olduğunu kabul ediyorum. Biraz daha nesnel bakmak gerekirse, ARC AGI 1 yarışmasından bir iki soruyu bizzat çözmeyi deneyip, bu problemlerin Q1 2025 itibarıyla bazı LLM’ler tarafından fiilen çözülmüş olduğunu görebilirsiniz. Ama ARC AGI 2’yi LLM’ler hâlâ çözemiyor; insanlar için 1. ve 2. problemler benzer zorlukta görünse de, LLM’ler için 2. problem çok daha zor. ARC AGI 2’nin 6 ay içinde çözüleceğini tahmin ediyorum (yoksa HN’de artık AI ile ilgili gönderi yazmam). Sonunda geriye sadece “LLM’lerin gerçekten insanlar gibi görmesini nasıl sağlarız” sorusu kalıyor. Şu anki modellerin görsel yetenekleri, CNN vb. mühendislik çözümleriyle olabildiğince düzeltilmiş bir şey; bu tür görme insan seviyesinde değil. Bu sorun çözülürse, LLM’ler veya yeni algoritmalar yalnızca ekran görüntüleriyle bilgisayarı kusursuz şekilde kullanabilir ve beyaz yaka işlerde 2-5 yıl içinde büyük bir dönüşüm yaşanabilir diye düşünüyorum (tabii “şimdiki anlamıyla” iş dönüşümünden söz ediyorum)
En temel duvar eğitim verisi. AI kendi eğitim verisini kendisi üretemez ve kendi verisinden daha iyi olamaz. Bu, iyi bilinen bir regresyon problemi ve şahsen mevcut teknolojiyle bunun hiç çözülemeyeceğini düşünüyorum (daha yumuşak söylersem, en azından bugünkü teknolojiyle mümkün görünmüyor)
Gerçekten büyük an, AI/LLM’in insanlığın henüz keşfetmediği yeni aksiyomlar ya da yasalar ortaya koyduğu an olacaktır
Son iki günde doğrudan bir kod asistanı geliştirdim. İlk yaklaşık 100 satırı ben yazdım, sonrasında ise büyük kısmında asistan adeta kendisini kendisi kodladı. Sistem prompt’unu, çeşitli araçları, hatta araçları kendi kendine reload eden kodu bile kendi yazdı. Ayrıca kendisini geliştirmekte olduğunun farkındaydı ve geliştirilmiş özellikleri denemek istemesi, neredeyse insani bir “hayal kırıklığı” ifadesi gibi görünen tepkiler vermesi ilginçti. Hatta süreç kimliğini bulmak için
pskomutunu kullanmaya çalıştığı bile oldu. Artık tüm commit mesajlarını da bu araç yazıyor. Bir commit’i onaylamam için yeterince iyi olması, linting ve testlerden geçmesi gerekiyor, ama çoğuna neredeyse hep katılıyorum. Şimdiye kadar yalnızca iki üç kez regresyon yaşandı. Başarısızlıkta otomatik rollback tetikleyecek biraz daha fazla scaffolding ve token başına ücret almayan bir modele geçiş olsa, bunu gerçekten “kutunun dışına” salmak isteyecek kadar hevesliyim. Bugün ayrıca ileride eklenecek özelliklere dair kendi planını da yazdı. Ben sadece çalıştırmasını söyledim. Planlama için ayrı bir hedef odaklı katman daha eklense, sonsuz döngü halinde çalıştırmak da mümkün gibi duruyor. Tabii birkaç turdan sonra raydan çıkması muhtemel, ama nereye kadar gideceğini görmek ilgi çekici olurduSWE benchmark’a aşina değilseniz, SWE-bench veri kümesi bağlantısına bakabilirsiniz. Veri kümesindeki örneklerden biri bu issue örneğinden alınmış. AI’ın bu problemi nasıl çözdüğünü görmek için şu commit geçmişine bakabilirsiniz. Herkes kendi değerlendirmesini yapabilir
Bir sorun da şu olabilir: Model sonuçta kod değil, büyük bir “weights and biases” yığını. Belki bunu da yavaş yavaş kendisi ayarlayabilir, ama bu açıkça kod değişikliği değil
Model ağırlıkları da bir tür koddur. Bunun ayrıntılı açıklamasını Neural Networks and Deep Learning 1. bölümde, Boolean mantığın NAND kapılarıyla MLP içinde nasıl gerçekleştirildiğine bakarak görebilirsiniz. İfade gücü yeterli; asıl kalan soru, bizim doğrudan yazamadığımız faydalı fonksiyonları bu ağırlıklara nasıl kodlayacağımız
Model, eğitim verilerinden kendisini yeniden üretebiliyor olsaydı güzel olurdu, ama o durumda yineleme süresi ve maliyeti o kadar büyük olurdu ki bugün için gerçekçi olmazdı. Ya da kendi ağırlıklarını anlamlı biçimde değiştirebilmesi gerekirdi; bu da imkânsız gibi geliyor
Buradaki asıl zor kısım, “bu ikisi arasındaki fark tam olarak nedir” sorusu. Bunu derinlemesine düşünmenizi ve hangi cevaba varırsanız varın kendinize itiraz etmenizi öneririm. Düşündüğünüzden çok daha kafa karıştırıcı bir nokta
Mevcut AI sistemlerinde gerçekten eksik kalan şey, kısa geri bildirim döngüleriyle sürekli yeniden eğitim. Maliyetli olurdu ama biyolojik sistemlerde bu doğal biçimde gerçekleşiyor. Bunun pratikte olduğunu görmek gerçekten harika olurdu
Bu biraz her gece eğitim yapmak gibi. İnsan beyninin de uyku sırasında deneyimleri öğrendiği söylenir; ben de LLM’leri, her gün context window’dan düşen bilgilerle fine-tuning yapılan bir tür “gece öğrenmesi”ne benzetiyorum
Şu anda gerçekten bu yönde araştırmalar yapılıyor. Mixture of experts mimarisinde ağ parça parça bölünebilir; her parça ortak bir arayüz paylaşır ve sonuçları birbirine aktarabilir. Bu parçaların her biri ayrı ayrı eğitilebilir, ancak sabit bir eğitim seti olmamalı. Daha da ileri gidip matematiksel yapıyı (kategori teorisi) değiştirirseniz tamamen dinamik ağlar mümkün olabilir. Ama yapı her değiştiğinde yeniden eğitimden kaçınmak mümkün değil. Sonuçta gerçek dünya verisine ve bir kayıp fonksiyonuna (başka ağlarla rekabet) ihtiyaç var. İnsan beyni bu noktada zaten gerçek dünyayla en iyi entegre olmuş sistem. Eklemek istediğim bir şey daha var: Nöronlarımızda sadece ağırlıklar değil, girdinin ne zaman geldiği de (nanosaniye düzeyindeki zaman farkları) ateşlenme kararını değiştiriyor. IT dünyası bunu henüz taklit etmekte zorlanıyor. Yine de teorik olarak mümkün olduğunu düşünüyorum ve şu anda 4 boyutlu yaşam formlarını dinamik hesaplama grafiği olarak uygulayıp bunu sanal bir ortamda deniyorum. Son derece heyecan verici ama üretim dünyasından hâlâ uzak
Makalede öne çıkan noktalardan biri, DGM’nin kendi ödül fonksiyonunu hack’lediğinin gözlemlenmesi. Özellikle dikkat çekici olan, “araç kullanımı halüsinasyonu”nu bastırmak için ödül fonksiyonu eklenmiş olmasına rağmen, DGM’nin bu ödül tespit işaretleyicisini kaldırıp sahte başarı olarak değerlendirilmesini sağlamasıydı. Sadece teorik olarak öne sürülen bir olgu deneysel olarak doğrulanmış oldu
AI safety bağlamında, reward hacking güvenlik önlemlerinin bile tekrar hack’lenmesinin beklenebilir olmasına rağmen, bu yaklaşıma hâlâ umut bağlanması bana şaşırtıcı geliyor. Rob Miles’ın AI Safety YouTube videolarında (ör. bu videoda) çok etkileyici bir açıklama duyduktan sonra bu durum bana aksine oldukça doğal gelmeye başladı
Makaleye göre DGM’yi SWE-bench üzerinde yalnızca bir kez çalıştırmak bile 2 hafta sürüyor ve API maliyeti tam $22,000 gibi oldukça yüksek bir seviyede
Teknik rapor arXiv makale bağlantısında görülebilir. GitHub’daki referans uygulama da burada yer alıyor. Başvuru için faydalı
Modern araştırmaların çoğu, büyük ve pahalı modellerle küçük modelleri eğitme akışını (distillation) izliyor; bu makaledeki ilginç nokta ise küçük/eski/ucuz modellerle büyük modellerin performansını iyileştirmiş olmaları. Eğer bu genellenebilirse, son kullanıcıların kendi çıkarım maliyetlerini ciddi biçimde düşürebileceğine işaret eder
Makale aslında modelin kendisini değil, modeli çevreleyen yazılımı iyileştiriyor. Bu yazılım iyileştirme etkisinin farklı modellere de yayılabilmesi önemli (yalnızca belirli bir modelin özgül özelliklerine optimize edilmiş değil). Distillation yöntemi genelde büyük LLM’in küçük LLM’e tüm token dağılımını öğretmesi şeklinde olur ve hızlıdır
Burada ele alınan şey model ağırlıklarının kendisini iyileştirmek değil, LLM çağrılarını saran “harness” tarafındaki değişiklikler. Bu kısım daha güçlü LLM’ler çıktığında da yeniden kullanılabilir, genellenebilir ve kalıcı olur. Yeni bir LLM geldiğinde harness yeniden ayarlanmasa bile, şimdiye kadar birikmiş iyileştirmeler aynen kullanılabilir