Autoresearch - Karpathy’nin otomatik araştırma çerçevesi

• nanochat’in LLM eğitim çekirdeğini tek GPU·tek dosyada yaklaşık 630 satıra sıkıştıran kendi kendine yeten otonom araştırma çerçevesi; burada AI ajanı gece boyunca otonom biçimde LLM eğitim deneylerini tekrarlar
• İnsan promptu düzenler, AI ajanı ise eğitim kodunu düzenler → sabit 5 dakikalık zaman bütçesiyle eğitim → sonuçları karşılaştırma → tutma veya atma döngüsünü tekrarlar
• Ajan, git feature branch üzerinde otonom döngüde çalışır ve sinir ağı mimarisi, optimizer, hiperparametreler gibi alanlarda daha düşük validation loss elde ettikçe eğitim betiğine git commit’leri biriktirir
• Amaç, insan müdahalesi olmadan en hızlı araştırma ilerlemesini üreten ajanı tasarlamaktır

---

Proje özeti

• nanochat’in basitleştirilmiş tek GPU uygulamasını temel alan, AI ajanının eğitim kodunu otonom olarak değiştirip deneyler yaptığı bir yapı
• Ajan; kodu değiştirme → 5 dakika eğitim → sonucu kontrol etme → tutma/atma döngüsünü tekrarlar, kullanıcı ise sabah deney günlüklerini ve iyileştirilmiş modeli kontrol eder
• Claude, Codex gibi istenen ajan bu repoya bağlanır, program.md okutulur ve ardından deneyler başlatılır

Temel dosya yapısı (yalnızca 3 dosya önemli)

• prepare.py - sabitler, veri hazırlama (eğitim verisini indirme, BPE tokenizer eğitimi) ve çalışma zamanı yardımcılarını (data loader, evaluation) içerir; değişiklik hedefi değildir
• train.py - ajanın düzenlediği tek dosya; tüm GPT modeli, optimizer (Muon + AdamW) ve eğitim döngüsünü içerir; mimari, hiperparametreler, optimizer, batch size gibi tüm unsurlar değiştirilebilir
• program.md - ajan için temel talimat dosyası; insan tarafından düzenlenir ve ajanın otonom araştırma yönünü belirleyen hafif bir beceri işlevi görür

Tasarım ilkeleri

• Tek dosya düzenleme: Ajan yalnızca train.py dosyasını değiştirir; böylece değişiklik kapsamı yönetilebilir kalır ve diff incelemesi kolaylaşır
• Sabit zaman bütçesi: Platformdan bağımsız olarak her zaman tam 5 dakika çalışır → saatte yaklaşık 12, uyku süresince yaklaşık 100 deney mümkün
  • Model boyutu, batch size, mimari gibi değişikliklerden bağımsız olarak deneyler arasında doğrudan karşılaştırma yapılabilir
  • Dezavantaj: Aynı platformda olmayan başka kişilerin çalıştırma sonuçlarıyla karşılaştırılamaz
• Kendi kendine yeterlilik: PyTorch ve az sayıda paket dışında harici bağımlılık yok; dağıtık eğitim yok; karmaşık kurulum yok

Gereksinimler ve çalıştırma

• Gereksinimler: tek bir NVIDIA GPU (testler H100 üzerinde yapıldı), Python 3.10+, uv paket yöneticisi
• Şu anda yalnızca NVIDIA GPU’ları destekler; CPU/MPS gibi diğer platform desteği, kodun gereksiz şişmesini önlemek için şimdilik dahil edilmemiştir
  • Daha geniş platform desteği gerekiyorsa üst nanochat reposuna bakılması önerilir; macOS fork’u (miolini/autoresearch-macos) zaten mevcut
• Ajanı çalıştırırken repo içinde Claude/Codex vb. çalıştırılır, tüm izinler devre dışı bırakılır, ardından program.md okunup deneylere başlanması için prompt verilir

Varsayılan program.md tasarım amacı

• Varsayılan program.md, kasıtlı olarak asgari bir baseline olarak tutulur
• Zaman içinde yinelemeli olarak iyileştirilip, en hızlı araştırma ilerlemesini sağlayan "araştırma organizasyonu kodu"nu bulmak için kullanılabilir
• Ajan eklemek veya talimatları ayrıntılandırmak için de açıkça genişletilebilir bir yapı sunar

[tensun]

Lütfen AMD ROCm de ekleyin

[xguru]

Karpathy’nin tanıtım tweet’i

Hafta sonu boyunca denemek isteyenler için hazırladım.
Kod, bilim kurgu ve biraz da delilik karışımı bir iş :)

Hocam, insan hafta sonu neden böyle bir şey yapar ki

[laeyoung]

Sanırım ders materyallerinin hızla eski kalmaması için hızlıca hazırlayıp EurekaLab dersini çıkarmaya çalışıyor ve üretmeye devam ediyor gibi, hüzünlü.

Not: 7 saat önce AgentHub diye bir tane daha yapıp yüklemiş 🫢