ARC-AGI'yi ön eğitim olmadan çözmek

 (iliao2345.github.io)
1 puan yazan GN⁺ 2025-03-05 | 1 yorum | WhatsApp'ta paylaş
  • ARC-AGI gibi az sayıda örnekten kural çıkarılması gereken problemlerde CompressARC, ön eğitim, dış veri kümesi veya büyük ölçekli arama olmadan, yalnızca bulmaca başına çıkarım anında öğrenmeyle çözüm buluyor
  • Temel fikir, doğru cevabı da içeren bulmaca temsilini daha kısa hale getirecek şekilde kayıpsız bilgi sıkıştırma hedefi optimize edildiğinde zeki davranışın ortaya çıkabileceğini gösteren bir deney
  • RTX 4070 üzerinde bulmaca başına yaklaşık 20 dakika kullanarak eğitim setinde %34,75, değerlendirme setinde %20 elde etti; yalnızca hedef bulmacayı eğitim verisi olarak kullanan bir sinir ağı yaklaşımı olmasıyla öne çıkıyor
  • Mimari; örnek sırası, renk permütasyonu, döndürme ve yansıtmaya karşı eşdeğişkenlik etrafında tasarlandı ve farklı rank'lardaki tensörleri bir araya getiren multitensor temsilini kullanıyor
  • Renk-prosedür eşleştirme, doldurma, kırpma, nokta birleştirme ve kısa mesafeli hareketlerde güçlü; ancak sayma, uzun menzilli desen genişletme, döndürme-kopyalama-boyutlandırma ve ajan planlaması hâlâ darboğaz olarak duruyor

Yalnızca sıkıştırmayla ARC-AGI çözülebilir mi deneyi

  • Temel soru, yalnızca kayıpsız bilgi sıkıştırma ile zeki davranış üretmenin mümkün olup olmadığı
  • CompressARC, ARC-AGI bulmacaları için yalnızca sıkıştırma tabanlı bir amaç fonksiyonuyla çalışan bir yöntem
  • Üç kısıt uygulanıyor
    • Ön eğitim yok: Model rastgele başlatılıyor ve çıkarım anında eğitiliyor
    • Veri kümesi yok: Bir model yalnızca tek bir hedef ARC-AGI bulmacasını öğreniyor ve tek bir cevap üretiyor
    • Arama yok: Çoğu anlamda arama olmadan yalnızca gradyan inişi kullanılıyor
  • Sonuçlar eğitim setinde %34,75, değerlendirme setinde %20; her bulmaca RTX 4070 üzerinde yaklaşık 20 dakika sürüyor
  • Yalnızca hedef bulmacayı eğitim verisi olarak kullanan ARC-AGI'ye yönelik ilk sinir ağı yöntemi olduğu belirtiliyor

ARC-AGI problem kurulumu

  • ARC-AGI, 2019'da tanıtılan ve az sayıda örnekten soyut kuralları çıkarıp genelleme yeteneğini test eden bir yapay zeka benchmark'ı
  • Her bulmaca birden fazla girdi-çıktı örneği ve bir test girdisi sağlıyor; sistemin test çıktı ızgarasını doğru tahmin etmesi gerekiyor
  • Bulmaca başına iki deneme hakkı var; ikisinden biri doğruysa 1 puan alınıyor
  • Çıktı ızgarasının boyutu değiştirilebiliyor ve tüm piksellerin rengi seçilebiliyor
  • Bulmacalar insanlar için makul biçimde çözülebilir, ancak makineler için daha zor olacak şekilde tasarlanmış
    • Ortalama bir insan eğitim setinin %76,2'sini çözüyor
    • İnsan uzmanlar %98,5'ini çözüyor
  • 400 eğitim bulmacası diğerlerinden daha kolay ve şu örüntüleri öğretme amacı taşıyor
    • Nesnesellik: Nesneler sebepsiz yere ortaya çıkmaz veya kaybolmaz
    • Hedef yönelimi: Bazı nesneler niyeti olan ajanlar gibi davranır
    • Sayılar ve sayma: Nesne sayısı, sıralama, karşılaştırma, toplama-çıkarma gibi temel matematik kullanılır
    • Geometri ve topoloji: Şekillerin yansıması, döndürülmesi, taşınması, dönüştürülmesi, birleştirilmesi, tekrarı, mesafe farkları vb. içerilir
  • ARC Prize'ın yakın tarihli Kaggle yarışmasında 1 milyon doların üzerinde ödül vardı; ana ödüller, kısıtlı ortamda 12 saatlik hesaplamayla gizli 100 problemde %85'e ulaşan yöntemlere ayrıldı

CompressARC nasıl çalışıyor

  • CompressARC'ta daha düşük bit sayısıyla sıkıştırılan temsil, daha doğru bulmaca çözümüyle ilişkilendiriliyor
  • Sistem, eksik bulmacayı tamamlanmış bulmacaya dönüştüren bir sıkıştırılmış temsil arıyor; bu temsil açıldığında bulmaca ve cevap yeniden oluşturuluyor
  • Sinir ağı decoder rolünü üstleniyor
    • Ayrı bir encoder sinir ağı yok
    • Kodlama, çıkarım anında decoder'ı eğiten gradyan inişiyle uygulanıyor
    • Optimize edilmiş ağırlıklar ve girdi dağılımı ayarları, bulmacayı ve cevabı içeren sıkıştırılmış bit temsili rolünü görüyor
  • Standart makine öğrenimi ifadesiyle süreç şöyle
    • ARC-AGI bulmacası alınır
    • Bulmacadaki örnek sayısı ve gözlenen renk sayısına göre sinir ağı f oluşturulur
    • z ~ N(μ, Σ) olan rastgele normal girdiyi alıp tüm ızgaraların piksel başına renk logit'lerini çıkarır
    • Bilinen ızgaralar için çapraz entropi toplamı minimize edilir, cevap ızgarası yok sayılır
    • N(μ, Σ) dağılımının N(0,1) dağılımına yakın olması için KL divergence cezası uygulanır
    • Eğitim sırasında üretilen cevap ızgaraları saklanır ve en sık çıkan cevap nihai tahmin olarak seçilir
  • fθ, girdi-çıktı çifti sırası değişimi, renk permütasyonu, uzamsal döndürme-yansıtma gibi genel artırmalara karşı eşdeğişken olacak şekilde tasarlanmıştır

Sıkıştırma açısından türetim

  • Kayıpsız sıkıştırma, bilgiyi mümkün olduğunca az bitle ifade ederken bu bit temsilinden orijinali tam olarak geri yükleme problemidir
  • ARC-AGI'de normalde bulmaca ve cevap çiftinin tamamını sembol olarak görüp sıkıştırmak gerekir; fakat pratikte cevap encoder girdisi olarak yoktur ve bulmaca üretim dağılımı da bilinmez
  • ARC-AGI veri kümesi için pratikte uygulanabilir, bit açısından verimli bir sıkıştırma sisteminin var olduğu varsayılır
  • p dağılımı bilinmese bile, len(f)+len(s) uzunluğunu minimize eden program f ve girdi s üzerinden evrensel bir sıkıştırıcı düşünülebilir
    • Decoder, f(s) çalıştırarak orijinali geri yükler
    • Algoritmik bilgi teorisine göre orijinal sıkıştırıcıdan en fazla f uzunluğu kadar daha verimsiz olabilir
    • Pratikte program uzayını arayan encoder uygulanabilir değildir
  • CompressARC, program uzayı araması yerine sabit program olarak sinir ağı forward pass'ını seçer
    • s, ağırlıklar θ, girdi z ve çıktı düzeltmesi ε bileşenlerinden oluşur
    • θ ve z için kod uzunluğu Relative Entropy Coding (REC) açısından, ε için arithmetic coding açısından hesaplanır
    • Çıktı düzeltmesi kod uzunluğu, bilinen ızgaraların toplam çapraz entropisine eşit olur
    • z kod uzunluğu KL(pz || qz) olur ve qz = N(0,I) alınır
  • Toplam kod uzunluğu VAE kaybıyla aynı formdadır
    • Yeniden oluşturma hatası
    • z için KL
    • Decoder regularization
  • CompressARC uygulaması, bu türetimdeki regularization'ın bir kısmını ve eşdeğişkenlik ile bulmacalar arası bağımsızlıkla ilgili düzeltmeleri içeren bir biçimdedir

Mimari: multitensor ve eşdeğişkenlik

  • Mimari için en önemli özellik eşdeğişkenliktir
    • Girdi z dönüştürülürse çıktı ARC-AGI bulmacası da aynı şekilde dönüştürülmelidir
    • Örnekler; girdi-çıktı çifti yeniden sıralama, renk karıştırma, ızgarayı çevirme-döndürme-yansıtma
  • Tasarım, önce tamamen simetrik bir temel mimari kurup ardından gerekli eşdeğişken olmayan yetenekleri veren asimetrik katmanlar ekleyerek gereksiz simetrileri tek tek kırma yaklaşımını izler
  • Dahili veri multitensor adlı formatta akar
    • Çeşitli rank ve shape'lere sahip tensörlerin bir demetidir
    • Boyutlar en fazla [n_examples, n_colors, n_directions, height, width, n_channels] alt kümelerinden oluşur
    • channel boyutu her zaman korunur
    • Kurallar uygulanarak multitensor içindeki yasal tensör sayısı 18'e düşürülür
  • Bulmaca [examples, colors, height, width, channel] tensörüyle temsil edilebilir
    • channel, girdi veya çıktı ızgarasını seçmek için kullanılır
    • width ve height piksel konumlarını gösterir
    • color boyutu piksel renginin one-hot temsilini içerir
  • Genel mimari akışı şöyledir
    • z dağılım parametreleriyle başlar
    • Decoding Layer
    • Multitensor Communication, Softmax, Directional Cummax, Directional Shift, Directional Communication, Nonlinear, Normalization öğeleri 4 kez tekrarlanır
    • Linear Heads ile ARC-AGI bulmaca dağılımı çıkarılır

Performans sonuçları

  • Eğitim Adam ile 2000 iterations yürütülür
    • Öğrenme oranı 0.01
    • β1 = 0.5, β2 = 0.9
  • Eğitim seti sonuçları
    • 100 iteration: Pass@2 %2,25
    • 500 iteration: Pass@2 %27,5
    • 1000 iteration: Pass@2 %31,75
    • 2000 iteration: Pass@2 %34,75
    • 2000 iteration Pass@1000 değeri %52,75
  • Değerlendirme seti sonuçları
    • 100 iteration: Pass@2 %1,25
    • 500 iteration: Pass@2 %15
    • 1000 iteration: Pass@2 %19,25
    • 2000 iteration: Pass@2 %20
    • 2000 iteration Pass@1000 değeri %33,75
  • ARC-AGI puanlamasında iki deneme hakkı olduğundan metindeki temel sonuç Pass@2 bazındadır

Çözülebilen ve zor bulmacalar

  • CompressARC, sahip olduğu yeteneklerle kuralları mümkün olduğunca kavrıyor; ancak mimarisinde bulunmayan yeteneklerde darboğaza giriyor
  • Yapabildiği işlere örnekler
    • Tek tek renkleri tek tek prosedürlere atama
    • Doldurma
    • Kırpma
    • 45 derecelik diyagonal de dahil nokta birleştirme
    • Aynı rengi algılama
    • Piksel komşuluğunu belirleme
    • Örnek bazında renk atama
    • Şeklin parçalarını belirleme
    • Kısa mesafeli hareket
  • Zor işler de belirgin
    • İki rengi birbirine eşlemek
    • Aynı işlemi art arda birçok kez tekrarlamak
    • Taşıma, döndürme, yansıtma, boyutlandırma, görüntü kopyalama
    • Bağlantılılık gibi topolojik özellikleri algılama
    • Ajan davranışı planlama ve simülasyonu
    • Uzun menzilli desen genişletme
  • Eğitim bulmacası 28e73c20'de desenin kenarlardan merkeze doğru genişletilmesi gerekiyor; CompressARC kısa mesafeli genişletme yapıyor ama merkeze yakın bölgede tahmine dayanıyor

Örnek: Color the Boxes

  • İnsan çözümünde girdinin kutulara ayrıldığı, çıktıda ise bu kutuların renklendirildiği anlaşılır
    • Köşeler her zaman siyah
    • Merkez her zaman magenta
    • Kenar tarafındaki kutular, yönlerine göre üstte kırmızı, altta mavi, sağda yeşil, solda sarı olur
  • CompressARC'ın öğrenme ilerleyişi aşamalara göre değişir
    • 50 step: Girdideki camgöbeği satır ve sütunların çıktıda da karşılığı olduğunu yansıtır
    • 150 step: Yakın piksellerin benzer renge sahip olduğu bir çıktı formu gösterir
    • 200 step: Camgöbeği sınırlarla kesilmiş daha büyük renk bloklarını ve siyah köşe bloklarını taklit eder
    • 350 step: Merkeze göre yönüne uygun kutu renklerini büyük ölçüde doğru tahmin eder
    • 1500 step: Çıktı neredeyse rafine olur ama örneklerde nadiren hata kalır
  • Öğrenilmiş z dağılımı analiz edildiğinde renk-yön eşleme tablosu ile satır-sütun ayırıcı konumlarını kodladığı görülür
  • Yalnızca dört tensör bilgi miktarını korur
    • (examples, height, channel): Her örneğin camgöbeği satır konumunu içerir
    • (examples, width, channel): Her örneğin camgöbeği sütun konumunu içerir
    • (direction, color, channel): Yön ve renk eşleşmesini içerir
    • (color, channel): Magenta ve camgöbeğinin özel rollerini ayırt eder

Ek örnekler ve temsil analizi

  • Bounding Box bulmacası 6d75e8bb

    • İnsan çözümü, kırmızı şekli çevreleyen en küçük camgöbeği kutuyu çizme şeklindedir
    • CompressARC 100 step'te ortak bounding box'ı kavradığına dair izler gösterir; 150 step'te cevabı bulduktan sonra sonraki eğitimle cevabı rafine eder
    • Hayatta kalan ana tensörler (examples, height, channel), (examples, width, channel), (color, channel)'dır
    • Satır-sütun tensörleri camgöbeği pikseli çok olan satır ve sütunları gösterir; ancak sınır konumunu nasıl bildiği belirsizdir

  • Center Cross bulmacası 41e4d17e

    • Girdideki mavi balonun merkezinden yukarı-aşağı-sağa-sola magenta ışınlar çizilmeli ve balon rengi ışının üstüne bindirilmelidir
    • CompressARC girdiyi kopyaladıktan sonra magenta satır-sütunlar belirir ve giderek doğru konumda stabil hale gelir
    • İnsan çözümündeki gibi ışını yanlışlıkla balonun üzerine çizme hatası görülmez
    • Hayatta kalan tensörler (examples, height, width, channel) ve (color, channel)'dır
    • (examples, height, width, channel) balon merkezini kodlar

İyileştirme fikirleri

  • Bulmacaları tek tek sıkıştırmak yerine tüm ARC-AGI veri kümesini birlikte sıkıştırmak, bulmacalar arası hesaplamayı paylaşarak daha iyi bir tümevarımsal eğilim sağlayabilir
    • Aynı ağ ağırlıklarını tüm bulmacalarda kullanıp bulmaca başına sınırlı perturbation verme yöntemi düşünülebilir
    • Bulmaca başına yüksek boyutlu embedding öğrenip bu embedding'den ağ ağırlıklarına giden doğrusal eşlemeyi öğrenen bir hypernetwork yaklaşımı da önerilir
    • Bu yön, araştırma yineleme hızını yavaşlatabileceğinden denenmemiştir
  • Şekil kopyalama görevlerinde convolution türü katmanlar faydalı olabilir
    • Bir ızgara şekli saklar, diğeri kopyalama konumunu gösterirse convolution ile kopyalama sonucu üretilebilir
    • Standart convolution'ın gürültüyü sinyalden daha fazla büyütme sorunu vardı
    • Tropical convolution oyuncak bulmacalarda iyi çalıştı, ancak ARC-AGI eğitim bulmacaları için yeterli değildi
  • Posterior collapse azaltmak için KL floor koyma yöntemi de değerlendirildi
    • Önemli tensörlerin KL'si 0'a düştüğünde tekrar toparlanamadığı gözlendi
    • KL bir süre 0'dan büyük tutulursa ağın bu bilgiyi kullanmayı öğrenebileceği düşünülüyor
    • Uygulandı, ancak tensörün toparlandığı bir örnek görülmedi; KL floor takviminin farklı tasarlanması gerekiyor
  • Regularization uygulamada kullanılmadı
    • Problem formülasyonunda f karmaşıklığını ölçen unsurdur ve CompressARC türetimine dahildir
    • Uygulamadan çıkarılmış olması bir miktar pervasızca olarak değerlendiriliyor

İlgili çalışmalar ve araştırmadaki yeri

  • Sıkıştırma ile zekanın eşdeğerliği fikri Hutter Prize'dan ilham alır
    • Hutter Prize, Wikipedia metin dosyasını en iyi sıkıştıran sisteme ödül verir ve bilgi sıkıştırma yeteneğini zekayla ilişkilendirir
  • Teorik arka planda Solomonoff Induction, Kolmogorov Complexity ve Minimum Description Length bulunur
  • Bilgi teorisi açısından Relative Entropy Coding kilit önemdedir
    • KL divergence sınırlandırılabiliyorsa bir sıkıştırma algoritması kurulabileceğini varsayar ve gerçek ikili kod uygulama problemini soyutlar
  • VAE açısından decoder, sıkıştırma açma algoritması rolünü görür
    • Daha genel yeteneklere sahip neural Turing machine de düşünülebilir, ancak gradyan inişi optimizasyonuna uygun olmadığından VAE tarafı kullanılır
    • beta-VAE tarzı yeniden oluşturma kaybı yeniden ağırlıklandırması bu durumda iyi çalışır
  • Mevcut ARC-AGI yöntemleri ağırlıklı olarak LLM, veri artırma, alternatif veri kümeleri, test zamanı öğrenme ve alana özgü dil tabanlı program araması kullanır
  • CompressARC, dış ön eğitim ve büyük ölçekli arama olmadan deep learning kullanan bir yöntem olduğunu vurgular
  • Proje kodu GitHub'da açık olarak yayımlanmıştır

İlgili okumalar

1 yorum

 
GN⁺ 2025-03-05
Hacker News yorumları

  • Büyük ölçekli ön eğitim, genellik amacına ters düşüyor gibi geliyor
    Yalnızca 3 örneğe bakıp 4.'yü tahmin eden bir program sentezleyebilen genel bir makine yaptıysanız, fiilen oracle sentezini çözmüşsünüz demektir
    Buna karşılık, bulmaca üretimini de kapsayan tüm insan bilgisini kullanarak ağı eğitip, veri kümesinin %99'uyla ince ayar yaptıktan sonra son %1 için birden çok deneme yaptırdıysanız, bu daha çok sınavı hazırlayan kişinin psikolojisini sıkıştıran pahalı bir sıkıştırıcı yapmaya benzer

    • Bu, bilgi ve anlama konusunda epey naif bir bakış açısını ortaya koyuyor
      AGI'nin yalnızca bağlanması gereken Platoncu bir mantık ve akıl alanı olduğunu varsayıyor; oysa bağlam olmadan anlam da çıkarım da mantık da olamaz
      Şekil örüntülerini eşleştirmek için şekil kavramına ihtiyaç vardır; bu, uzamsal ilişki kavramlarını varsayar, onlar da yine 2 boyutlu ya da 3 boyutlu uzay kavramlarını varsayar
      Bunların doğal ve örtük görünmesinin nedeni, insan zihninin yüz milyonlarca yıldır yorumlamak üzere evrimleştiği çevreye ve onlarca yıldır tüketip işlediği çevreye derinden işlemiş olmalarıdır
      AGI'nin gerçek sınavı, farklı bilgileri tutarlı bir dünya görüşüne özümseyebilme yeteneğidir; ön eğitim de fiilen bunu yapıyor
      Böyle bir yeteneğe sahip bir zekânın bile, içinde bulunacağı dünyaya ilişkin yapısal varsayımların “önceden yüklenmiş” olmasına büyük olasılıkla ihtiyaç duyar. Uzamsal ilişkiler, dil ve duyusal yorumlama konusunda yetkin beyin bölgelerine benzer şekilde
    • Bir makine, ilk kez gördüğü türden bir problemle karşılaştığında kendi kendine nasıl öğreneceğine, yani ağırlık ayarlama yöntemine karar verebiliyorsa bunun genel zekâ amacına ters düşmediğini düşünüyorum
      İnsanlar da bir şeyi daha iyi yapmak istediklerinde o görevi nasıl çalışacaklarını bulur ve gerçekten gelişecek şekilde öğrenir
    • Doğru. Mevcut paradigmaların çoğundaki sorun da burada ve gerçek genellemeye izin vermiyor
      Bu yüzden bir süre AGI'nin gelmeyeceğini düşünenler de var: https://www.lycee.ai/blog/why-no-agi-openai
    • İnsan öğrenmesinin büyük kısmının yıllar süren duyusal girdiden geldiğini düşünüyorum
      Arka plan bilgisi olmadan bir makinenin iyi genelleme yapmasını beklememiz için bir neden var mı, emin değilim
    • ARC, 4'lü görüntü demetleri üzerindeki bir dağılıma denktir ve önsel dağılım yoksa ilk 3'ü verilse bile son görüntü tekdüze dağılım olur

  • Marcus Hutter'ın çıktığı Lex Fridman podcast'i aklıma geldi
    Joshua Bach da zekâyı gerçekliği doğru modelleme yeteneği olarak tanımlamıştı; kayıpsız sıkıştırmanın kendisinin zekâ mı, yoksa en iyi uyum sağlayan model mi olduğunu merak ediyorum. İkisi arasında fark var mı?
    https://www.youtube.com/watch?v=E1AxVXt2Gv4

    • Bu arada ARC-AGI'yi yapan François Chollet, 2020'de Lex Fridman podcast'inde zekâ sıkıştırma değildir diye savunmuştu: https://youtu.be/-V-vOXLyKGw
    • Zekâ, karmaşık gerçekliği yüksek doğruluk ve düşük gecikmeyle öngören basit bir model bulma yeteneğidir
      Bu yüzden basitlik, doğruluk, gecikme ve gerçekliğin karmaşıklığı olmak üzere dört eksene bakmak gerekir; yapay zekâ da bu uzay içinde bir bölge olacaktır
      Aslında zekâyı ayırt eden basit bir test var: C fonksiyon kodunu okuyup girdideki değişimin çıktıyı nasıl etkilediğini söyleyebilmek
      Karmaşık algoritmalarda içsel bir model kurmanız gerekir. Yoksa bir milyon öğe üzerinde qsort'un nasıl çalıştığını zihninizde nasıl yürütebilirsiniz?
      Bir öğrencinin anlıyormuş gibi mi yaptığını yoksa gerçekten mi anladığını da aynı şekilde ayırt edebilirsiniz
      Daha zor test ise bunun tersi: yalnızca birkaç girdi-çıktı örneğine bakarak algoritmayı ortaya çıkarmaktır
    • Podcast'in tamamını izlemeden hızlıca bağlamak gerekirse, Hutter'ın tutumu Hutter Prize[1] biçiminde ortaya çıkar ve bazı açılardan ARC-AGI ile hedefi oldukça benzerdir; ancak sıkıştırmanın kendisini zekâya giden bir ölçüt olarak görür
      [1] http://prize.hutter1.net/

  • Bu yaklaşımın özünü ayrıştırmaya çalışıyorum ama belirli bir sıkıştırma yöntemi seçimi ya da ön dağılım gibi özsel olmayan ayrıntıların arkasında gizlenmiş gibi görünüyor
    Temel yenilik, gradyan inişiyle optimize edilebilen bir “model” kurup, optimum noktasının girdi-çıktı ilişkisini hatırlayan en “basit” model olmasını sağlamakta gibi görünüyor
    Burada “basitlik” somut olarak “verimli biçimde sıkıştırılabilir olmak” demek, ama daha genel olarak model karmaşıklığının mümkün olduğunca düşük olması anlamına daha yakın olmalı
    Bu, standart makine öğrenmesiyle belirgin biçimde tezat oluşturuyor. Genelde önce model yapısı ve çeşitli karmaşıklık parametreleri seçilerek bir karmaşıklık bütçesi belirlenir, ardından verilerle eğitilip girdi-çıktı ilişkisini iyi hatırlayan bir çözüm bulunur
    Bu yeni yöntem makine öğrenmesini tersine çeviriyor. Girdi-çıktı çiftlerini hatırlamayı sürdürürken, model karmaşıklığını olabildiğince azaltacak şekilde optimize ediyor
    Yalnızca 2 eğitim örneğiyle genelleme yapabilmesi gerçekten şaşırtıcı ve genellemeyi ele almak için doğru yöne güçlü biçimde işaret ettiğini düşünüyorum
    Yazarların bu yapıya ulaşma yolu bilgi teorisiydi, ama bunun öz olup olmadığından emin değilim
    Esas nokta, sabit bir karmaşıklık bütçesi içinde en iyi modeli bulmak yerine, mümkün olan minimum karmaşıklıktaki modeli bulabileceğinin fark edilmesi gibi görünüyor

    • Karmaşıklığı en aza indirme fikri göründüğü kadar yeni değil
      Optimizasyonun kayıp amaç fonksiyonuna düzenlileştirme terimi sıkça eklenir ve bu tür düzenlileştirme çoğu zaman karmaşıklığı cezalandırmak olarak yorumlanabilir
      Dualite sayesinde aynı amaç fonksiyonuna çeşitli şekillerde bakılabilir: veri hatası ile karmaşıklığın ağırlıklı toplamını en aza indirmek, veri hatasını bir sınırın altında tutarken karmaşıklığı en aza indirmek ya da karmaşıklığı bir sınırın altında tutarken veri hatasını en aza indirmek gibi
      Bu klasik düzenlileştirme son zamanlarda modadan düşmüş gibi görünüyor
      Çoğu Transformer yapısında büyük bir rol oynadığını sanmıyorum, ama bir biçimde geri dönerse ilginç olur
      Bunun dışında bu yaklaşımda o kadar çok yeni unsur var ki, performansı gerçekte neyin sağladığını ayırt etmek zor
      Örneğin sinir ağı yapısının kendisi de ARC-AGI tipi görevlerde performansı en üst düzeye çıkarmak için epey özenle ayarlanmış gibi görünüyor ve bunun ötesine nasıl genelleneceği pek belli değil
    • Temel bileşenler konusunda haklısın gibi, ama bu sonucun oldukça ARC-AGI’ye özgü olduğunu hissediyorum
      Her bulmaca biçim olarak benzer ve bulmacanın içinde değişen veri, kuralı çıkarmak için gereken bilgiyle neredeyse tam olarak örtüşüyor
      Kuralı açıklamak için gereken bilgi miktarı azaltıldığında, bilgi kaybını en aza indirmek için codec’in neredeyse kuralın kendisinin yaptığı şeye indirgenmek zorunda kalıyor
      Her bulmacada daha fazla gürültü ya da rastgele veri olsaydı bu tekniğin çalışmayacağını düşünüyorum
      Elbette bir noktadan sonra bulmaca “bulmacanın nerede olduğunu bulmaya” dönüşmemeli, ama burada çalışmasının nedeni her örneğin bulmacanın kendisi hakkında saf bilgi taşıması

  • İlginç. Makine öğrenmesinin geleceğinin, alıştığımız anlamda “makine öğrenmesi”nin daha az olduğu bir yöne gidebileceğini giderek daha çok düşünüyorum
    Ön eğitim, veri ve arama daha az; doğrudan temsil, sembolik işleme, kısıt sağlama, meta-öğrenme gibi şeyler daha fazla olacak
    Daha az ihtiyaç duyulacak şeyler, yani ön eğitim ve veri gibi unsurlar, dağınık, ayrım gözetmeyen ve olumsaldır
    Bunlara dayanırsanız her zaman veri kalitesine bağımlı kalırsınız; amaç veri madenciliğiyse sorun değil, ama verinin kök nedenlerini modellemekse uygun değil
    Benim anladığım kadarıyla bunlar çözüm/problem uzayının minimum temsilini ortaya çıkarmaya çalışıyor
    Eşdeğişkenlik yoluyla problemin gerçek yapısını izleyerek, çok sayıda çözüm örneğinde tesadüfen yakalamayı ummak yerine bulmacanın gerçek temel temsiline ve çözüm yöntemine yakın bir şey çıkarıyorlar

  • Harika bir belgeleme ve açıklama. Kendi içgözlemimle de örtüştüğü için sevindim
    “Zeka, bilgiyi indirgenemez bir temsile sıkıştırmaktır” diye düşünüyorum

  • ARC-AGI, minimum örnekten soyut kuralları çıkarıp genelleme yeteneğini test eden bir benchmark ise, sonuçta zekayı bilgiyi bir kurallar kümesine sıkıştırma yeteneği olarak tanımlıyor demektir
    O halde sıkıştırmanın bunu yaptığı doğru bir ifade

    • Bu, iddia edildiği gibi döngüsel ya da bariz değil
      ARC-AGI problemlerini bizzat çözmeyi denedin mi merak ediyorum
      Problemler oldukça incelikli ve geniş bir soyut kavram yelpazesini test ediyor
      Not olarak, o1-preview açık değerlendirmede %21 aldı, orijinal yaklaşım ise %34

  • Bir ölçüde ilgili Schmidhuber makalesi: https://arxiv.org/abs/0812.4360

  • “Her bulmacayı RTX 4070’te yaklaşık 20 dakika işleme” ifadesi, 100 soruluk challenge’ın 33,3 saat süreceği anlamına geliyor gibi görünüyor
    Bu, challenge hedefi olan 12 saati aşıyor ama yaklaşımın kendisi oldukça hoş

  • Bu, yapının büyük emek verilerek tasarlanmış olması dışında, neredeyse standart bir Bayesçi derin öğrenme yaklaşımı gibi görünüyor