ARC Prize: Açık AGI için 1 milyon doların üzerinde yarışma

 (arcprize.org)
1 puan yazan GN⁺ 2024-06-12 | 1 yorum | WhatsApp'ta paylaş
  • ARC Prize, ARC-AGI değerlendirmesini geçip çözümünü açık kaynak olarak yayımlayan katılımcıları hedefleyen yaklaşık 1 milyon doların ($1m) üzerinde ödüllü bir yarışmadır
  • Sorunun çıkış noktası, modern LLM’lerin eğitim verilerindeki yüksek boyutlu desenleri yakın bağlamlara uygulayan ezber motorlarına daha yakın olduğu ve yeni durumlarda yeni akıl yürütme üretemediği görüşüdür
  • ARC-AGI’de SOTA puanı 2019’da %20 iken bugün %34 seviyesinde kalmış durumda; bu da insanların ve çocukların hızla öğrendiği görevlerin modern yapay zeka için hâlâ zor olduğunu gösteriyor
  • GPT-4 ve Gemini teknik raporlarının kritik ayrıntıları açıklamamasıyla sınır AGI araştırmasının kapalı bir yöne kaydığı, LLM merkezli yatırımların da yeni mimari ve algoritma araştırmalarına ilgiyi azalttığı eleştirisi öne çıkıyor
  • ARC Prize, daha fazla araştırmacının AGI ilerlemesini açık biçimde ölçmesini ve ARC-AGI’yi çözme sürecinde genel zekanın nasıl işlediğine dair yeni şeyler öğrenmesini amaçlayan bir girişimdir

ARC Prize’ın koşulları

  • ARC Prize, açık AGI gelişimini hedefleyen 1 milyon doların üzerinde ödüllü bir yarışmadır
  • Temel koşul, ARC-AGI değerlendirmesini aşmak ve çözümü açık kaynak olarak yayımlamaktır
  • Organizatörler Mike Knoop ve François Chollet; Infinite Monkey ve Lab42 de sürece katılıyor

Ezber ile genel zeka arasındaki sınır

  • Modern yapay zeka, özellikle LLM’ler, eğitim verilerindeki yüksek boyutlu desenleri ezberleyip bunları yakın bağlamlara uygulama konusunda güçlüdür
  • Görünürdeki akıl yürütme yeteneğinin de akıl yürütme desenlerini ezberleyip benzer bağlamlara uygulama biçiminde olduğu; yeni durumlarda yeni akıl yürütme üretemediği yönünde bir problem tanımı vardır
  • MMLU, GSM8K, ImageNet, GLUE gibi ezbere dayalı benchmark’larda daha fazla eğitim verisiyle performansı “satın almak” mümkündür
  • Genel zeka, yeni becerileri verimli biçimde edinme yeteneğidir; yalnızca ezberle genel zekaya ulaşmak zordur
  • Yalnızca ölçek büyütmeyle LLM’lerin yeni beceriler öğrenmesinin zor olduğu, test anında öğrenebilen yeni mimarilere veya algoritmalara ihtiyaç olduğu düşünülür

Oyun yapay zekasının gösterdiği genelleme sınırı

  • Poker, satranç, Go gibi oyunlarda insanları yenen yapay zeka sistemleri uzun süredir var
  • Bir oyunda başarılı olacak şekilde eğitilmiş sistemler başka bir oyun için basitçe yeniden eğitilemedi; araştırmacıların her oyun için yeni sistemler tasarlayıp kurması gerekti
  • Bu durum genelleme başarısızlığı olarak yorumlanır
  • Bu yetenek olmadan yapay zeka, döngünün içindeki insanın genel zekasıyla sınırlı kalmaya devam eder

ARC-AGI’nin ölçmek istediği yetenek

  • ARC-AGI, François Chollet’nin On the Measure of Intelligence makalesinde tanıtılan bir değerlendirmedir
  • Bu değerlendirme, yeni becerileri verimli biçimde edinen ve yeni, açık uçlu problemleri çözen sistemlerin genel zekasını ölçmeyi amaçlar
  • 2019’da ARC-AGI’de en iyi SOTA puanı %20 idi; bugün ise %34
  • İnsanlar ve çocuklar görevleri hızla öğrenebilirken, ARC-AGI modern yapay zeka için hâlâ çok zordur
  • Birçok yapay zeka benchmark’ı ezber yeteneğini sınadığı için insan seviyesinde performansla hızla doygunluğa ulaşır
  • ARC-AGI, ezbere dirençli olacak şekilde tasarlanmıştır ve hem en büyük temel Transformer modelleri hem de ARC-AGI’ye özel yapay zeka sistemleri için zor bir değerlendirme olmayı sürdürür
  • ARC-AGI çözümünün, bir programın herhangi bir ön bilgi kümesi üzerinden kusursuz ve kararlı biçimde genelleme yapmasını sağlayan yeni bir programlama paradigmasının önünü açabileceği düşünülür

Kapanan sınır yapay zeka araştırmaları

  • GPT-4’ün yayımlanmasından sonra sınır AGI ilerlemesinin kapalı kaynak yönüne kaydığı düşünülür
  • GPT-4 technical report teknik ayrıntı içermiyordu; OpenAI ilk gerekçe olarak “rekabeti” gösterdi
  • Google’ın Gemini technical report raporu da uzun bağlam penceresine ilişkin sınır düzeyindeki yeniliklerin teknik ayrıntılarını içermiyordu
  • LLM’ler, yeni mimariler ve yeni algoritmalar üzerine araştırma ilgisinin büyük bölümünü kendine çekti
  • 2023’te genel olmayan yapay zeka şirketlerine 20 milyar doların üzerinde yatırım yapıldı ve birçok DeepMind sınır araştırmacısı OpenAI ile rekabet etmek üzere Gemini’ye kaydırıldı

Transformer tarihinin gösterdiği açık araştırma rolü

  • Transformer mimarisi, makine çevirisi araştırmaları içinde birçok çalışmanın birikmesiyle ortaya çıktı
  • 2014’te Sutskever ve diğerleri Google’da RNN ve CNN kullanan Seq2Seq Learning çalışmasını yayımladı
  • 2016’da Bahdanau ve diğerleri, çıktıyı tahmin ederken girdinin farklı bölümlerini dikkate almayı sağlayan attention kavramını yaygınlaştırdı
  • 2017’de Vaswani ve diğerleri Attention Is All You Need çalışmasında RNN ve CNN’leri kaldırıp mimariyi optimize ederek yeni bir ölçek büyütmenin önünü açtı
  • 2018’de Radford ve diğerleri Transformer mimarisi üzerinde sınır ölçekte GPT-2 geliştirdi ve ortaya çıkan yetenekler gösterdi
  • Bu akış, farklı laboratuvar ve ekiplerden araştırmacıların sonuçlarını açıkça yayımladığı, başka araştırmacıların da bunun üzerine yeniden inşa ettiği bilim sürecini gösterir

Hedefler ve katılım yolları

  • ARC Prize’ın üç hedefi vardır
    • Sınır AGI araştırmasına katılan kişi sayısını artırmak
    • AGI ilerlemesini ölçen nesnel ölçütleri yaygınlaştırmak
    • ARC-AGI’yi çözmek ve zekanın doğası hakkında yeni şeyler öğrenmek
  • Yarışma formatı ve ödül ayrıntıları ARC Prize 2024 sayfasında görülebilir
  • ARC-AGI çözmeye nasıl başlanacağı guide üzerinde yer alır
  • ARC-AGI’nin genel zekayı nasıl ölçtüğü ARC-AGI sayfasından incelenebilir
  • İlerleme ve SOTA çözümler X/Twitter, YouTube, Email, Discord üzerinden güncellenir

İlgili okumalar

1 yorum

 
GN⁺ 2024-06-12
Hacker News yorumları

  • Ben Simon Strandgaard; ARCathon 2022’de 3, ARCathon 2023’te 8 görevi çözdüm.
    İnsanların ARC görevlerini nasıl çözdüğüne dair veri topluyorum; şu ana kadar 4100 etkileşim kaydı topladım (https://github.com/neoneye/ARC-Interactive-History-Dataset)
    ARC-AGI dışında ARC benzeri veri kümeleri de var; bunları editörümde deneyebilirsiniz (https://neoneye.github.io/arc/)
    Etkileşim kayıtlarını oynatınca herkesin yaklaşımının farklı olduğunu görebilirsiniz. Etkileşim başına 100 ms hızla oynatılmış; gerçek insanlar o kadar hızlı çözmüyor.
    https://www.youtube.com/watch?v=vQt7UZsYooQ
    ARC görevlerini elle çözdüğümde böyle görünüyor; ayrıca epey yavaş olduğunu da görebilirsiniz.
    https://www.youtube.com/watch?v=PRdFLRpC6dk
    Tuhaf olan, belirli bir ARC görevi için çözücü uygulama biçiminin bulmacayı elle çözme biçiminden epey farklı olması. Her türlü istisnai durumu ele almak gerekiyor.
    ARC Prize ekibine büyük teşekkürler.

    • Çözüm girişi kullanıcı deneyimi, ARC sitesinin kendisinden çok daha iyi.
    • Yapı biraz şöyle görünüyor: “Çözülemez hâle getirdiğimiz bir meydan okuma var. Başarırsanız size büyük bir para vereceğiz. Bu arada denemelerinizi kullanarak maliyetinden daha değerli AI eğitim verisi oluşturacağız!”

  • Bu gerçekten harika. Mevcut veri oburu eğitim paradigmasının iyi genelleme yapmadığı ve sürdürülebilir olmadığı yönündeki François’nın sezgisine katılıyorum.
    İnsanların kediyle köpeği ayırt etmek için 10 bin örneğe ihtiyacı yok; bilgisayarların bugün bunu yapabilmesinin başlıca nedeni ise milyonlarca örneğin bulunması.
    Bu yüzden bilgiyi, verinin pahalı, nadir ve sentezlemesi zor olduğu daha çetin alanlara aktarmak zor olabilir.
    Bir eleştiri getirecek olursam, bu testlerin çoğu oyun teorisi açısından tam bilgi üzerine akıl yürütüyor gibi görünüyor. Oysa karşılaştığımız daha zor problemlerin önemli bir kısmı gizli bilgi içeriyor.
    Poker ve müzakere, eksik bilgi durumlarında problem çözme örnekleri; sosyal durumlarda pürüzsüzce yol almak da gizli bilgiyle baş etmeyi gerektiren ilişkili problemler içeriyor.
    İnsanların yapabildiği gerçekten ilginç şeylerden biri, oyun kurallarını alıp bir strateji üretebilmek. Go ya da satrancı kendi kendine öğrenen algoritmalar var; ancak aynı kendi kendine oynama algoritması gizli bilgi içeren oyunlarda işe yaramıyor.
    Genel zekâya sahip bir sistemin, bu tür durumlar için genel amaçlı problem çözücüleri sentezleme yeteneğine de sahip olması gerekir.

    • “İnsanların kediyle köpeği ayırt etmek için 10 bin örneğe ihtiyacı yok” sözü bana, çocuk yetiştirmiş yeterince çok kişi yokmuş gibi düşündürüyor.
      10 bine kadar çıkmayabilir ama yüzlerce, belki de binlerce ölçeğindeydi gibi geliyor.
      Çocuklar tahminlerinin doğru olup olmadığını teyit ettirmek ister. 50 kez okunan bir kitabı tekrar okurken bile resimdeki köpeği gösterip “köpek?” diye sorarlar; bu gelişim aşaması epey uzun sürer.
      Bekledikleri etiket nesneyle uyuşmazsa sinirlenebilirler de. Örneğin oğlum, biri bir rengi yanlış söylediğinde gerçekten öfkeleniyor.
      Küçük çocuklar bilerek yanlış ad verme oyunlarını da sever. Bir balığı gösterip “Ne güzel lama!” derseniz çocuk bunu o kadar komik bulur ki kahkahalarla yerlere yığılır.
      İnsan beyninin gelişimi çok yavaştır[1] ve doğrusal zaman algısı da epey uzun süre mevcut olmaz. Üç yaşında bile her şey ya dün, ya bugün ya da yarındır.
      Çocuklar bilgiyi birden fazla duyuyla toplar; günde 12-14 saat akıl almaz bir hızla veri topladıktan sonra 10-12 saat dinlenip bu bilgiyi işlerler.
      [1] Bir bebeğin sağ ayağının olduğunu keşfedip birkaç gün sonra sol ayağının da olduğunu fark etmesine bakabilirsiniz. Ayağa kalkmayı öğrenen bir çocuğun masanın altına kafasını birkaç kez çarptıktan sonra “üst tarafım” hissini oluşturduğunu da görebilirsiniz. Çocukların “hızlı” öğrenmesi, daha çok birkaç yıl boyunca bundan başka yapacak işleri olmadığı anlamına gelir.
    • İnsan beynini eğiten optimizasyon sürecine evrim denir; kediyle köpeği ayırt edebilen bir sistem ortaya çıkarması 10 bin örnekten çok daha fazla zaman aldı.
      Başka bir deyişle, LLM’ler çok zayıf ön bilgilerle neredeyse sıfırdan ön eğitilirken, insan beynine son derece güçlü ön bilgiler önceden yüklenmiştir.
    • İnsanların, daha önce hiç görmedikleri iki hayvanı bile gevşek ya da dolaylı bir açıklamayla ayırt edebileceğini düşünüyorum.
      Örneğin “köpekler hayvanları iz sürerek ve uzun süre kovalayıp yorarak avlar; kediler ise fırsat kollar, gizlilik ve çeviklikle saldırır” açıklaması tek başına verilse bile, hiç köpek ya da kedi görmemiş birinin iki hayvanı gördüğünde uyum biçimlerine dayanarak hangisinin hangisi olduğunu tahmin etme olasılığı yüksek.
      Yapay zeka için ilginç bir test olabilir; ama bunu değerlendirme olarak nasıl kurgulamak gerektiğinden emin değilim.
    • Başka görevlerle ön eğitim almış bir bilgisayarın da köpeklerle kedileri ayırt etmek için 10 bin örneğe ihtiyacı olur mu?
    • Belki olabilir. Biz nesneleri yüksek çözünürlüklü 3 boyutlu olarak gördüğümüz için, tek bir köpeği ya da kediyi görmek bile aslında binlerce eğitim örneğine karşılık geliyor olabilir diye düşünüyorum.

  • ARC fikri gerçekten iyi, ancak problemler soyut akıl yürütmeden çok uzamsal dünya bilgisi gerektiriyor gibi görünüyor
    Şekillerin birbirinin üstüne binmesi, birbirini içermesi, parçaları kesip yeniden birleştirmek ve düzenli geometrik şekillerdeki gürültüyü temizlemek gibi şeyler
    Buna “çekirdek bilgi” denebilir belki, ama bana daha çok “insan görsel işlemesine sezgisel gelen şeyler” gibi görünüyor
    Zeki ama görme engelli bir insan bu problemleri çözebilir mi?
    800’den fazla örneğe ihtiyaç duyabileceğimizden endişelenmemizin nedeni soyut akıl yürütmenin çok zor olması değil; problemlerin, zeki bir insanın 800’den çok daha fazla eğitim örneğiyle öğrendiği uzamsal bilgiyi gerektirmesi

    • Yann LeCun, insanların genel zekâya sahip olmadığını ve böyle bir şeyin gerçekte var olmadığını düşünüyor. Zekâ ancak belirli bir alan içinde ölçülebilir
      Bu test, insanların yapay zekâdan çok daha iyi olduğu bir alanı temsil ediyorsa yararlı bir testtir. Yapay zekâ birçok alanda insanlardan açıkça daha az yetkin olduğu hâlde mevcut testlerin hepsini geçebildiğine göre, böyle testlere daha çok ihtiyaç var
      Sınırsız veri üzerinde ön eğitime izin verilmelidir. Kolayca elde edilebilen verilerden test görevlerine genelleme yapmak, insanların yaptığı şeyin ta kendisidir
      Renkler dokunsal duyulara çevrilirse görme engellilerin de çözebileceğinden eminim. Görme engelliler de uzamsal ilişkileri anlar
    • “Açık değerlendirme seti”nin ilk 5’ini, “açık eğitim seti”ne bakmadan çözmeyi denedim ve yeterince kolaydı
      AGI’yi en azından insan seviyesi olarak tanımlıyorsak, AGI de daha fazla örneğe bakmadan bu kadarını çözebilmelidir
      Çözüme hangi bilgi ya da deneyimin gömülebileceğine dair bir kural yok gibi görünüyor
    • Uzamsal akıl yürütme ve görme engelli insan örneği iyi bir karşı örnek. Yine de genel akıl yürütmeyi gösteriyorsa istisnalar olsa da sorun olmayabilir
      Projenin hedefini beğeniyorum. Sağduyu inşa etmeyi denemiş önceki akıl yürütme motorlarına bakmak iyi olur. Cyc ve OpenMind buna örnek
      Bu makalenin 2. bölümündeki AGI hedefleri listesi de yardımcı olabilir
      https://arxiv.org/pdf/2308.04445
      Beyin işlevlerine giriş niteliğinde çalışırken, birçok bölgenin hipokampusla bağlantılı olduğunu da gördüm. Hipokampus hem duyu-nötr kavram depolaması yapabiliyor hem de dış dünyanın içsel bir modelini veya yaklaşık modelini oluşturabiliyor olabilir
      İlki kavramları birden fazla duyu üzerinden bağlamaya yardımcı olur, ikincisi ise olasılıkları hayal edip değerlendirirken ve yineleme yaparken planlamaya yardımcı olur
      AGI’de bu tür hipokampus benzeri özellikler ve Cyc makalesindeki özellikler olmalı gibi geliyor. Hangi mimarinin bu tür işleri teorik olarak ya da küçük ölçekte yapabildiği test edilebilir
      Yalnızca tek tür duyusal girdiye bağlı da kalmamalı. En az iki tür olmalı; yalnızca birinde bulunanlara ya da ikisinde de bulunanlara dayanarak eyleme geçebilmelidir
      Çocuklar da görsel-uzamsal veri üzerinde muazzam miktarda gözetimsiz öğrenme yapıyor. Oyun yoluyla pekiştirmeli öğrenme alıyor, ebeveynlerinden de gözetimli öğrenme alıyorlar. Gerçekçi bir benchmark için benzer şekilde GB ölçeğinde ön eğitim gerekebilir
    • Uzamsal akıl yürütmenin tüm akıl yürütmeyi kapsadığını düşünüyorum. Yukarıda bahsedilenler, kullandığımız soyut modellere ve mantığa doğrudan karşılık gelir; dile de derinlemesine işlemiştir
      Örneğin birbirini içeren şekillere bakalım. İki ülke aynı toprak üzerinde hak iddia ediyorsa, Y’yi içeren X kümesi ve Y’yi içeren Z kümesi var demektir
      Ortak örtüşme 3 boyutluysa ve biri diğerinin üzerindeyse, X’in -Y’yi içerdiği, Z’nin ise Y’yi içerdiği şeklinde genişletebiliriz. Nerede durduğunuza bağlı olarak yalnızca üstte olanı görüp ikisini birden görememeniz gibi, X ve Z’nin aynı anda var olamayacağını söyleyebiliriz. Dolayısıyla X ise -Y’dir, Z ise Y’dir
      Kullandığımız dile dikkatle bakarsak, tamamen soyut şeyleri açıklarken bile uzamsal ilişkileri ne kadar çok kullandığımızı görürüz. Örneğin çöken bir hegemonik ekonomiden söz edebiliriz; bu, üst üste yığılmış şeylerin yok olup geldikleri yere geri dönmesi gibi bir ifadedir
      Sonuçta zaman ve mekânda gerçekleşen şeyler hakkında akıl yürütüyoruz
      Üstelik mekân görme ile aynı şey değildir. Görme engelli olsanız da uzamsal olarak akıl yürütmek zorundasınız. Çünkü herhangi bir olgu kümesi, zaman-mekân içindeki olgulardır
      Tarihi anlamak için mekân içindeki insanları, farklı uzaklıklarda yaşayan insanları, Dünya’nın çeşitli konumlarında fiziksel süreçlerle mal üretip fiziksel olarak takas etmeyi anlamak gerekir
      Bir muharebeyi anlamak için orduların fiziksel olarak nasıl konuşlandırıldığını, ikmal hareketlerinin nasıl işlediğini, hava koşullarını, silahların ve fiziksel biçimlerinin gerçekte neye imkân verdiğini anlamak gerekir
      Hatta yapay zekâdaki en büyük ilerleme olan LLM’ler ne yapıyor? Token’ları çok boyutlu bir uzaya kodluyor
    • “Zeki ama görme engelli bir insan bu problemleri çözebilir mi?” sorusunun doğru düşünme biçimi olmadığını düşünüyorum
      Uzamsal ilişkiler yalnızca bir başka mantıksal ilişki türüdür ve AGI, ilişkileri analiz edip problemi çözecek algoritmayı o anda üretebilmelidir
      İnsanların çeşitli önyargıları olabilir diye, bu önyargıların tüm zekânın doğasında olduğu anlamına gelmez

  • Bu testin insanlar için kolay olduğu iddiası bana şüpheli geldiği için biraz araştırdım. Melanie Mitchell, Chollet’nin başlığına katılmış ve ilgili bir test olan ConceptARC’ı paylaşmış.
    Orada Chollet’nin testinin gerçekten kolay olup olmadığı sorgulanıyor. “ARC’nin yapay zeka araştırmaları için yararlı olmasındaki bir sınırlama, fazla zor olabilmesidir. Chollet’nin derlemindeki birçok görev insanlar için de zordur ve tüm derlem makineler için fazla zor olup temel bilgi edinimindeki gerçek ilerlemeyi ortaya koyamayabilir”
    ConceptARC daha kolay olacak şekilde tasarlanmış, ancak kendi katılımcılarının yaklaşık %15’ini “en az iki ya da daha fazla görevi çözemediği veya boş ya da anlamsız açıklamalar verdiği” gerekçesiyle elemek zorunda kalmış.
    Bu elemeden sonra bile ConceptARC, ana metindeki sorularda insanlarda ek olarak yaklaşık %10~15 başarısızlık oranı gözlemlemiş; yani “AGI”yi test etmek için yapılmış daha basit problemlerde bile %25~30’u çözememiş oluyor.
    ConceptARC’ın ana sonuçlarında CG4, filtrelenmiş insanlardan çok daha düşük çıkmış; bu da IQ=85 olan [Mensa]https://www.maximumtruth.org/p/ais-ranked-by-iq-ai-passes-10... test sonucuyla da örtüşüyor.
    Chollet ve Mitchell, insan gruplarını katmanlandırıp IQ tahmini yaptıktan sonra bunu Mensa ölçümleriyle karşılaştırabilir ve örneğin Claude3@IQ=100’ün ortalama insan ARC puanıyla nasıl eşleştiğine bakabilir.
    [ConceptArc]https://arxiv.org/pdf/2305.07141

    • ARC-AGI’nin insanlar için zorluk derecesine dair yayımlanmış bir çalışma var: https://cims.nyu.edu/~brenden/papers/JohnsonEtAl2021CogSci.p...
      “İnsanlar altta yatan programı çıkarımlayabildi ve yeni test girdi örnekleri için doğru test çıktılarını üretebildi; katılımcı başına ortalama görevlerin %84’ü çözüldü”
    • İlk bulmacayı denedim ama doğru cevabı bulamadım. Çözümüm mantıksal olarak geçerli görünüyor ve desenin girdilerle neden tutarlı olduğunu da açıklayabiliyorum, ama yanlış deniyor.
      Ya sandığımdan çok daha aptalım ya da test doğrulamasının daha iyi yapılması gerekiyor.
    • Ortalama insan puanının %85~100 arasında olduğu iddia edildiğine göre, testin gerçekten fazla zor olup olmadığı konusunda görüşler ayrılıyor gibi.
      Bunu olduğu gibi kabul edersek, mevcut modellerden hiçbiri ortalama insan puanının yarısına bile ulaşamıyorsa bu testin önemli bir farkı ölçtüğü açık.
      ARC problemlerinin, sentezlenebilir tüm soyut programların temsili bir örneklemi olup olmadığı tartışılabilir; ama çoğu LLM de nihayetinde insan verisiyle eğitiliyor.
    • Melanie’nin yazısını gördüm; daha kolay AGI test kümesi ilginç. Benim gibi bireylerin veya küçük kuruluşların da deneyebilmesi iyi olurdu.

  • Yarışmanın amacına katılıyorum, ama AGI yarışına hâlihazırda onlarca milyar dolar yatırıldığı ve bundan sonra çok daha fazla para gireceği düşünülürse 1 milyon dolarlık ödül biraz düşük görünüyor.
    AGI’nin etkisi en azından trilyonlarla ölçülecek. Sonunda ödüllendirilen şey AGI araştırması değil, en yeni açık LLM sürümünü test parametrelerine en iyi uyacak şekilde ince ayar yapmak olabilir.
    Halkla iletişim kurulan platformu da değiştirmek iyi olur. x.com bağlantılarına artık hesap oluşturmadan erişilemiyor.

    • Katılıyorum. AI alanında 1 milyon dolar neredeyse önemsiz bir miktar.
      Bu ödülün ana hedefi, AGI’ye ne kadar yakın olduğumuza ya da şu anda ne kadar uzak olduğumuza dair kamuoyu farkındalığını artırmak: https://arcprize.org/leaderboard
      Bu anlayışın daha fazla potansiyel yapay zeka araştırmacısını yeni fikirler üzerine çalışmaya yönlendirmesini umuyorum.
    • Benim ilk tepkim de buydu. “Devrelere bilinç kazandırırsanız size Denny’s hediye çeki veriyoruz. Diğer indirimlerle birleştirilemez” gibi hissettiriyor.
    • ARC 1 milyon dolar ödülü, Hugging Face liderlik tablosunda birinci olmak gibi bir reklam. Son kullanıcı için önemli olmayabilir, ama en iyi yetenekleri çekmek açısından değerli olabilir.
    • Bunu dikkate alarak her yıl en iyi performansa 100 bin dolarlık yıllık ödül de koymuşlar gibi. Zaman içinde birinin 1 milyon doları kazanmasına doğru birikim sağlayabilir; yıllık ödül ise yöntemin açıklanmasını gerektiriyor.
    • Liderlik tablosu web sitesinde var. Hangi mecrayı kullanmalılar? https://arcprize.org/leaderboard

  • Çözülecek problem kümesi olarak ARC’ı gerçekten çok seviyorum. Verinin seyrek olması ve uygulanabilir kuralların fiilen sonsuz olması, onu mevcut makine öğrenimi problem kümelerinden çok daha zor kılıyor.
    Ancak bu problemin AGIyi temsil ettiğine katılmıyorum. Mevcut makine öğrenimi başarı örneklerinden farklı bir veri kümesinden ibaret ve yaklaşımlar genel olarak eskilerine benziyor.
    Gerçekten yeni bir atılım olan AGI bu problem kümesini çözebilir; ama bu problem kümesini çözmeyi AGI’nin garanti bir göstergesi olarak görmüyorum.

  • Gerçekten ilginç ve hoşuma gidiyor; ama yaklaşık bir düzine örneğe bakınca edindiğim sezgi, bu problemin zor olsa da yeterince kolay olduğu ve popülerleşirse 1 yıl içinde ya da daha kısa sürede insan seviyesine yakın sonuçların çıkacağı, buna rağmen AGIye ulaşılmayacağı yönünde.
    Kilit nokta, uygun operatörlere sahip yeterince genel bir dönüşüm betimleme dili bulmak gibi görünüyor. Ayrıca bu dilde, bir problemin tüm örneklerini üreten çok kısa bir programı bilgi kuramsal anlamda bulacak sezgisel yöntemler gerekiyor.
    Yakında %34 sonucunu ciddi ölçüde yukarı çekemezlerse çok şaşırırım; bunun genel zekâya aktarılması hâlinde de şaşırırım. Özellikle bugün AI’ı kullandığım konuları ve hâlâ eksik kaldığı noktaları düşününce.
    Temelde bunun AI’da bir başka satranç ya da Go türü problem olacağı sezgisine sahibim. Yine de araştırma konusu olarak kesinlikle değerli ve buradan çıkabilecek değer 1 milyon doları rahatlıkla aşabilir.

    • Tamamen aynı izlenimdeyim.
      Bu görevde iyi olmanın gerçek AGI olduğuna dair hiçbir kanıt teşkil etmediğini düşünüyorum. Örneğin yeni matematik kanıtları yazmak, kimsenin aklına gelmemiş içgörülü sorular sormak, kendi öğrenmesini bizzat yönetmek ve kendi kaynak kodunu okumak gibi yeteneklerden farklı.

  • “AGI’yi ölçen tek değerlendirme” ifadesi abartılı. Bu yalnızca LLM’lerin yapamadığı bir problem; yapay genel zekâ için iyi bir ölçüt olduğu anlamına gelmiyor.
    Birkaç problemi çözdükten sonra, problem üretecinde kaç farklı dönüşüm kuralı olduğunu merak ettim. Çok fazla görünmüyor.
    Bu yüzden problem, veriden dönüşüm kuralları kümesini çıkarıp ardından bunu yeni probleme uygulamak şeklinde ikiye ayrılıyor.
    İlk kısım zor ve bir özellik çıkarma problemi. Dönüşümler katı biçimde uygulanıyor gibi göründüğünden, dönüşüm kurallarını elde edip tüm girdi örneklerine uyan kuralı seçtikten sonra uygulamanın kendisi basit olmalı.
    LLM’lerin kullandığı özellik çıkarma ve kullanma birleşiminden ziyade, açık bir özellik çıkarma gerekiyor gibi. Test örneklerinden kural kümesini çıkarmayı deneyen oldu mu?

    • Son soruya evet denebilir. İlk iterasyondaki çözümler özünde böyle çalışıyordu.
      Orijinal Kaggle yarışmasındaki üst sıralardaki çözümlerin bazıları, bu tür dönüşümlerden oluşan alana özgü bir dil kullanıyordu. Bu 4 yıl önceydi. [1]
      Bu yolun sorunu, görevlerin bir program üreteci kullanmaması. Kural kümesi, bir insanın aklına gelebilecek herhangi bir şey olabilir. “En büyük nesne mavi olur” kadar basit de olabilir, çok daha karmaşık da.
      Üstelik test kümesi kapalı; dolayısıyla üzerinde eğitim yapılamaz ya da kural çıkarılamaz. Açık kümede bulunmayan kurallar da içeriyor.
      [1] https://www.kaggle.com/competitions/abstraction-and-reasonin...
    • Görevler insanlar tarafından elle hazırlanmış. “Problem üreteci” yok.
    • AGI, yapay zekânın belirli bir işi iyi yapması değil; insanla karşılaştırıldığında yapay zekânın yapamadığı hiçbir işin artık kalmaması demek.

  • François Chollet’nin orijinal makalesi son derece içgörü dolu; daha fazla kişinin bundan söz etmemesine hep şaşırıyorum.
    Bazı kısımları epey teknik, ama üst düzeyde “genel zekâ ne anlama gelir?” sorusuna gördüğüm en iyi yanıt.
    Dünya hakkındaki açık ve örtük ön bilgiyi hesaba kattıktan sonra zekâyı öğrenme verimliliği olarak tanımlayınca, insan zekâsının neden bu kadar etkileyici olduğunu anlamak çok daha kolaylaşıyor.

    • Başlığını ya da nerede bulunabileceğini hatırlıyor musun?

  • Dwarkesh, François Chollet ile yaptığı söyleşiyi az önce yayımladı. Kendisi, orijinal yazının yazarının ortağı.
    Henüz yalnızca birkaç dakika dinledim, ancak LLM’lerin sınırları hakkındaki düşüncelerini daha fazla duymak ilgimi çekiyor.
    https://youtu.be/UakqL6Pj9xo