Dört sıfır olmayan parametreyle bir fili uydurmak

 (arxiv.org)
1 puan yazan GN⁺ 2024-07-15 | 1 yorum | WhatsApp'ta paylaş
  • 1953'te Enrico Fermi'nin, Freeman Dyson'ın modelini Johnny von Neumann'dan alıntı yaparak eleştirdiği bir anekdottan, “dört parametreyle bir fili uydurmak” problemi doğdu
  • Bu alıntı, parametre sayısı arttıkça bir model veriye iyi uyuyor gibi görünse bile fiziksel anlamının da garanti edilmediği yönündeki bir eleştiri olarak kullanıldı
  • Önceki girişimler koşulları tam olarak karşılamıyordu: Wei 20'den fazla parametre kullandı, Mayer ve diğerleri ise dört kompleks sayı kullanıyor gibi görünse de gerçekte 8 parametreye karşılık geliyordu
  • Paintadosi'nin tek parametreli yaklaşımı her türlü şekli çizebiliyor, ancak bunu şekli çok uzun gerçek sayı hassasiyetine kodlayarak yaptığı için problemin amacıyla örtüşmüyor
  • Bu çalışma, problemin kendisinin yeterince tanımlanmamış olmasının sınırlarına işaret ediyor ve verilen koşullar altında yalnızca dört sıfır olmayan parametre ile bir fil eğrisini uydurmaya çalışıyor

Fermi'nin eleştirisiyle başlayan problem

  • 1953'te Enrico Fermi, Dyson'ın modelini eleştirirken Johnny von Neumann'ın şu sözünü aktardı
    • “With four parameters I can fit an elephant, and with five I can make him wiggle his trunk.”
  • Bu söz, bir model karmaşık olup veriye çok iyi uysa bile, bunun sadece parametre sayısını artırmanın sonucu olması halinde gerçek fiziksel anlamı garanti etmenin zor olduğunu anlatmak için kullanılır
  • Temel soru, gerçekten de dört parametreyle bir filin uydurulup uydurulamayacağıdır

Mevcut çözümlerin gereksinimleri ıskaladığı noktalar

  • Wei, Fourier serileri (Fourier series) ile bir fili uydurmaya çalıştı, ancak yeterince iyi bir sonuç elde etmek için 20'den fazla parametre gerekti
    • Sonucun da “3. sınıf resim öğretmenini” tatmin etmeyebileceği söyleniyor
  • Mayer ve diğerleri, dört kompleks sayı ile bir fili uydurdu
    • Kompleks sayılar gerçek ve sanal kısım içerdiğinden, gerçekte 8 parametre kullanılmış sayılır
    • Sıfır olan parametreler de sayılırsa sayı 20'ye çıkıyor
    • Ortaya çıkan görsel, Picasso tarzında ve estetik olarak güzel diye değerlendiriliyor
  • Paintadosi, tek bir parametrenin yeterli olduğunu savunarak herhangi bir şekli tek parametreyle çizebilen bir fonksiyon kurdu
    • Ancak bu, şekli yüzlerce ya da binlerce basamak hassasiyetindeki tek bir gerçek sayıya eşleyen bir kodlamaya daha yakın olduğundan, bu problem için geçerli bir çözüm saymak zor
    • İlgili çalışmanın odağı, parametre sayısını saymanın model karmaşıklığı için bir ölçüt olarak başarısız olabileceğini göstermektir
  • Bu makale, önce problem koşullarını netleştiriyor; ardından önceki denemelerden farklı olarak dört sıfır olmayan parametreyle bir fili uydurma yöntemini sunuyor

İlgili okumalar

1 yorum

 
GN⁺ 2024-07-15
Hacker News yorumları

  • Yazının ironik yanını sevdim. Fermi ile von Neumann’ın neden böyle söylediğine de değinilse iyi olurdu.
    Fizikte gerçekliğin bir modelini kurarken, deneyle uyuşmuyor diye parametreleri tek tek ekleyip veriye uydurmamak gerekir. İdeal olarak parametre sayısı 0 olmalı ya da en azda tutulmalı; daha derinde ise parametreler basit varsayımlardan doğal biçimde ortaya çıkmalıdır. Parametre sayısı 4 ise, gerçekliğin bir yönünü gerçekten yakalayıp yakalamadığını mı, yoksa deney verisini sadece uydurup uydurmadığını mı anlamak zordur.

    • Bu, makalenin ilk paragrafında zaten geçen bir nokta ve makalenin kendisi genel olarak mizahi bir yazı.
      Yine de bu özdeyişin bilgeliği pek çok alanda epey unutulmuş gibi. Birçok alanda veriler, onlarca parametreli dev regresyon modelleriyle ya da milyarlarca parametreli sinir ağlarıyla “modelleniyor”.

      In 1953, Enrico Fermi criticized Dyson’s model by quoting Johnny von Neumann: “With four parameters I can fit an elephant, and with five I can make him wiggle his trunk.”[1]. This quote is intended to tell Dyson that while his model may appear complex and precise, merely increasing the number of parameters to fit the data does not necessarily imply that the model has real physical significance.

    • 0 parametreli bir model ilk ilkelerden türetilebileceği için matematiğe daha yakın görünüyor. Örneğin Öklid uzayını varsayarsanız kürenin yüzey alanı gibi formüller çıkar.
      Bence fizik, gerçek uzayın eğriliği ya da yerçekimi ivmesi gibi ölçülmesi gereken en az bir doğa sabiti olduğunda başlar.
    • Hodgkin ve Huxley, mürekkep balığının dev aksonunu inceleyerek sinirsel etkinliği modelleyen çığır açıcı bir çalışma yaptı.
      Kaydedilen potansiyel ve enjekte edilen akıma ilişkin eğri uydurmadan birkaç parametre çıkardılar; çok daha sonra bunların sodyum kanallarına karşılık geldiği anlaşıldı. Benzer biçimde başka süreçler de potasyum kanallarına karşılık geldi. Parametreler birden fazlaysa, hatta 4 tane olsa bile, modeli 3 parametreyle açıklayamıyorsanız bunun fazla kaygı verici olduğunu düşünmüyorum.
    • Gerçekten ilk uygulanmış örnek James Wei’nin Least square fitting of an elephant çalışmasıydı (1975, Chemtech).

  • Bu yazı mizahi ve iyi yazılmış, ama bence bundan fazlası.
    ML/AI için sık sık “sadece eğri uydurma” diye hem şaka hem de gözlem yapılır. “Sadece eğri uydurma” ile zekice bir şeyin ortaya çıkıp çıkmayacağına hâlâ yanıt verilmiş değil bence; bunun büyük nedeni de “zeki” kelimesinin anlamının kişiden kişiye değişmesi.
    Burada çok temiz ve anlaşılması kolay bir eğri uydurma gösteriliyor, ama özünde aynı süreç. Bir hedef belirlemek, bir kayıp fonksiyonu üzerinde optimizasyon yapmak ve genellemesini ummak. Elbette bu fil genellemiyor, ama sevimli olduğu kesin.
    Bu da bizi von Neumann’ın sorduğu soruya geri götürüyor: Neden bu kadar çok parametre gerekiyor? İronik biçimde, son zamanlarda muazzam sayıda parametreyle birçok şey başarıldı ve yanıt bir bakıma “parametre çok olunca harika şeyler yapılabiliyor” oldu.

    • Gerçek dünya üzerinde sürekli eğri uydurma zekâ üretebilir. Eksik olan şey modelin içindeki bir unsur değil; keşfetme, arama ve deneyimi genişletme mekanizması.
      Güncel LLM’ler yalnızca insan deneyiminin sırtına binmiş durumda; kendi deneyimlerini üretmeye pek katılmadılar. Bu yüzden buna taklit öğrenmesi ya da papağanlık deniyor. Ama model daha ajan benzeri hâle gelirse, kendi başına faydalı deneyimler üretebilir; AlphaZero bunu gösterdi.
    • Yapay zekada parametre ne kadar çoksa o kadar iyi; fizikte ise bunun tersi.
    • Ayrıntılar işin özü. Pekiştirmeli öğrenmede hedef hareket eder; derin öğrenmede ise aşırı optimizasyonu engellemek için erken durdurma gibi teknikler sık kullanılır.

  • Freeman Dyson, bu makaleye ilham veren anekdotu Web of Life röportajında anlatıyor. Fil uydurma bölümüne doğrudan giden bir bağlantı da var.
    [1] https://youtu.be/hV41QEKiMlM
    [2] https://youtu.be/hV41QEKiMlM?t=118

  • Tek parametre yeter: https://aip.scitation.org/doi/10.1063/1.5031956

    • Veriyi dosyanın içine değil dosya adına kaydederseniz sınırsız sıkıştırma elde edebileceğinizi söylemeye benziyor.
    • Makalede şöyle deniyor:

      Paintadosi [4] argues that one parameter is always enough. He constructed
      a function that, through a single parameter, can depict any shape. However, in
      essence, this work is a form of encoding, mapping the shape into a real number
      with precision extending to hundreds or even thousands of decimal places. For
      our problem, this is meaningless, although the paper’s theme is that “parameter
      counting” fails as a measure of model complexity

    • Parametre sayısı yanlış bir ölçüt. Parametre değerlerinde taşınan bilgi miktarına, entropiye, Kolmogorov karmaşıklığı gibi şeylere bakmak gerekir.
    • Tüm sabit diskin tek bir sayı olduğunu söylemeye benziyor.

  • Ne yazık ki makalede sabit terim, yani ortalama r_0 açıkça belirtilmemiş. Kabaca 180 civarında görünüyor; görseli oluşturmak için bu değeri ayarlamak gerekiyor ve bunu beşinci zorunlu parametre olarak görmemenin bir yolu yok gibi.
    Bu yüzden hedefe gerçekten ulaşıldığını söylemek zor. Ama elbette çok eğlenceliydi.

    • Metin, bu değerin uydurulmaya çalışılan veri noktalarının ortalaması olduğunu söylüyor. Bunu parametre sayıp saymamak, standartlaştırmayı modelin bir parçası olarak görüp görmediğinize bağlı gibi.

  • Dyson’ın Web of Stories röportajında geçen harika bir bölümdü; yazarlarda olduğu gibi bende de karşılık buldu
    Dyson’ın pionun psödoskaler teorisi hakkındaki ön sonuçları Fermi’ye götürdüğü zamandan söz ediyor. Fermi çok hızlı biçimde her şeyi reddetti; bu Dyson için sarsıcıydı ama daha fazla zaman kaybetmesini engelledi
    Fermi: Kuramsal hesaplamalar yaparken ya net bir fiziksel modeliniz ya da sağlam bir matematiksel temeliniz olmalı. Sizde ikisi de yok. Uydurma için kaç serbest parametre kullandınız?
    Dyson: 4 tane
    Fermi: Johnny von Neumann hep şöyle derdi: “4 parametreyle bir fili uydurabilirsiniz, 5 parametreyle de hortumunu sallatabilirsiniz”

  • arXiv’de daha fazla mizah olsa keşke
    Şirket kaynaklarını kullanmadan, kişisel zamanımda bir keşif yaparsam, bunu mümkün olan en mizahi şekilde duyuracağım

  • Dr. Octave Levenspiel’i de atlamamak gerekir. Lisans yıllarımda emekli onursal profesördü ve endüstriyel akışkan yataklar alanı da dahil olmak üzere çok sayıda çalışma yapmıştı
    Fil eğrisi tartışması o dönemde heterojen katalitik reaksiyonlarda karmaşık çok parametreli uydurmalara yönelik bir eleştiri bağlamındaydı. https://levenspiel.com/elephants/
    Bir süre dinozorların uçuşu üzerine bir aerodinamik makalesi yayımlatmaya da çalışmıştı. http://levenspiel.com/wp-content/uploads/2016/02/DinosaurW.p...
    Bu tür entelektüel merak biraz Feynman’ın tabak çevirmesini hatırlatıyor

  • D’Arcy Thompson’ın On Growth and Form kitabından neden hiç söz edilmiyor? Canlı organizmalara yönelik parametrik modeli oldukça hoştu. Çok basit olsa da
    https://en.wikipedia.org/wiki/On_Growth_and_Form

  • Benim anladığım kadarıyla, reel parametreli Fourier serisi r(theta) = sum(r_k cos(k theta)), orijinden çıkan her ışın üzerinde yalnızca bir nokta bulunan “dalgalı bir daire” biçimleri çizebilir
    Kompleks parametreli z(theta) = sum(e^(z_ theta)) daha kıvrımlı şekiller, yani episiklolar çizebilir. Çizen kol dönerken kalem geri gidebilir ve her parametre, noktayı önceki parametreden hesaplanan noktanın çevresindeki küçük bir çember üzerinde bir yere taşıyabilir
    Mutlaka izlenmesi gereken 3B1B videosu: https://m.youtube.com/watch?v=r6sGWTCMz2k
    Bir kompleks parametre iki reel parametre demek olduğundan, en iyi 4 kosinüs eğrisiyle en iyi 2 kompleks üstel eğriyi karşılaştırmak gerekir