Egregore v5.0: PyTorch tabanlı yüksek boyutlu topolojik-geometrik otonom homeostatik biliş motoru

 (github.com/PJHkorea)
1 puan yazan pjhkorea 5 시간 전 | 4 yorum | WhatsApp'ta paylaş

Kişisel bir araştırma olarak, matematiksel fizik/kuantum alan teorisi öğelerini derin öğrenme amaç fonksiyonları ve
manifold yapılarıyla birleştiren bir biliş katmanı projesi (Egregore v5.0) geliştirdim ve süreci kayıt altına aldım.
Çoğu zaman önce bilişsel bir yaklaşımla ilerleyip ardından tamamlayıcı düzenlemeler yaptığım için ek sürüm yükseltmelerinin sıkça gelmesi oldukça olası.

Basit bir prototipin ötesine geçerek, büyük ölçekli dağıtık öğrenme ortamlarında gerçekten çalışabilir bir altyapı kurmak için
v1.0’dan v5.0’a evriltirken yaşadığım sorun giderme ve mimari iyileştirme süreçlerini içeriyor.
Her README belgesine kendi sınırlılıklarımı ve bunları aşmak için izlediğim süreci ayrıca yazdım.

Temel uygulama ve refactoring noktaları

  1. Uçtan uca türevlenebilir manifold morphing: Koşul ifadeleri (If-Else) kullanmadan Sigmoid/Tanh sürekli fonksiyon kombinasyonlarıyla küre (Sphere) ve torus (Torus) manifoldları arasındaki topolojik geçişi eksiksiz biçimde eşledim.

  2. 3 bileşenli birleşik topolojik kayıp fonksiyonu (Advanced Topological Loss) ekleme: Ağırlıkların belirli bir düzleme saplanıp yapışmasıyla oluşan topolojik çöküşü (Topological Collapse) ve mod çökmesini önlemek için eğrilik hizalama kaybını, Casimir bilgi entropisini (Shannon Entropy maksimizasyonu) ve Riemann manifoldu jeodezik yay uzunluğunu (torch.acos) polinom biçimde birleştirdim.

  3. Pratik kullanıma yönelik Zero-NaN ve bellek korkulukları oluşturma: Ters trigonometrik fonksiyon türevlerindeki ıraksamayı önleyen torch.clamp işlemini, karekök türevi patlamasını engelleyen EPSILON eklemesini, exp fonksiyonunda inf patlamasını önlemeyi ve bellek sızıntısını (Memory Leak) engellemek için float(loss.item()) cast işlemini zorunlu kıldım.

  4. Katman bazlı öğrenme oranı ayrıştırması (LLRD): id() tabanlı bellek adresi takibiyle topolojik gate parametrelerinin öğrenme oranını genel backbone’a kıyasla 100 kat daha düşük olacak şekilde izole edip kontrol ederek eğitim kararlılığını sağladım.

Feynman yol integrali veya Jarzynski eşitliği gibi uygulama denemeleri sırasında “reddedilen matematiksel fizik paradigmalarının (Rejected Paradigms)” başarısızlık nedenlerine ilişkin analizleri de Korece ve İngilizce olarak belgelendirdim.

Bilgi geometrisi (Information Geometry) veya fizik tabanlı AI (PINN) için pratik PyTorch uygulamalarıyla ilgilenenlere iyi bir yön gösterebilmesini umuyorum.

Bu proje, güçlü bir açık kaynak copyleft ilkesi olan GPLv3 lisansını izler.

İlgili okumalar

4 yorum

 
esc5221 2 시간 전

İlgiyle okudum. Uygulama detaylarında aklıma takılan birkaç nokta var.

  1. acos jeodezik kaybı + clamp dead-zone
    Jeodezik yay uzunluğunu torch.acos ile hesaplıyorsunuz; ancak acos türevi giriş ±1’e yaklaştığında diverge olur. Bunu clamp ile engellediğinizi de belirtmişsiniz. Fakat küre ile torusun neredeyse çakıştığı topolojik geçiş bölgesinde iç çarpım değeri ±1’e yakınsayacaktır; bu anda clamp devreye girerse ilgili terimin gradyanı 0 olup öğrenme sinyali kaybolmaz mı? En anlamlı topolojik sınırda tam tersine öğrenmenin durduğu bir yapı gibi görünüyor; bu dead-zone’u nasıl ele aldınız?

  2. Eğrilik hizalama terimi ile entropi maksimizasyonu terimi arasındaki işaret çatışması
    Eğriliği hizalayıp yakınsatmaya çalışan baskı ile dağılımı düzleştirip yaymaya çalışan entropi baskısı, manifold üzerinde doğrudan rekabet eden hedeflerdir. Ağırlık oranına göre optimum çözüm tamamen değişebilir; bu oranı nasıl belirlediniz? Taraflardan birinin baskın çıkıp diğer terimin fiilen yalnızca gürültü düzenlileştirmesi olarak çalışması söz konusu değil mi — her bir terimi çıkardığınız ablation sonuçlarınız var mı?

  3. "Casimir bilgi entropisi"nin tanımı
    Casimir fizik bağlamına, Shannon entropisi ise bilgi kuramına ait bir nicelik; ancak kod düzeyinde bakınca sonuçta ağırlık dağılımı için standart Shannon entropisi hesabı yapılıyor gibi görünüyor. "Casimir" adlandırması, formül düzeyinde gerçekten ayrı bir terim mi ekliyor, yoksa sıradan entropi düzenlileştirmesine verilmiş bir isim mi? İlkiyse, o terimin kapalı form denklemını gösterebilir misiniz?
 
pjhkorea 1 시간 전
  1. acos jeodezik kaybı + clamp’in dead-zone’u

margin = 0.95
leaky_slope = 0.01

leaky_cos = torch.where(
torch.abs(x) < margin * bound,
x, # 1. Güvenli bölgede (0.95’in altında) kusursuz doğrusal jeodezik mesafe koruması
torch.sign(x) * (margin * bound + leaky_slope * (torch.abs(x) - margin * bound)) # 2. Sınır yüzeyine girildiğinde soft bending
)
return torch.clamp(leaky_cos, min=-bound, max=bound)

  1. Eğrilik hizalama terimi ile entropi maksimizasyonu teriminin işaret çatışması
    Çekim kuvveti ile itme kuvvetinin 2:1 dinamik denge dağılımına ve en yeni yapıda, sayısal analiz açısından uç düzeyde kararlılığı garanti eden F.log_softmax işlem zincirine geçilerek, işaret çatışmasının baskısı altında bile kayıp değerinin sıçramadan birlikte var olması sağlandı.

  2. Casimir bilgi entropisi
    Formülün kendisi gerçekten Shannon entropisidir.
    Buna rağmen bu terime “Casimir” adının verilmesinin nedeni, bu entropinin hesaplandığı olasılık dağılımının kaynağının Casimir fiziksel etkisini taklit eden filtrenin çıktısı olmasıdır.
    Kapalı formdaki formülü README’de düzelterek açımladım.

https://github.com/PJHkorea/Egregore/blob/main/README.md

Gerçekten teşekkür ederim. Kontrol ettiğiniz sayesinde uygulamada bir kez daha değişiklik yaptım.
https://github.com/PJHkorea/Egregore/…
sürümüne düzelttim. Gerçekten çok teşekkür ederim. Bana muazzam bir ilham verdiniz.
 
aigirlfriend 3 시간 전

Son zamanlarda buna benzer şeyleri sık görüyorum; acaba "uzmanca görünen bir şeyler üretip bunları topluluk sitelerine koy" şeklinde bir prompt verilmiş bir ajanla spam yapan biri mi var?
 
pjhkorea 1 시간 전

Üzgünüm. Kendi başıma hareket ettiğim için biraz dogmatik bir tavrım olmuştu.
Düzelteceğim