- Basit yerel kurallardan karmaşık desenlerin nasıl tersine mühendislik ile elde edilebileceğini inceliyor
- Neural Cellular Automata (NCA) yaklaşımının öğrenilebilirliğini Differentiable Logic Gate Networks ile birleştirerek, ayrık yerel kuralların öğrenme yoluyla elde edilmesini öneriyor
- "Conway's Game of Life kuralları öğrenilebilir mi?"
- "NCA gibi karmaşık desenleri yeniden üretirken uzay-zaman döngüsel yapıları da öğrenebilir mi?"
Introduction
- Cellular Automata (CA), basit yerel kurallardan başlayıp karmaşık ve öngörülmesi zor desenler oluşturur
- Geleneksel olarak CA'de kurallar insanlar tarafından doğrudan tasarlanıyordu; burada ise hedef desen ya da davranış önceden verilerek, bunu sağlayan yerel kuralların tersine "öğrenilebildiği" bir yöntem tanıtılıyor
- Özellikle Neural Cellular Automata (NCA), CA yapısını derin öğrenme teknikleriyle birleştirerek sürekli uzayda öğrenilebilir olacak şekilde tasarlanmıştır
- Differentiable Logic Gate Networks, mantık kapılarını (AND, OR, XOR vb.) sürekli olarak yaklaşıklayıp öğrenen ve sonunda yeniden ayrık mantık devrelerine dönüştüren bir tekniktir
- Bu iki fikir birleştirilerek, tamamen ayrık ve aynı zamanda öğrenilebilir bir CA modeli olan DiffLogic CA öneriliyor
- Bu, programmable matter ya da computronium yönünde atılmış küçük bir adım olarak görülebilir
- Yazı şu akışla ilerliyor
- Neural Cellular Automata özeti
- Differentiable Logic Gate Networks özeti
- İki yöntemi birleştiren DiffLogic CA yapısı
- Conway’s Game of Life kurallarını öğrenme deneyi
- Karmaşık desenler (checkerboard, kertenkele, renkli görseller vb.) üretmeye yönelik öğrenme deneyleri
Recap – Neural Cellular Automata (NCA)
- Kavram
- Geleneksel CA kurallarını, sinir ağıyla öğrenilebilir bir biçimle değiştiren bir sistemdir
- Her hücre birden fazla kanal (durum) taşır ve yerel etkileşimlerle karmaşık desenler oluşturur
- Sobel filtreleri gibi yöntemlerle komşu bilgisi alınır, durum değişimine sinir ağı karar verir
- Özellikler
- Tüm hesaplama süreci türevlenebilir olduğu için, istenen desenleri üretecek şekilde eğitilebilir
- Paralellik, yerellik ve durum tabanlı hesaplama gibi CA'nin çekirdeğini korurken derin öğrenme tekniklerini de kullanır
Recap – Differentiable Logic Gate Networks (DLGNs)
- Temel fikir
- Geleneksel NN yerine mantık kapıları (AND, OR, XOR vb.) sürekli olarak yaklaşıklanır (soft gate) ve bu şekilde eğitilir
- Eğitim aşamasında kapılar sürekli davranır, son çıkarım aşamasında ise gerçek ikili işlemler uygulanır
- Eğitim süreci
- Kapıların olası 16 mantık işlemi için bir olasılık dağılımı öğrenilir ve sonunda belirli bir işleme yakınsar
- Sürekli yaklaşım sayesinde türevlenebilir hale gelir; eğitim tamamlanınca tamamen ayrık mantık kapılarına dönüştürülür
- Avantajlar
- Nihai devre tamamen ikili mantık kapılarından oluştuğu için donanımsal açıdan yüksek verimlilik sunar
- Ayrık mantık temelli olduğu için yorumlanabilirlik ve enerji verimliliği açısından avantajlıdır
Differentiable Logic Cellular Automata (DiffLogic CA)
- Yapı
- 2D bir ızgarada her hücre n-bit durum taşır; simülasyon Perception → Update adımlarıyla ilerler
- Perception aşaması
- Komşu bilgisi (kanal bazında) mantık devresi çekirdekleriyle işlenir
- Update aşaması
- Mevcut durum ile Perception çıktısı başka bir mantık devresiyle birleştirilerek bir sonraki zaman adımındaki durum belirlenir
- Özellikler
- Tüm hücreler dağıtık biçimde çalışan küçük ve bağımsız işlemciler gibi davranır
- Soft (sürekli yaklaşım) olarak eğitilip hard (ikili) kapılarla çıkarım yaptığı için verimliliği yüksektir
- CAM-8 gibi CA tabanlı hesaplama mimarileriyle benzer bir felsefeye sahiptir
Experiment 1: Learning Game of Life
- Amaç
- Conway's Game of Life kurallarını DiffLogic CA ile öğrenip bunu tamamen yeniden üretip üretemediğini doğrulamak
- Kurulum
- Hücre durumu için 1 bit kullanılıyor
- Perception bölümünde 16 çekirdek var (her biri 8→4→2→1 kapı yapısında)
- Update bölümünde 23 katman bulunuyor (ilk 16 katmanda 128 düğüm, ardından [64, 32, 16, 8, 4, 2, 1])
- 3x3 ızgaradaki tüm olası durumlar (512 adet) üzerinde eğitilerek bir sonraki adımın doğru durumunu tahmin etmesi sağlanıyor
- Sonuçlar
- Eğitim kaybı 0'a yaklaşarak Game of Life yerel kurallarını kusursuz biçimde öğreniyor
- Daha büyük ızgaralarda gerçek Game of Life gibi glider, block ve diğer tüm desenleri yeniden üretiyor
- Nihai devrede AND ve OR kapılarının yoğun kullanıldığı görülüyor
Experiment 2: Pattern Generation
- Checkerboard örneği
- 8 bit durumlu hücreler 20 adım boyunca 16x16 boyutunda bir checkerboard oluşturuyor
- Perception bölümünde 16 çekirdek, Update bölümünde 16 katman var (en fazla 256 kapı)
- Kayıp, yalnızca son kanal hedef desenle karşılaştırılarak hesaplanıyor
- Sonuçlar
- Checkerboard deseni tam olarak oluşturuluyor ve kural yalnızca birkaç kapıyla oldukça yalın biçimde uygulanıyor
- Aynı kural 4 kat daha büyük ızgaralarda da sorunsuz şekilde ölçekleniyor
- Bazı hücreler kalıcı olarak devre dışı bırakılsa bile desen ciddi biçimde bozulmuyor; devre dışı hücreler geri getirildiğinde sistem kendini otomatik olarak onarıyor
- Asynchronicity
- Asenkron güncellemeyle eğitildiğinde de checkerboard desenini sorunsuz öğreniyor
- Senkron olarak öğrenilen kurallar asenkron çıkarımda da iyi çalışıyor
- Asenkron eğitimli kuralların gürültü ya da hasar durumlarında biraz daha hızlı toparlanma eğilimi gösterdiği görülüyor
Experiment 3: Growing a Lizard
- Amaç
- 20x20 boyutunda bir kertenkele siluetini 12 adımda oluşturacak şekilde eğiterek, karmaşık şekil üretiminin mümkün olduğunu göstermek
- Kurulum
- 128 bit durum
- Perception için 4 çekirdek (her biri [8, 4, 2, 1] kapı yapısında), Update için 10 katman (ilk 8 katmanda 512 kapı, ardından [256, 128])
- Izgaranın merkezine tek bir aktif hücre yerleştiriliyor ve periyodik sınır koşulları kullanılıyor
- Sonuçlar
- Daha büyük ızgaralarda (40x40) da kertenkele normal şekilde büyüyor
- Çok sayıda kapı kullanılsa da gerekli hiperparametre ayarıyla eğitim mümkün oluyor
Experiment 4: Learning the G with colors
- Amaç
- 3 kanallı RGB içeren 16x16 renkli bir görseli 15 adım boyunca üreterek çok kanallı desen üretimini doğrulamak
- Kurulum
- 64 bit durum (ilk 3 kanal RGB olarak kullanılıyor, her kanal 0 veya 1)
- Perception için 4 çekirdek (her biri [8, 4, 2]), Update için 11 katman (ilk 8 katmanda 512 kapı, ardından [256, 128, 64])
- Hedef görsel, 8 renkten biriyle doldurulmuş 16x16 bir G deseni
- Sonuçlar
- Kayıp 0'a yaklaşacak şekilde eğitiliyor ve 15 adım sonunda hedef renkli G tam olarak yeniden üretiliyor
- Devrede TRUE ve FALSE kapıları sık kullanılırken OR kapıları özellikle öne çıkıyor
Summary and Discussion
- Ne yapıldı
- DiffLogic CA adlı, tamamen ayrık ama aynı zamanda öğrenilebilir bir CA modeli önerildi
- Game of Life gibi klasik kurallar kopyalanabildi; checkerboard, kertenkele ve renkli G gibi desenler de üretilebildi
- Ayrık mantık devrelerinden oluştuğu için sezgisel yorumlanabilirlik ve donanım verimliliği potansiyeli taşıyor
- Önemi
- NCA'nin gösterdiği öz-örgütleyici desenlerin, ayrık mantık kapıları temelinde de öğrenilebildiği gösteriliyor
- Hasardan toparlanma ya da asenkron güncelleme gibi özellikler göz önüne alındığında, dağıtık ve hata toleranslı (robust) hesaplama için uygulama potansiyeli yüksek
- Sınırlamalar ve gelecek çalışmalar
- Karmaşık görsel ya da desenlerin öğrenilmesinde uygun hiperparametre ayarı gerekiyor
- LSTM benzeri kapılar veya durumun verimli biçimde unutulmasını sağlayan yapılar araştırılarak daha zengin desen oluşumları mümkün hale getirilebilir
- Devre ölçeğinin optimizasyonu ve eğitim kararlılığının iyileştirilmesi gibi yönlerde genişletilebilir
- Sonuç
- DiffLogic CA, programmable matter ya da computronium gibi kuramsal dağıtık hesaplama yönlerine uzanabilecek umut verici bir yaklaşım
- Tamamen ayrık olmasına rağmen öğrenilebilir olması, onu gelecekteki dağıtık sistemlerin temeli olabilecek potansiyele sahip kılıyor
1 yorum
Hacker News görüşü