A*'nın Ötesinde: Transformer'larla Daha İyi Planlama

Beyond A*: Transformer'larla Daha İyi Planlama

• Transformer modelleri çeşitli uygulama alanlarında büyük ilerleme kaydetti, ancak karmaşık karar verme görevlerini çözmede geleneksel sembolik planlama yöntemlerinin gerisinde kaldı.
• Araştırmacılar, transformer'ları karmaşık planlama görevlerini çözmek üzere eğitmenin bir yolunu sunuyor ve Searchformer adlı modeli geliştiriyor. Bu model, mevcut A* aramasına kıyasla %26,8'e kadar daha az arama adımı kullanırken daha önce görülmemiş Sokoban bulmacalarını zamanın %93,7'sinde en iyi şekilde çözüyor.
• Searchformer, A* arama davranışını tahmin edecek şekilde eğitilmiş bir encoder-decoder transformer modeli; uzman yinelemesiyle ince ayar yapılarak A* aramasından daha az arama adımıyla en iyi planları üretiyor.

Eğitim yöntemi ve performans

• Eğitim yönteminde, A*'nın arama davranışı, sembolik planlamada durumların arama ağacına eklendiği ve çıkarıldığı anları temsil eden bir token dizisi olarak ifade ediliyor.
• Labirent aramaya yönelik ablasyon çalışmasında Searchformer, en iyi planı doğrudan tahmin eden temel modeli açık ara geride bırakıyor; model boyutu 5-10 kat daha küçük ve eğitim veri kümesi 10 kat daha küçük.
• Araştırmacılar, Searchformer'ın Sokoban gibi daha büyük ve daha karmaşık karar verme görevlerinde çözülen görev oranını artırma ve arama davranışını kısaltma açısından etkili olduğunu gösteriyor.

GN⁺ görüşü

• Bu araştırma, yapay zeka alanında transformer modellerinin yeni kullanım olanaklarını gösteriyor. Karmaşık karar verme görevlerini çözmede mevcut sembolik tabanlı yöntemlerden daha verimli bir yaklaşım sunarak yapay zekanın uygulama alanını genişleten önemli bir ilerleme niteliğinde.
• Searchformer modeli, daha az kaynak kullanarak daha hızlı ve daha verimli problem çözme yeteneği sergiliyor. Bu, özellikle kaynakların kısıtlı olduğu ortamlarda yapay zeka uygulamaları geliştirirken büyük bir avantaj olabilir.
• Bu çalışma, yapay zeka teknolojilerindeki ilerlemenin yalnızca daha fazla veri ve daha büyük modellere dayanmak zorunda olmadığını; akıllı metodolojiler ve algoritma iyileştirmeleriyle de mümkün olabileceğini gösteriyor. Bu, yapay zeka araştırmalarının sürdürülebilirliği ve verimliliği açısından oldukça ilgi çekici ve faydalı bir yaklaşım.

[GN⁺]

Hacker News görüşleri

• Robot hareket planlaması için transformer kullanımına dair ilginç bir araştırma var. Bir robot kolunun nesnelere çarpmadan bir noktadan diğerine gitmesi çok zor bir problem; bu problem yüksek boyutlu ve süreklidir. Önceki planlama yöntemleri yoğun hesaplama gerektiriyordu ve çok da iyi değildi. Bu da robot hareketlerinin neden “doğal olmayan” göründüğünün ve robotların bizim istediğimiz birçok görevi neden iyi yapamadığının nedenlerinden biri. Bu yaklaşım, diğer planlama yöntemleriyle rekabetçi görünüyor ve daha hızlı optimal yol planlaması sunuyor.
• Oyun grafiği/yol bulma için A* algoritmasının optimize edilmiş bir sürümü olan değiştirilmiş J* algoritmasını, bu araştırma yönüne başlamadan önce deneyip denemediklerini merak ediyorum. İlgilenenler için "Game AI Pro 2" hakkında bilgi var.
• Planlama zaten grafik araması, SAT çözücüleri, OR, Prolog gibi yerleşik tekniklerle iyi şekilde ele alınıyor. Sorun genellikle birden fazla uygulanabilir alternatif arasından optimizasyon yapmak ve transformerların bunu yapmaya uygun olup olmadığından emin değilim. LLM teknolojisinin rolü, doğal dil açıklamalarını çalıştırılabilir programlara dönüştürmeye daha yakın görünüyor; Prolog da sonuçta klasik NLP için tasarlanmıştı, yani oldukça yakın.
• Makine çevirisi eskiden karmaşık dilbilgisi çözümleme ve aramayı içeriyordu; artık MT için transformer kullanıyoruz ve neredeyse hiç arama gerektirmeyen çok daha basit bir çözümleme kullanıyoruz. Belki de mevcut en iyi tahmin modelini kullanarak neural architecture search (NAS) için bir sezgisel öğrenip, transformer ve Mamba'dan daha iyi yeni sinir ağı blokları arayan “tam bir başlangıç” noktasına ulaşabiliriz.
• “Standart A* aramasına göre %26,8 daha az arama adımı” ifadesi A*'dan biraz daha iyi performans gösterdiğini ortaya koyuyor, ancak Sokoban'da son teknoloji düzeyine (SOTA) ulaşmıyor. Bu makalede etkileyici olan şeyin ne olduğunu ve neden Hacker News'te yer aldığını merak ediyorum.
• Transformerlar plan yapabiliyorsa, AGI'nin (yapay genel zeka) belki de yalnızca daha iyi bir eğitime ihtiyacı olabilir.
• İşitsel öğrenenler için bu makaleyi özetleyen bir sesli kitap biçimi sunuluyor.
• Bu makale bana dün HN ana sayfasında olan Neural Network Diffusion makalesini hatırlattı. Önceki makalede SGD adımlarını baypas eden bir model eğitiliyordu; bu makalede ise A* arama adımları baypas ediliyor. Öte yandan Sokoban için A*'ın sezgisel seçimi iyi değil. Makaleyi okurken 20 dakika Sokoban oynadım ve ilerlemek için sık sık kutuları hedef durumdan uzaklaştırmak gerektiğini fark ettim; bu yüzden arama sezgisinin ciddi biçimde yetersiz olduğunu düşündüm.
• Derin öğrenme kullanılarak artık daha iyi çözülen klasik algoritmaların veya NP-tam problemlerin bir listesini tutan biri olup olmadığını merak ediyorum.
• A* veya Focal Search gibi ayrık algoritmalarda öğrenilmiş sezgisellerin kullanımı konusunda oldukça iyimserim. Çoğu modern ayrık optimizasyon kütüphanesinde, örneğin CPLEX'te, performansı açıklayan şey sezgiseller ve ayardır. İyi anlaşılmış optimal arama rutinlerinin yerine uçtan uca öğrenme yaklaşımı kullanma konusunda daha az ikna oldum, ama bu aşırı bir endişe de olabilir. Bence yazarlar bu fırsatı kaçırmış.