xLSTM ile uzun vadeli zaman serisi tahmini: XLSTMTime

xLSTMTime: Long-term Time Series Forecasting With xLSTM

• Son yıllarda Transformer tabanlı modeller, çok değişkenli uzun vadeli zaman serisi tahmini (LTSF) alanında dikkat çekici başarılar gösterdi. Ancak yüksek hesaplama gereksinimi, zamansal dinamikleri yakalamadaki zorluklar ve uzun bağımlılıkları yönetme gibi sorunlarla karşı karşıya kalıyorlar
• Basit doğrusal yapıya sahip LTSF-Linear'ın ortaya çıkması, Transformer tabanlı modelleri geride bırakan sonuçlar ortaya koydu ve bu da zaman serisi tahmininde Transformer'ların faydasını yeniden değerlendirmeye yol açtı
• Buna karşılık bu makale, yakın dönemde ortaya çıkan bir mimari olan genişletilmiş LSTM'yi (xLSTM) LTSF'ye uygulamanın sonuçlarını sunuyor. xLSTM, üstel gating ve daha yüksek kapasiteli değiştirilmiş bellek yapısı sayesinde LTSF için uygun bir potansiyel taşıyor
• Benimsediğimiz LTSF mimarisi xLSTMTime, mevcut yaklaşımları geride bırakıyor. Çeşitli gerçek dünya veri kümelerinde çok sayıda güncel model ile xLSTMTime'ın performansını karşılaştıran sonuçlar, üstün tahmin yeteneğini ortaya koyuyor
• Bulgularımız, iyileştirilmiş yinelemeli mimarilerin LTSF görevlerinde Transformer tabanlı modellere karşı rekabetçi bir alternatif sunabileceğini ve zaman serisi tahmini alanının çehresini yeniden tanımlama potansiyeli taşıdığını gösteriyor

GN⁺ özeti

• Bu makale, Transformer tabanlı modellerin sınırlamalarını aşmak amacıyla xLSTM'yi kullanarak uzun vadeli zaman serisi tahmininde üstün performans sergiliyor
• xLSTMTime, üstel gating ve değiştirilmiş bellek yapısı sayesinde mevcut modelleri aşan tahmin yeteneğini ortaya koyuyor
• Bu çalışma, zaman serisi tahmininde yinelemeli mimarilerin potansiyelini yeniden gündeme getirirken Transformer tabanlı modellere yeni bir alternatif sunuyor
• Benzer işlevlere sahip projeler arasında Facebook'un Prophet'i ve Amazon'un DeepAR'ı bulunuyor

[GN⁺]

Hacker News görüşleri

• Son birkaç yılda transformer tabanlı modellerin çok değişkenli uzun dönem zaman serisi tahmininde ilgi gördüğü doğru, ancak derin öğrenme dışı modellerden genel olarak daha iyi olup olmadıkları şüpheli
  Benim anladığım kadarıyla öyle değildi, ama bu alanı çok yakından takip etmiyorum

  • Ödeme/harcama tahmini deneyimime göre derin öğrenme çoğunlukla gradient boosting tree'lerden daha düşük performans gösterdi
    Derin öğrenme modelleri mevsimselliği öğrenmede güçlü, ancak karmaşık trendleri ya da şokları ele almada pek iyi değiller
    Ekonomi ve finans verilerinde mevsimsellik çoğu zaman basit, trendler ise karmaşık oluyor; bu yüzden derin öğrenme epey zayıf kalıyor gibi görünüyor
    Bu makaleye katılıyorum. Kullandığım iyi derin öğrenme zaman serisi mimarileri, DeepAR ya da N-BEATS gibi, MLP veya tekrarlayan sinir ağlarının basit uzantılarına daha yakındı; transformer tabanlı mimariler ise, özellikle bugünlerde akın akın çıkan transformer tabanlı foundation model'lar da dahil olmak üzere, gerçekten berbattı
  • Havacılık güvenliği işlerinde çok değişkenli zaman serisi tahmininde derin öğrenme, geleneksel derin öğrenme dışı modellerden daha iyi sonuç verdi
    Ancak derin öğrenme modellerinin kendi arasında da transformer, çift yönlü LSTM, sıradan MLP, VAE vb. arasında performans farkı çok büyüktü
  • Bunu doğrudan kullanmadım ama yakın zamanda zaman serisi analizinde XGBoost gibi ağaç tabanlı modeller kullanan bir arkadaşla bu konuyu konuştum
    Ona göre transformer tabanlı mimariler, ağaç modellerine kıyasla görece daha az çabayla zaman serisi görevlerinde fena olmayan performans verebiliyor
    Benim anladığım kadarıyla parametreleri yeterince ayarlarsanız ağaç tabanlı modeller genelde transformer'ları yenebilir. Ama TimeGPT gibi modeller kapsamlı ayarlama olmadan da makul performans verdiği için hızlı uygulama açısından çekici
  • Bu, makalenin hemen sonraki paragrafında söyleniyor. xLSTMTime da transformer tabanlı değil
  • Çok olağanüstü seviyede olmasa da, son dönemdeki transfer learning denemeleri umut verici görünüyordu

• İşimin bir kısmı gerçekten ekonomi tarafında nowcasting ve tahmin modelleri yapmak. Enflasyon, GSYİH gibi ekonomik göstergelerle piyasa likiditesi gibi finansal göstergelerle uğraşıyorum
  Makaleyi henüz okuyamadım ama “transformer'lar iyi oldukları işlerde harika, ancak LSTM ailesi modeller hâlâ çok değerli” şeklindeki genel tona tamamen katılıyorum

  • Mamba'yı işinizde uygulama fırsatınız oldu mu, merak ediyorum

• Bunun Google'ın yapay zeka tabanlı hava tahmin modeliyle nasıl bir ilişkisi var?
  https://deepmind.google/discover/blog/graphcast-ai-model-for...

  • Hayır. Graphcast, ERA5 atmosfer yeniden analiz verileriyle eğitilmiş bir graph transformer; genel amaçlı bir zaman serisi tahmin modeli değil
    Bu arada Graphcast, en azından büyük ölçekli küresel desen tahminlerinde tüm geleneksel küresel deterministik tahminleri geride bırakıyor. Bu da Z500 gibi metriklerde kabaca 3 ila 10 günlük gecikme aralıkları için geçerli
    ECMWF'de Graphcast türevi olan AIFS var ve birkaç yıl içinde bunun ya da benzer bir şeyin operasyonel ortama alınması oldukça olası

• Eğer bu bir tahmin aracı olarak pazarlanıyorsa, zaman serisindeki olay sınıflandırması için geçerli değil mi?

  • Bunun biraz farklı bir görev olduğunu düşünüyorum. Bu alanın uzmanı değilim ama olay sayısı n çok küçükse, her olayın olasılığını hedef değer alarak çok değişkenli tahmin problemi gibi ele alınabilir gibi geliyor
  • Bu yaklaşımın ya da transformer/LLM tabanlı yaklaşımların örneğin anomali tespitini hangi noktalarda iyileştirdiğini de merak ediyorum

• Makaledeki veri kümesi bağlantısının çalışmaması üzücü. Düzeltilse iyi olur

• En iyi derin öğrenme zaman serisi modelleri muhtemelen hedge fonların içinde, kamuya kapalı durumdadır

  • Aslında zor işin büyük kısmı devasa tek bir model değil, özellik mühendisliği. Bildiğim kadarıyla gradient boosting hâlâ baskın
  • No free lunch teoremi nedeniyle genel olarak en iyi model diye bir şey yok
    Hedge fonlarda iyi çalışan yöntemler bile veri miktarı ve verinin doğası farklı olduğunda, gerekli tümevarımsal önyargıların az olduğu ya da farklı olduğu alanlarda kötü olabilir
  • En azından üst düzey hedge fonların artık zaman serisi modelleme kullanmadığını düşünüyorum. Günümüz ölçütlerine göre bu epey eski bir yaklaşım

• Zaman serisi tahmini en iyi deterministik alanlarda çalışır
  Açık LLM, AI, derin öğrenme, makine öğrenmesi tekniklerinden hiçbiri borsada işe yaramıyor. Gerçekten hiçbiri. Hepsini denedim

• Birinin zaman serisi tahmin yöntemi gerçekten işe yarasaydı, bunu paylaşmazdı

  • O kadar da değil. Aslında oldukça fazla şey paylaşılıyor. Zaman serisi çalışmalarının ezici çoğunluğu varlık fiyatları ya da borsa getirilerini yenmekle ilgili değil
  • Transformer modelleri de AI tarihindeki en başarılı modellerden biriydi ama makale olarak yayımlandı

• Bunu XSLT diye yanlış okudum

  • 2024'te XML hakkında bir yazının ne kadar ilginç olabileceğini merak ederek tıkladım; aynı anda hem hayal kırıklığına uğradım hem de tatmin oldum
  • Evet, bir bakıma bu da dönüşüm hakkında bir yazı
  • Ben de öyle. Yaşlandım mı acaba?

• Birinin bununla hisse senedi tahmini yapmaya çalışıp tüm parasını kaybedeceği günü sabırsızlıkla bekliyorum