Silurian (YC S24) yayında – Dünya simülasyonu teknolojisi

• Silurian, Dünya simülasyonu için foundation model geliştiriyor ve ilk uygulama alanı olarak bir gün bile daha erken tahminin büyük değer taşıdığı hava durumu tahminini seçti
• Mevcut hava durumu tahmini kabaca her 10 yılda 1 gün iyileşiyordu; ancak son dönemde GPU’lar ve modern deep learning bu hızı artırdı
• 2022’den bu yana NVIDIA, Google DeepMind, Huawei, Microsoft gibi kurumlarda deep learning tabanlı hava durumu tahmini araştırmaları hız kazandı; veri tabanlı modeller geleneksel atmosfer fiziği simülasyonlarından daha iyi sonuçlar verebiliyor
• Microsoft’un ClimaX ve Aurora deneyimi üzerine geliştirilen GFT(Generative Forecasting Transformer), dünya genelindeki hava durumunu 14 güne kadar yaklaşık 11 km çözünürlükle simüle ediyor
• Uzun vadeli hedef, enerji şebekeleri, tarım, lojistik ve savunma gibi hava durumundan etkilenen altyapıları da modellemek; şu anda 2024 kasırga rota tahminleri yayımlanıyor

---

Dünya simülasyonuna hava durumu tahminiyle başlamak

• Silurian, Jayesh, Cris ve Nikhil’in kurduğu bir ekip; Dünya simülasyonu için foundation model geliştiriyor
• İlk uygulama alanı hava durumu tahmini; son kasırga tahmin sonuçları hurricanes2024.silurian.ai adresinde görülebilir
• Amaç, modeli ölçekleyerek fiziksel olarak tahmin edilebilir sınırlarına kadar zorlamak
• Uzun vadede hava durumundan etkilenen altyapıları da modellemek istiyorlar
  • Enerji şebekeleri
  • Tarım
  • Lojistik
  • Savunma

Deep learning tahminleri ve GFT’nin mevcut performansı

• Geleneksel tahmin sistemleri performansını yaklaşık her 10 yılda 1 gün artırıyordu; örneğin bugünün 6 günlük tahmini, 10 yıl önceki 5 günlük tahmin kadar doğru hale geliyordu
• 2022’den bu yana NVIDIA, Google DeepMind, Huawei, Microsoft gibi kurumlarda hava durumu için deep learning sistemleri araştırmaları hızla arttı
• Bu modellerde yerleşik fizik yasaları çok az bulunuyor ya da hiç bulunmuyor; tahmin etmeyi yalnızca veriden öğreniyorlar
• Jayesh ve Cris, Microsoft’ta sırasıyla ClimaX ve Aurora projelerine liderlik ederek bu teknolojinin potansiyelini bizzat deneyimledi
  • Bu foundation model’ler, hava durumu tahmininde standart kabul edilen ECMWF tahminlerinden daha iyi sonuçlar üretti
  • Kullanılan eğitim verisi, mevcut verilerin yalnızca bir kısmıydı
• Silurian bu yaz kendi foundation model’i GFT(Generative Forecasting Transformer)’ı kurdu
  • 1,5 milyar parametreye sahip bir frontier model
  • Dünya genelindeki hava durumunu 14 gün sonrasına kadar simüle ediyor
  • Çözünürlüğü yaklaşık 11 km
• Geçmiş kayıtlarda aşırı hava olaylarına ait veri az olsa da GFT, 2024 kasırga rota tahminlerinde çok iyi performans göstermiş durumda
• Kasırga tahminleri hurricanes2024.silurian.ai üzerinden doğrudan incelenebilir
• Görselleştirme için açık kaynak hava durumu görselleştirme aracı cambecc/earth kullanılıyor

[GN⁺]

Hacker News yorumları

• Tropikal siklonlar için ensemble tahmini yapılabilmesine sevindim

  • ML modelleri ile ECMWF'nin HRES modelinin karşılaştırılmasından hayal kırıklığına uğradım
  • HRES, ortalama havanın en iyi tahmini değil; mümkün hava durumlarının tek bir gerçekleşmesidir
  • NeuralGCM, WeatherBench liderlik tablosunda üst sıralarda yer alıyor
  • Modellerin performansını WeatherBench üzerinde karşılaştırmak isterim

• İçine fizik gömülmemiş modeller, yalnızca verilerle daha iyi tahmin yapıyor

  • NLP'deki "Her dilbilimciyi kovduğunda performans artar" deyişi, fizikçiler için de geçerli gibi görünüyor

• Silurian, Dünya'yı simüle eden bir temel model inşa ediyor

  • Başarılı olursa sırada başka neyi simüle etmek isteyeceklerini merak ediyorum

• ClimaX'in ticari potansiyeli konusunda heyecanlıyım

  • Belirli sektörlerin ticari potansiyel hakkında iletişime geçip geçmediğini merak ediyorum (ör. doğal kaynak arama)

• Kâr amacı gütmeyen bir kuruluş olarak arazi için benzer modeller geliştiriyorum

  • Arazi maskesini arazi embedding'i ile değiştirmeye yardımcı olmak isterim
  • Bu, bölgesel etkileri downscale etmede çok yardımcı olacaktır

• Google'ın geçen yıl çıkardığı GraphCast ile karşılaştırıldığında bunun nasıl farklılaştığını merak ediyorum

• Hava durumu modelleri kafamı karıştırıyor

  • ML yöntemlerinin fizik tabanlı simülasyonlardan sayısal olarak daha kararlı olup olmadığını merak ediyorum
  • Hesaplama gereksinimleri açısından nasıl karşılaştırıldıklarını merak ediyorum
  • Geçmişte modelleri FORTRAN'dan Verilog'a dönüştürme deneyimim oldu

• Bu yaklaşımın öngörülemez depremlere uygulanıp uygulanmadığını merak ediyorum

• Bu yaklaşım, "The Bitter Lesson" için başka bir örnek gibi görünüyor

• Gelecekte başka neleri simüle edeceklerini merak ediyorum

  • San Francisco'da nesneleri doğal dille arayabileceğiniz bir demo geliştirdim
  • Clay embedding'lerini denedim ama CLIP ile fine-tune edilmiş OSM caption embedding'lerinden daha kötü performans gösterdi