YTsaurus - Exabyte Ölçekli depolama ve işleme sistemi açık kaynak oldu

• Yandex tarafından yayımlanan dağıtık depolama ve işleme odaklı büyük veri platformunun açık kaynak sürümü
  • Kullanım alanları: batch işleme, ad hoc analiz, OLTP, makine öğrenimi, metadata depolama, ETL pipeline'ları
• Çok kiracılı ekosistem
• Güvenilirlik ve kararlılık: SPOF yok. Sunucular arası replikasyon otomatik. İlerleme durumu kaybolmadan güncelleme
• Ölçeklenebilirlik
  • 1 milyon CPU çekirdeğine ve binlerce GPU'ya kadar ölçeklenebilir
  • 10 binden fazla düğüm desteği. Otomatik sunucu scale up & down
  • Exabyte düzeyine kadar veriler için farklı depolama ortamlarını destekler
• Zengin özellikler
  • Kapsamlı MapReduce modeli
  • Dağıtık ACID transaction'ları
  • Çeşitli SDK'lar (C++, Python, Java, Go) ve API'ler sunar
  • Hesaplama kaynakları ve depolama için güvenli izolasyon
  • Kullanıcı dostu UI
• ClickHouse destekli CHYT
  • Tanıdık SQL dialect'i ve benzer özellikler
  • Hızlı analitik sorgular
  • Popüler BI çözümleriyle entegrasyon (JDBC/ODBC)
• Apache Spark destekli SPYT
  • ETL süreçleri oluşturmak için araçlar
  • Farklı boyutlarda birden çok bağımsız cluster desteği
  • Mevcut çözümlerden kolay geçiş

[xguru]

Açık kaynağın kendi geçmişi ve dahili kullanım teknolojilerine dair tanıtım yazısı: YTsaurus: Exabyte-Scale Storage and Processing System Is Now Open Source

• Geliştirmenin neredeyse 10 yıldan uzun süredir sürdüğü belirtiliyor.
• 2006'dan itibaren MapReduce kullanılmış, ancak 2009'da sınırlarına ulaşılınca 2010'dan itibaren YT projesi başlatılmış.
• Cypress (Storage) + MapReduce + dinamik K-V tabloları + YQL + CHYT + SPYT
• Ana sunucu kodu C++