Hydro: Rust için dağıtık programlama çatısı

• Giriş

  • Hydro, Rust için yüksek seviyeli bir dağıtık programlama çatısıdır.
  • Hydro, ölçeklenebilir dağıtık servisleri hızlıca yazmaya yardımcı olur ve Rust'ın bellek güvenliğini garanti etmesi gibi dağıtık güvenliğini garanti eder.
  • Dağıtık programların test modunda ya da dağıtım modunda kolayca çalıştırılmasını destekler.

• Hydro'nun özellikleri

  • Hydro, yüksek performanslı tek iş parçacıklı DFIR runtime üzerinde çalışan dağıtık bir veri akışı dilidir.
  • Aktör veya RPC gibi geleneksel mimarilerden farklı olarak, birden fazla konuma yayılmış hesaplamaları tanımlayabilen koreografik bir API sunar.
  • Hydro Deploy ile entegre çalışır; böylece dağıtık Hydro programları yerelde veya bulutta kolayca dağıtılabilir ve çalıştırılabilir.

• Derleme ve dağıtım

  • Hydro, iki aşamalı bir derleme yaklaşımı kullanır.
  • Hydro programları standart Rust programlarıdır ve geliştiricinin dizüstü bilgisayarında bir dağıtım planı oluşturur.
  • Bu plan DFIR'a derlenerek dağıtık sistemdeki her makine için ayrı binary'ler üretir.
  • Oluşturulan plan ve bulut kaynak belirtimleri kullanılarak buluta dağıtılır.

• Kullanım örnekleri

  • Hydro, 2 aşamalı commit ve Paxos gibi yüksek performanslı dağıtık sistemlerin gerçekleştirilmesinde kullanılır.
  • Bu protokolleri yeniden kullanılabilir bileşenler olarak sunan bir dağıtık sistem standart kütüphanesi geliştirilmektedir.

• Dikkat edilmesi gerekenler

  • Hydro'nun dokümantasyonu hâlâ geliştirme aşamasındadır; soru veya hata durumunda Hydro GitHub deposunda issue açılması önerilir.

[GN⁺]

Hacker News görüşleri

• YouTube'da Hydro projesi hakkında iyi bir konuşma var
  • İçerik DFIR'e odaklanıyor
• Gerçek kullanım örnekleri olursa anlamaya yardımcı olacağını düşünüyorum
• Ara bir dil ve kendi çalışma zamanı varsa bunun Rust'ın avantajlarını ortadan kaldırıp kaldırmadığını merak ediyorum
  • Rust ikililerini tutarlı ve işlevsel bir dağıtık sistem olarak orkestre eden bir dil bekliyordum, ancak görünen o ki DFIR yazılıyor
• Bu proje gerçekten çok ilginç
  • Bu alana aşina birinin önceki örnekleri paylaşabilir mi diye merak ediyorum
  • Başka dillerde benzer çerçeveler kuran insanlar olup olmadığını merak ediyorum
  • Veri akışı üzerinde çalışan insanlar var ve Materialize'ın çok havalı olduğunu düşünmüştüm
  • Kafka Streams kullanma deneyimim var ve bunu bir araya getiren bir çerçeveye ihtiyaç olduğunu düşünmüştüm
• Çaba güzel ama Rust ekosistemine "akka.rs" gelmesini isterdim
• Veri akışı açısından Timely ile karşılaştırıldığında nasıl olduğunu merak ediyorum
  • IR içinde döngü gibi kontrol akışını ifade edip edemediğini merak ediyorum
• Her "süreç" ayrı bir ikili olarak dağıtılıp ayrı bir süreç olarak mı çalıştırılıyor diye merak ediyorum
  • Öyleyse ek yükün artması gibi bir sorun olabilir gibi görünüyor
  • Hızlı iletişimin nasıl sağlandığını merak ediyorum
  • Hızlı paylaşımlı bellek IPC mekanizmaları olup olmadığını merak ediyorum
  • Asenkron ile entegrasyondan söz edilmemiş gibi görünüyor
  • Ağ iletişimini ele alan kodların çoğu asenkrona geçti
  • Ağ iletişimi gereken birçok şey için iyi bir asenkron kütüphane bulmak zor
• Gerçekten çok hoş görünüyor, özellikle de dağıtım kısmı benzersiz görünüyor
  • Daha ayrıntılı dokümantasyon bekleniyor
  • Özellikle önemli görünen Streams, Singletons, Optionals kısımlarını merak ediyorum
• Programlama modelini beğendim
  • Uygulamayı yeniden yazarken ağ optimizasyonu yapıp yapmadığını merak ediyorum
  • Ağ darboğazlarını ve tıkanıklığı nasıl ele aldığını merak ediyorum
• Veri hattında Ballista kullanmakla karşılaştırıldığında nasıl olduğunu merak ediyorum
  • İkincisi Apache Arrow ve Apache Datafusion üzerine kurulu, bu da birçok avantaj sağlıyor