WarpStream: Kafka öldü, yaşasın Kafka!

 (warpstream.com)
28 puan yazan xguru 2023-08-08 | 4 yorum | WhatsApp'ta paylaş
  • WarpStream, doğrudan S3 üzerine inşa edilmiş, Kafka protokolüyle uyumlu bir veri akışı platformu
  • Stateless tek bir Go binary'si olarak sunuluyor; yönetilecek yerel disk, yeniden dengelemesi yapılacak broker veya işletilecek ZooKeeper gerektirmiyor
  • Veriyi doğrudan S3 ile alışveriş yaptığı için Kafka'dan 5~10 kat daha ucuz (büyük ölçekli Kafka'nın altyapı maliyetlerinin %80'inden fazlasını oluşturabilir)
  • Kafka, 2011'de veri merkezleri için yapılmış son derece iyi bir yazılım, ancak modern iş yükleri için uygun değil
    • Ekonomi: Tasarımı gereği Kafka'nın replikasyon stratejisi, AZ'ler arasında çok büyük bant genişliği maliyetleri yaratıyor
    • Operasyonel ek yük: Bir Kafka kümesini işletmek, ayrı bir ekip ve karmaşık özel araçlar gerektiriyor
  • WarpStream, birden fazla bulutun nesne depolaması üzerinde (AWS S3, GCP GCS, Azure Blob Storage) doğrudan çalışıyor
  • Şu anda geliştirici önizlemesinde

İlgili okumalar

4 yorum

 
xguru 2023-08-09

GN⁺ tarafından özetlenen sürüme de göz atın. https://tr.news.hada.io/topic?id=10254
 
pseudojo 2023-08-08

Katmanları azaltmak yerine çok dikkatli ele alınması gereken bir araç. Bu tür araçlar her zaman yüksek fatura çıkarma riskini içinde barındırıyor. (* Kendi veri merkezinizde MinIO vb. ile çalıştırılması durumu istisnadır)
 
ehlegeth 2023-08-08

Ayrıştırılmış depolama yöneliminden yararlanan ilginç bir deneme gibi görünüyor.
Önbellekleme gibi konuların nasıl ele alındığını merak ediyorum.
 
xguru 2023-08-08

Blog yazısının başlığı biraz clickbait olsa da, Kafka için hafif bir alternatif olarak ilgi çekici bir deneme gibi görünüyor.