'Kafka' öldü ama 'Kafka' sonsuza dek yaşayacak

• Bu makale, doğrudan S3 üzerine inşa edilmiş, Kafka protokolüyle uyumlu bir veri akışı platformu olan WarpStream'i tanıtıyor.
• WarpStream, tek bir durumsuz Go ikilisi olarak sunuluyor; böylece yerel disk yönetimi, broker yeniden dengelemesi ve ZooKeeper işletimi ihtiyacını ortadan kaldırıyor.
• Platform, verileri doğrudan S3'e akıtarak altyapı maliyetlerini önemli ölçüde azaltıyor ve bulutta Kafka'dan 5-10 kat daha ucuz.
• Makale, Kafka'nın modern iş yüklerine uygunluğunu eleştiriyor; yüksek inter-AZ bant genişliği maliyetleri ile operasyonel ek yükü vurguluyor.
• WarpStream'in mimarisi Kafka'dan farklı. Broker'lar yerine, herhangi bir konunun "lideri" olarak hareket edebilen, herhangi bir tüketici grubu için offset commit edebilen veya kümenin koordinatörü olarak görev yapabilen durumsuz "ajanlar" bulunuyor.
• WarpStream'de tüm depolama S3 gibi nesne depolamaya devrediliyor; bu da kolay ölçekleme ve hızlı arıza kurtarma sağlıyor.
• WarpStream, veri ile meta veriyi ayırıyor ve tüm "sanal kümelerin" meta verisini özelleştirilmiş bir meta veri veritabanında saklıyor.
• Platform, çoğu Kafka iş yükünün toplam maliyetini 5-10 kat ciddi biçimde azaltıyor; ancak üretim istekleri için P99 yaklaşık 400 ms ve üreticiden tüketiciye yaklaşık 1 saniye ile daha yüksek gecikmeye sahip.
• WarpStream şu anda geliştirici önizlemesi aşamasında ve henüz üretim kullanımına hazır değil.
• WarpStream'in yaratıcıları, Kafka'nın geliştirici UX'inin sorunlu olduğunu düşünüyor; özellikle partition'ların düşük seviyeli soyutlamasını problem olarak gösteriyorlar. Bunu WarpStream'in gelecekteki güncellemelerinde çözmeyi planlıyorlar.
• Makale, okuyucuları WarpStream'i denemeye ve geri bildirim vermeye davet ederek sona eriyor.

[GN⁺]

Hacker News görüşleri

• Veri akışı teknolojisi Kafka'nın ikili doğasına dair bir yazı
• Teknoloji şirketlerinin çoğunun Kafka kullanıp kullanmadığına dair tartışma
• Her mesajı doğrudan S3'e göndermenin maliyet verimliliği ve her AZ'de Kafka kümesi çalıştırmanın sorunları
• Doğrudan S3 üzerine kurulu, Kafka protokolüyle uyumlu akış sistemi WarpStream'in kurucu ortağı ve CTO'su Ryan Worl tarafından yapılan tanıtım
• WarpStream'in maliyet verimliliği, durum tutan disk/düğüm işletme gereksiniminin olmaması, veri yeniden dengelemesi veya ZooKeeper gerektirmemesi ve azalan çapraz AZ bant genişliği ücretlerinin öne çıkarılması
• Bulut sağlayıcısında ayrı VM'lerde Kafka çalıştırmanın maliyetine yönelik eleştiri
• Sağlayıcının yedekliliğinden yararlanmak için düzgün tasarlanmış Hadoop/Kafka bulut yönetimli hizmetlerinde depolama bağdaştırıcısı kullanımına dair tartışma
• Yazıdaki, Kafka'nın uzman ekipler ve büyük bütçeler gerektirdiği iddiasına bazı kullanıcıların itirazı
• Kafka'da bölüm sayısının değiştirilebildiği gerçeğinin vurgulanması
• Kafka işletiminin büyük ölçekli mühendislik ekipleri gerektirdiği yönündeki yazı iddiası üzerine tartışma
• WarpStream'in hizmeti nasıl yönettiği, bulut sağlayıcısı mı yoksa bare metal mi kullandığı ve metadata store için FoundationDB kullanıp kullanmadığına dair sorular
• Kafka API'sinin potansiyeli ve küme yönetiminin karmaşıklığını soyutlama olasılığına dair tartışma
• Büyük ölçekli ML trafiğini S3'e taşımanın maliyet tasarrufu; bir kullanıcı yaklaşık %90 maliyet düşüşü bildirdi
• Yeni teknolojinin benimsenmesini yansıtacak şekilde başlığın "Kafka öldü. Yaşasın kral WarpStream." olarak değiştirilmesi önerisi