Lag’siz gerçek zamanlı veri hattı için mimari iyileştirme hikâyesi

 (engineering.ab180.co)
17 puan yazan toughrogrammer 2021-11-11 | 2 yorum | WhatsApp'ta paylaş

Kafka consumer group ile partition sayısı arasındaki ilişkiyi ve bunun yol açtığı auto scaling zorluklarını ele alıp, bunu çözmek için yeni bir mimarinin nasıl devreye alındığını anlatan bir yazı.

  • Airbridge hizmeti ve Workload tanıtımı

  • Mevcut mimarinin sorunları

  • Yeni mimari önerisi

    • Seçenek 1: Spark streaming benzeri driver, executor modeli

    • Seçenek 2: Kafka consumer ile application server’ın birbirinden ayrıldığı decouple modeli

  • Neden 2. seçeneğin tercih edildiği

  • Kafka consumer ile application server decouple model mimarisi

  • Yeni mimaride dikkat edilmesi gereken noktalar

  • Yaşanan zorluklar

  • Yeni mimari uygulandıktan sonraki sonuçlar

  • İleride daha fazla denenmesi gerekenler

İlgili okumalar

2 yorum

 
lamanus 2021-11-11

Vay... ben de ECS kullanıyorum ama bunu bu kadar derinlemesine düşünmemiştim, güzel olmuş.
 
lamanus 2021-11-11

envoy kullanırken AZ'ler arası trafiği azaltmaya yönelik talep beklemede tutuluyormuş.

https://github.com/aws/aws-app-mesh-roadmap/issues/94