Sırasıyla, bir kez, hızlıca

• Airbridge, reklam tıklaması·kurulum·satın alma gibi etkinlikleri gerçek zamanlı olarak eşleştirdiği için, etkinlikleri yalnızca hızlı işlemek değil, gerekli sırada işlemek ve kayıp·tekrarı önlemek de önemlidir.
• Önceden Kafka mesajları mikro batch olarak alınarak etkinlik türüne göre sıralı şekilde işleniyordu.
  • Sırayı kontrol etmek kolaydı, ancak önceki etkinliğin işlenmesini beklerken diğer worker'lar boşta kalıyordu.
  • Worker'lar arasındaki işleme hızı farkı ile hot partition çakıştığında, sunucu ekleseniz bile işleme hızı tıkanıyordu.
• Bunu çözmek için Project Differential tasarlandı.
  • Mikro batch kaldırıldı ve etkinlik türüne göre Consumer'lar aynı Kafka topic'ini bağımsız olarak okumaya başladı.
  • Sıra garantisi topic'in tamamı yerine partition bazında sağlanıyor ve sıralamanın önemli olduğu aynı kullanıcı akışındaki etkinlikler mümkün olduğunca aynı partition'a yerleştirilecek şekilde yapılandırılıyor.
  • Sonraki Consumer, önceki Consumer'ın işleme konumunu geçemiyor; bunun için offset veya event time tabanlı bir güvenli mesafe bırakılıyor.
  • Önceki Consumer'ın işlemediği mesajlar sonraki Consumer'a devredilip yeniden kullanılıyor; buffer dolarsa Kafka'yı doğrudan okuyan Polling Mode'a geçiliyor.
• İçeride partition bazlı ConsumerSuite/PartitionedConsumerChain bulunuyor ve LimitedEventProcessor, önceki Consumer'ın checkpoint'ini aşmamayı kontrol ediyor.
  • CommitManager, buffering·asenkron işleme sırasında da yalnızca gerçekten tamamlanmış ardışık offset'lerin Kafka'ya commit edilmesini yönetiyor.
• Test işletiminde, etkinlik kaybı·tekrarı olmadan çalıştığı doğrulandı ve mevcut mikro batch yöntemine kıyasla 10 kattan fazla işlem hızı artışı sağlandı.
• Bu, tam küresel sıralama kurmak yerine, iş açısından gerçekten gerekli olan sırayı best effort ile koruyup throughput'u güvence altına alan bir örnek.
• Gelecekte yapı sadeleştirme, Spot Instance sonlandırma durumlarına yanıt veren adaptive flow control ve sıralı işlemenin kendisini azaltan mimari iyileştirmeler değerlendiriliyor.