Yazılım mühendisinin loglar hakkında bilmesi gereken her şey | Apache Kafka'nın ortaya çıkışının arka planı
(link.medium.com)LinkedIn'de Apache Kafka'yı geliştiren Jay Kreps'in 2013'te yazdığı yazının çeviri ve yorumlama makalesi
- Log: en basit şekilde soyutlanmış bir depodur; yalnızca append-only mümkündür ve tüm event'lerin zaman sırasına göre dizildiği bir veri yapısıdır
- Geleneksel veritabanı sistemlerinde replikasyonu uygularken log merkezi bir rol oynar
- Durum kopyalama makinesine dayalı dağıtık sistemler de aslında log kopyalayan sistemlerdir
- Log ve tablo özdeştir.
- Banka örneğinde log para yatırma/çekme kayıtlarıdır, tablo ise hesap bakiyesini gösterir. Logdan tablo oluşturulabilir; buna karşılık tablodan da log çıkarılabilir
- Birçok şirket büyük veriyi benimsemede istekliyken, güvenilir veri pipeline'ları kurmaya daha az ilgi gösterdi
- Veriyi End-to-End bağlama yaklaşımı, arızalar, bakım, veri parçalanması ve event verisinin evrimi nedeniyle giderek zorlaştı.
- Apache Kafka fikri, log adlı veri yapısını ana ağ katmanı olarak soyutlama motivasyonundan doğdu
- Jay Kreps, Quora'da geçmişte message queue'ların altyapı dünyasında oldukça niş bir alan olduğunu açıklarken, gerçek zamanlı verinin bir event stream olarak soyutlanması gerektiğini düşündüğünü ve kalıcılığa sahip commit log'un uygun veri yapısı olduğunu anlatıyor
Henüz yorum yok.