Vector - Yüksek performanslı açık kaynak Observability veri hattı

• Kullanıcıların gözlemlenebilir verilerini kontrol edebilmesini sağlayan, yüksek performanslı uçtan uca (agent ve aggregator) bir Observability veri hattı platformu
• Logları ve metrikleri toplayıp dönüştürerek ve yönlendirerek bugün istediğiniz tüm vendor'lara, gelecekte isteyebileceğiniz diğer vendor'lara da gönderebilir
• Maliyeti azaltır, yeni veri zenginleştirme (Enrichment) ve veri güvenliği sağlar; açık kaynaktır ve diğer alternatiflerden 10 kata kadar daha hızlı olduğunu iddia eder

İlkeler

• Güvenilirlik - Rust ile geliştirildi ve güvenilirlik temel tasarım hedefidir
• Uçtan uca - Agent veya Aggregator olarak dağıtılır. Vector eksiksiz bir platformdur
• Bütünlük - Loglar, metrikler (beta), trace'ler (yakında). Tüm veriler için tek bir araçtır

Kullanım alanları

• Toplam Observability maliyetini azaltma
• İş akışlarını bozmadan tedarikçi değiştirme
• Veri kalitesini ve içgörüleri iyileştirme
• Agent'ları birleştirme ve agent yorgunluğunu ortadan kaldırma
• Genel gözlemlenebilirlik performansını ve güvenilirliğini artırma

Topluluk

• Atlassian, T-Mobile, Comcast, Zendesk, Discord, Fastly, CVS, Trivago, Tuple, Douban, Visa, Mambu, Blockfi, Claranet, Instacart gibi startup'lar ve büyük şirketler Vector'a güveniyor
• Vector günde 100.000'den fazla kez indiriliyor
• Vector'ın en büyük kullanıcısı her gün 30 TB'tan fazla veri işliyor
• Vector'ın 100'den fazla katkıcısı var ve büyümeyi sürdürüyor

[softer]

Log pipeline canavarı

[xguru]

Hacker News görüşleri

• Vector yazılımına dair olumlu değerlendirme

  • Vector, çoklu GB/sn log pipeline'ları işletmek için harika bir yazılım.
  • Vector agent'ı, DaemonSet olarak pod ve journald loglarını topluyor ve Vector'ün protobuf protokolünü kullanarak merkezi Vector toplayıcısına (Deployment) gönderiyor.
  • Çeşitli depolama çözümlerini destekliyor (s3, gcs/bigquery, loki, prom).
  • Dokümantasyonu iyi, ancak yaygın kalıplara dair örnekleri bulmak zor olabiliyor; yine de zamanla ve kullanıcı sayısı arttıkça bu durum iyileşiyor.
  • Google'da vector dev diye aratmak iyi sonuç almanın bir ipucu.
  • Son dönemde, Prometheus pushgateway'e alternatif olarak sayaçları daha iyi işleyen katkılar eklendi.

• Log depolama sistemi için vizyon ve beklenti

  • Log işleme ve depolama sistemi neredeyse hazır ve orta-uzun vadede sorgulanabilir bir log depolama sistemine dönüşmesi bekleniyor.
  • Loglar, Vector gibi araçlarla işlenip yaygın olarak anlaşılan dosya formatlarında object storage'a kaydediliyor.
  • Log nesneleri, aranabilir olmaları için bir metadata deposuna kaydediliyor.
  • Delta Lake veya Iceberg gibi araçlar hem büyük hem küçük ölçekte çalışabiliyor.
  • Birden fazla log işleme pipeline'ı aynı depoya commit edebiliyor.
  • Clickhouse, DuckDB, Spark gibi yüksek performanslı araçlar bunları okuyabiliyor.
  • Standart formatlar kullanıldığı için araç değiştirmek veya aynı anda birden fazla aracı kullanmak mümkün.

• Vector'ün güvenilirliği ve kullanışlılığı

  • Vector, beats ya da vendor'a özgü forwarder'lardan (chronicle forwarder, fdr) çok daha güvenilir.
  • Vrl, aws cloudtrail ve imperva abp gibi büyük ölçekli logları "önceden parse etmek" için faydalı.

• Vector kullanım deneyimi ve tavsiye

  • Vector'ü kullanma deneyimi oldu; kurulumu basit ve vrl dili yeterince güçlü.
  • CLI'daki check özelliği, yapılandırma sorunlarını yakalamaya yardımcı oluyor.
  • Performans açısından sorun yok ve kaynak verimliliği yüksek; bu yüzden tavsiye ediliyor.

• Vector'ün çok yönlülüğü

  • Vector, yalnızca "yüksek performans" değil; loglar ve metrikler için adeta bir İsviçre çakısı.
  • Logları metriğe dönüştürmek, metrikleri başka formatlara çevirmek, farklı veri depolarına push etmek ve filtrelemek gibi pek çok işte kullanılıyor.
  • Gözlemlenebilirlik verisini toplama, toplulaştırma, filtreleme ve ön işleme konusunda ilk tercih.

• Vector'e ilgi ve beklenti

  • Yeni bir fluent-bit pipeline'ı kurduktan sonra Vector'den haberdar olundu.
  • Vector'de ilginç birçok özellik var ve vakit olduğunda daha erken denemiş olmayı diletecek kadar merak uyandırıyor.
  • Yeni bir projede denenebileceği ve eğlenceli olacağı düşünülüyor.

• Vector'ün uygulama alanı ve potansiyeli

  • Vector hakkında görülen örnek ve tartışmaların çoğu veritabanları ya da karmaşık multi-tenant uygulamalara odaklanıyordu.
  • Otonom araçlar gibi dağıtık sistemlerde, operasyon loglarını, sistem durumunu ve her uygulamanın girdi/çıktılarını toplulaştırmak için Vector'ü kullanan olup olmadığı merak ediliyor.

• Vector'ün gerçek kullanım örnekleri ve ek kullanım imkanları

  • Log gönderimi için Vector kullanılıyor ve gerekli işi yapamayan logstash yapılandırmasının yerini almış durumda.
  • Vector'ün potansiyeli daha yeni yeni anlaşılmaya başlanmış ve onu daha fazla kullanma isteği var.
  • Log gönderimi dışında Vector kullanım örnekleri hakkında bilgi isteniyor.

• Datadog'a ilişkin güven sorunu

  • Datadog'un, OTEL rakibi gibi görünen Vector'ü yönetiyor olması güven vermiyor.

• Vector'ün özellikleri ve ileride izleme planı

  • Vector ilginç, ancak tracing özelliği olmadığı için şu anda kullanılamıyor.
  • Önümüzdeki birkaç ay boyunca Vector'ü izleme planı var ve kullanılabilecek iyi özellikler çıkması bekleniyor.