Startup'ımda Splunk'ın yerine kullanmak için yazdığım tek bir Python script dosyası

• AWS ve diğer bulut servislerinden log dosyalarını otomatik olarak toplayıp analiz eden bir uygulama
• Özelliklerin çalışma şekli
  • boto3 (AWS) ve Ansible envanter dosyalarını (diğer bulutlar) kullanarak uzak cihazlara SSH bağlantısı kurar
  • Belirtilen log dosyalarını indirir, ayrıştırır ve veritabanına eklemek üzere kuyruğa alır
  • SQLAlchemy ile ayrıştırılmış kuyruktaki log girdilerini SQLite'a ekler
  • Veritabanında saklanan log girdilerini işler ve analiz eder. Hata kayıtlarını bulmak ve belirlenen ölçütlere göre toplulaştırılmış veri görünümleri oluşturmak için işlevler sunar
  • Her uzak makineden ağ etkinliği verilerini alıp işler
  • Datasette kullanarak veritabanını bir web uygulaması olarak paylaşır

[xguru]

Bu tür yazılarda her zaman olduğu gibi, biraz abartı payı olduğunu akılda tutmak gerekir.
Yine de her ne kadar kusursuz olmasa da, kullanım amacına bağlı olarak basit bir script ile pahalı bir sistemi ikame etmek gerçekten mümkün olabilir.
Sonuçta pahalı araçlar satın alınca her şey kendiliğinden hallolmuyor.

Datasette - kişisel veri ambarı açık kaynağı