Athena ile CloudWatch Logs sorgulama

 (engineering.ab180.co)
9 puan yazan toughrogrammer 2022-01-04 | 4 yorum | WhatsApp'ta paylaş

  • CloudWatch Logs’un yetersiz kalan noktaları

    • Logs Insights kullansanız da çözmesi zor olan kısımlar var

  • Athena Federated Query ile CloudWatch Logs üzerinde sorgu denemesi

    • sorgu çok uzun sürüyor

    • hata logları ve dokümantasyon yeterince açıklayıcı olmadığı için troubleshooting zorlaşıyor

  • Sonunda klasik yöntem olan Firehose ile S3’e unload edip Athena ile sorgulama

    • Bu yöntemde değerlendirilen noktalar

      • Firehose dynamic partitioning

      • Athena partition projection

      • Firehose buffer size & interval

    • Dikkat edilmesi gerekenler

      • CloudWatch Logs subscription filter sayısı sınırı

      • Log formatı

      • Maliyet

  • IaC

    • Athena table DDL’ini terraforming ile yönetme

İlgili okumalar

4 yorum

 
toughrogrammer 2022-01-04

Madde işaretli listeyi çok seviyeli kullandım ama biçim bozuluyor... Hem boşluk hem de tab ile denedim, ancak sonuç aynı olunca şimdilik olduğu gibi bıraktım. Anlayışınız için teşekkür ederim.
 
xguru 2022-01-04

Ah, şu anda bu mümkün değil. İleride Markdown desteği ekleyeceğiz, o yüzden lütfen biraz bekleyin~
 
toughrogrammer 2022-01-04

Oo, heyecanla bekliyorum! Hizmeti her zaman memnuniyetle kullanıyoruz, teşekkürler.
 
toughrogrammer 2022-01-04

Yorum ekledikten sonra bir kez daha denemeyi düşünmüştüm ama yazı silinemiyor. Görünüşe göre yorum varsa yazı silinemiyor.