2021'de 5 veri trendi

 (towardsdatascience.com)
15 puan yazan xguru 2021-02-02 | 2 yorum | WhatsApp'ta paylaş

  1. Veri gölü ve veri ambarının birleşimi: Data Lakehouse

  2. "Modern veri yığını" ana akım haline geliyor: bulut tabanlı başlıca araçların entegrasyonu

→ Data Ingestion : Fivetran, Stitch, Hevodata

→ Data Warehouse : Snowflake, BigQuery

→ Data Lake : Amazon S3

→ Data Lake Processing : Presto, Dremio, Databricks, Starburst

→ Data Transformation : dbt, Matillion

→ Metadata Management : Atlan

→ BI Tools : Looker

  1. Metadata 3.0: metadata yönetiminin yeniden doğuşu

→ Veri keşfi, veri kataloğu, veri lineage'ı, observability gibi alanları ele almak için araçlar yükselişe geçecek

  1. Yeni mesleklerin yükselişi

→ Data Platform Leader : kurum içinde veri platformunun iş süreçlerine uygulanmasına yardımcı olan lider

→ Analytics Engineer : dbt gibi araçların ortaya çıkmasıyla, yalnızca analiz değil veri yığınını da yöneten analiz mühendisleri mümkün hale geliyor

  1. Veri kalitesi framework'lerinin yükselişi

→ Veri profilleme: veriyi inceleme, kaliteyi doğrulama ve gelecekteki kullanım yöntemlerini belirleme

→ İş odaklı veri kalitesi kurallarının tanımlanması

→ Veri pipeline'larında kalite testlerinin uygulanması: Amazon Deequ, Great Expectations

İlgili okumalar

2 yorum

 
xguru 2021-02-02
  1. sıradaki "modern veri yığını" için GeekNews YouTube'daki "Modern Veri Altyapısını Anlamak" serisine göz atabilirsiniz ;)

https://youtube.com/playlist/?list=PLL-_zEJctPoJ92HmbGxFv1Pv_ugsggGD2

  1. ve 5. maddeler de muhtemelen serinin ilerleyen bölümlerinde ele alınacaktır.
 
kwangyeol 2021-02-06

"En Yeni Veri Altyapısını Anlamak" serisi her yayımlandığında dikkatle dinliyorum.

Her gün yalnızca kullandığım şeyleri kullandığım için yeni akımlarla karşılaşmak zor oluyor; bunları bu kadar iyi açıkladığınız için teşekkür ederim.