Modern Veri Altyapısı İçin Yeni Mimari
(future.a16z.com)-
Veri uzmanlarıyla yapılan röportajlar derlenerek hazırlanmış, modern veri altyapısına ilişkin bilgiler ve terim açıklamaları
-
Veri alanını genel hatlarıyla anlamak için gerçekten çok iyi olan 6 sayfalık bir PDF
1 sayfada birleşik veri altyapısı kavram şeması
- Sources : iş ve operasyon verilerini üretir
→ OLTP DB via *CDC
→ Applications/ERP(Oracle,Salesforce,Netsuite) : iş süreçlerinde ortaya çıkan tüm veriler
→ Event toplayıcıları(Segment,Snowplow) : hizmet kullanıcılarının tüm event’lerini toplar
→ Logs : web sunucuları ve çeşitli sunucuların log’ları
→ üçüncü taraf API’ler(Stripe vb.) : ödeme ve diğer kullanılan API’lerde oluşan veriler
→ dosyalar ve nesne depolama
- Ingestion and Transformation : günümüzde ETL’den ELT’ye, Extract / Load / Transform
operasyon sistemlerinden veriyi çıkarma(E) / depoya taşıma(L) / veriyi analiz için dönüştürme(T)
→ Connector(Fivetran, Stitch, Matillion) : veriyi çeşitli kaynaklardan DW’ye taşıyan araçlar
→ Data Modeling (dbt, LookML) : veri modelleme ve dönüşüm
→ Workflow Manager (Airflow, Dagster, Prefect) : veri akışını otomatikleştirmek için orkestratör / zamanlayıcı
→ Spark Platform (Databricks, Amazon EMR) : dağıtık işleme için yüksek performanslı kümeleme platformu
→ Python Libs : veri analizi kütüphaneleri - Pandas, AWS arayüzü - Boto, büyük ölçekli paralel işleme için Dask, dağıtık işleme için Ray..
→ Batch Query Engine (Hive) : büyük veri sorgulama
→ Event Streaming (Confluent/Kafka, Pulsar, AWS Kinesis) : gerçek zamanlı mesajlaşma/streaming platformu
→ Stream Processing (Databricks/Spark, Confluent/Kafka, Flink) : streaming veriyi toplama/işleme ve analiz
- Storage : veriyi sorgulanabilir ve işlenebilir biçimde saklar. Düşük maliyet, ölçeklenebilirlik ve analiz işleri için optimize edilmiştir.
→ Data Warehouse ( Snowflake, BigQuery, Redshift ) : analiz edilebilir bilgilerin toplandığı birleşik veri depolama alanı
→ Data Lake : DW’den farklı olarak işlenmemiş yapılandırılmış/yapılandırılmamış ham veriyi saklar
Databricks/Delta Lake(Spark ve S3/HDFS gibi sistemlerde ACID transaction mümkün kılan data lake),
Apache Iceberg(petabayt ölçeğinde depolama yapan çok büyük tablo formatı, Netflix tarafından geliştirildi),
Apache Hudi(verimli data lake, Uber tarafından geliştirildi), Hive Acid
→ Apache Parquet - sütun tabanlı depolama formatı
Apache ORC - Optimized Row Columnar, sütun bazında yazar ve indeksleri de birlikte kaydeder
Apache Avro - satır bazında yazar, yazma için uygundur, schema evolution için uygundur
→ AWS S3(Simple Storage Service), GCS(Google Cloud Storage), ABS(Azure Blob Storage), HDFS(Hadoop Distributed File System)
4&5. Historical & Predictive : analistlerin ve veri bilimcilerinin içgörü üretmesi için arayüzler(sorgular) sağlar
Historical : geçmişte neler olduğunu açıklar. En yakın zamanları da (neredeyse gerçek zamanlı) kapsar
Predictive : geleceği tahmin etme, veri tabanlı/ML uygulamaları
→ Data Science Platform (Databricks, Domino, Sagemaker, Dataiku, DataRobot, Anaconda, ...)
→ Data Science and ML Libraries ((Pandas, Numpy, R, Dask, Ray, Spark, Scikit-learn, Pytorch, TensorFlow, Spark ML, XGBoost, )
→ Ad Hoc Query Engine (Presto, Dremio/Drill, Impala)
→ Real-time Analytics : Imply/Druid - gerçek zamanlı analiz, Altinity/Clickhouse - OLAP, Rockset - ticari gerçek zamanlı analiz motoru(yüksek performanslı gömülü KV veritabanı RocksDB tabanlı)
- Output : veri analizi sonuçlarını içte/dışta göstermek için araçlar. Oluşturulan veri modellerini operasyon sistemlerine ve uygulamalara gömer
→ Dashboards : Looker, Apache Superset, Mode, Tableau - Business Intelligence araçları
→ Embedded Analytics : Sisense, Looker, cube.js - BI araçlarını iç sistemlere embed eder. API tabanlıdır. Dahili analiz uygulamaları oluşturabilir
→ Augmented Analytics : Thoughtspot, Outlier, Anodot, Sisu - yapay zeka kullanarak analizi otomatik yapan araçlar
→ App Frameworks : Plotly Dash, Streamlit - ML uygulamaları oluşturmayı sağlayan framework’ler
- Diğerleri
→ Metadata Management (Collibra, Alation, Hive Metastore, DataHub, ...)
→ Quality and Testing (Great Expectations)
→ Entitlements and Security (Privacera, Immuta)
→ Observability (Unravel, Accel Data, Fiddler)
- Üç ana alan için blueprint
→ modern Business Intelligence(BI)
→ multimodal veri işleme
→ yapay zeka ve ML alanı
- Change Data Capture : OLTP’deki değişen veriyi gerçek zamanlı olarak çeşitli diğer depolara(DB,DW) kopyalama
4 yorum
Burada yer alan her bir servis ve açık kaynağı tek tek anlatan bir YouTube videosu çektim.
Her bölüm yaklaşık 10'ar dakikaya bölündüğü için, yukarıdaki içeriği biraz daha ayrıntılı öğrenmek istediğinizde buna göz atabilirsiniz.
GeekNews ile modern veri altyapısını anlamak
Çeviri bağlantısı yanlıştı haha; lütfen aşağıdaki bağlantıya bakın ^^;
https://drive.google.com/file/d/…
Vay canına, teşekkürler. Ben de bu materyali çok sevdiğim için ana diyagramın ayrı bir açıklama materyalini (video) hazırlamayı deniyorum.
https://drive.google.com/file/d/…
İçeriği iyi göründüğü için, orijinal metni kısaca çevirmeyi denedim ^^