kdb+'ın geleceği?

Kullanım alanları

• Geçmiş piyasa verilerinin depolanması ve analizi

  • Örn: MS Horizon, Citi CloudKDB, UBS Krypton

• Yerel quant analizi

  • Örn: likidite analizi, PnL analizi, müşteri bazlı kârlılık analizi

• Gerçek zamanlı akış hesaplama motoru

  • Örn: akış VWAP, akış TCA

• Dağıtık hesaplama

  • Örn: hisse senedi portföyü için marjin hesaplama veya risk analizi

Alternatifler

Geçmiş piyasa verileri - kdb+ alternatifleri

• Yeni veritabanı teknolojileri

  • Clickhouse, QuestDB

• Bulut sağlayıcıları

  • Bigquery, Redshift

• Piyasa veri hizmetleri

  • Kullanıcıların çoğunun kdb+"ın "hızına" ihtiyacı yok
  • Banka içi platformların çoğu kdb+"ın hızından tam olarak yararlanmıyor
  • Rakipler de artık yeterince hızlı

Beklenen sonuç

• kdb+ mevcut müşterilerini koruyabilir, ancak bulut yerel veya farklı bir şey isteyen ikinci kademe şirketleri kazanamayacak

Yerel quant analizi - alternatifler

• Python
  • DuckDB, Polars, PyKX, dataframe/modin vb.

Beklenen sonuç

• DuckDB veya Polars kazanacak. Nedeni ücretsiz olmaları

Gerçek zamanlı akış / dağıtık hesaplama

• kdb+"ın en büyük gücü, akış ve geçmiş verileri tek bir modelde birleştirmesi
• Ancak deneyimli kişilere ihtiyaç var, aksi takdirde işler kafa karıştırıcı oluyor

Beklenen sonuç

• kdb+ kazanmayacak. Kafka zaten zihin payını ele geçirdi ve flink/risingwave gibi araçlar yükselen yıldızlar

Özet

• kdb+ etkileyici bir teknoloji, ancak 15 yıl önceki seviyede kaldı

• En iyi açık kaynak şirketleri kdb+"ın fikirlerini aldı

  • Parquet/Iceberg, kdb+"ın disk formatı
  • Apache Arrow, kdb+"ın bellek formatı
  • Kafka"nın log/replay/ksql kavramları da benzer
  • QuestDB, DuckDB, Clickhouse'un hepsi asof join'i destekliyor

• Rakipler, kdb+"ın en iyi taraflarını standartlaştırdı

  • Örn: Snowflake, Dremio, Confluent, Databricks'in hepsi Apache Iceberg/parquet destekliyor
  • QuestDB, DuckDB, Python'un hepsi parquet'i yerel olarak destekliyor

• KX şu dört şeyi yapmalı

  • Ücretsiz bir sürüm sunmalı ve düşük maliyetli lisanslar sağlamalı
  • Çekirdek ürünü mükemmel hale getirmeli
  • Öğrenme eğrisini azaltmalı
  • Daha popüler hale gelmeli

GN⁺ özeti

• kdb+ hâlâ güçlü bir teknoloji, ancak rakipler hızla yetişiyor
• Ücretsiz ve açık kaynak araçlar popülerleşiyor; bu da kdb+"ın pazar payının düşme olasılığını artırıyor
• kdb+"ın daha popüler hale gelmesi için ücretsiz sürüm sunması, öğrenme eğrisini düşürmesi ve çekirdek ürünü güçlendirmesi gerekiyor
• Benzer işlevlere sahip ürünler arasında DuckDB, Polars, QuestDB bulunuyor

[GN⁺]

Hacker News görüşleri

• TimeScale, Postgres uzantısıdır ve SQL özelliklerini aynen kullanabilir

  • Sütun tabanlı depolama için sıkıştırma özelliği vardır ve bu sayede çok hızlı çalışır
  • Finans uygulamalarında kullanma deneyimi var ve büyük miktarda veriyi hızlı işleyebilir
  • Slack'te destek iyidir ve kişisel olarak memnuniyet vericidir
  • kdb pahalıdır ve dili verimsizdir

• kdb+ kullanım deneyimi nedeniyle 2 hafta içinde istifa edilen bir örnek

  • Dil tasarımı ve debugging rahatsız edicidir, kodlama kuralları yoktur ya da yetersizdir
  • Şirket kültürü de sorunludur; kod yeterince dokümante edilmez
  • Tüm stack eskidir ve qStudio'dan Excel'e veri kopyalayıp grafik çizme yöntemi kullanılır
  • Docker ve k8s kullanmadan doğrudan sunucuya deploy edilmesi olumlu bir noktadır
  • kdb bir araçtan çok bir silah gibi kullanılır

• kdb+'ın dikey entegrasyon özellikleri avantajdır

  • Tek bir teknolojiyle birçok rol yerine getirilebilir
  • Q dili, veri serileştirme ve IPC özellikleri sayesinde özelleştirilmiş sistemler kurulabilir
  • Ancak kdb+ kapalı ve pahalı olduğu için yeni projelerde benimsenmesi zordur

• kdb+ için ücretsiz sürüm olmadığından bilinirliği düşüktür

  • Finans alanında kdb+ kullanma deneyimi vardır ve tasarımı ile sadeliği Unix felsefesine benzer
  • Finans sektöründen ayrıldıktan sonra da kdb+ kullanmak istemiş, ancak ücretsiz sürüm olmadığı için zorlanmıştır

• q/kdb+'dan nefret ettiği için kendi dilini geliştiren bir örnek

  • Python şu anda en yaygın kullanılan seçenektir

• kdb+ kullanarak bir startup'ı başarıyla yürütme deneyimi

  • Ekibi büyütebilmek için FOSS olarak yeniden yazmak gerekmiştir
  • kx'in platformu open source'a dönüştürmesi gerektiği düşünülmektedir

• kdb+ ilginçtir ama fiyatı fazla yüksektir

  • Çok sayıda potansiyel müşteriyi görmezden gelmektedir

• ClickHouse hakkında birkaç düzeltme

  • ClickHouse, 2016'dan beri open source'tur ve 2009'dan beri geliştirilmektedir
  • ClickHouse, üç kullanım senaryosunun tamamını da karşılayabilir
  • ClickHouse, 2019'da ASOF JOIN'i sunan ilk SQL veritabanıydı

• Python şu anda baskın durumda, ancak teknik borç nedeniyle yeni bir platforma geçmek zordur

  • Yeni geliştirme projelerinde Python kullanılacaktır

• kdb+ geliştiricisi olarak büyük para kazanılıp kazanılamayacağına dair bir soru

  • Birkaç yıl önce yıllık maaşı 1 milyon dolar olan pozisyonlar vardı