Datadog'un Quickwit'i satın alması
(quickwit.io)- Quickwit ekibi Datadog'a katılarak yeni ürün geliştirmeye odaklanacak ve topluluğun projeyi sürdürebilmesi için Quickwit'in yeni sürümünü Apache License 2.0 ile yayımlamayı planlıyor
- Çıkış noktası Elasticsearch'ün ölçekleme sınırları ve yüksek işletme maliyetleriydi; Quickwit, 10 katın üzerinde maliyet verimliliği sunan ve çoklu petabayt ölçeğine kadar büyüyen bir arama motorunu hedefledi
- Binance, Quickwit ile 100PB log servisi kurdu ve günde 1.6PB indeksledi; Mezmo da üretimde binlerce müşteri ve petabayt ölçeğinde log işliyor
- Açık kaynak ilgisi ve gelir artışıyla birlikte Series A değerlendirmesi sürerken, Tokyo·Paris·New York'a dağılmış ekip yapısı ölçeklenme yükünü artırdı ve bu nedenle satın alma fırsatları değerlendirildi
- Quickwit ve tantivy için büyük güncellemeler planlanıyor; yeni Quickwit sürümünde dağıtık alım, cardinality aggregation, performans ve bellek iyileştirmeleri gibi yenilikler yer alacak
Datadog'a katılım ve açık kaynağın devamı
- Quickwit ekibi, Datadog'a katılarak Datadog ile birlikte yeni ürünler geliştirmeye odaklanacak
- Topluluğun Quickwit'i sürdürmeye devam edebilmesi için yeni sürümün yakında Apache License 2.0 ile yayımlanması planlanıyor
- Hem Quickwit hem de tantivy için büyük güncellemeler planlanıyor
- Yeni Quickwit sürümüne topluluğun uzun süredir talep ettiği dağıtık alım eklenecek
- cardinality aggregation, performans ve bellek iyileştirmeleri ile başka ek özellikler de gelecek
Quickwit'in çözmek istediği sorun
- Quickwit, Paul, Adrien ve François adlı üç mühendisin uzun süredir şekillenen ortak çalışma fikrinden doğdu
- Başlangıç kıvılcımı, Paul'ün 2020'deki kişisel projesi tantivy oldu
- tantivy, Lucene'e popüler bir alternatif olarak zaten biliniyordu
- Ekibin hedef aldığı temel sorun Elasticsearch'ün ölçeklenebilirliği ve işletme maliyetiydi
- Elasticsearch etkili biçimde ölçeklenmiyordu
- Maliyet çok yükseliyordu
- Operasyonel karmaşıklık artıyordu
- Hedef, operatörlerin güvenle yönetebileceği, çoklu petabayt ölçeğine kadar büyüyebilen ve en az 10 kat daha maliyet verimli bir arama motoru oluşturmaktı
Dağıtık ekip ve ilk açık kaynak geliştirmesi
- Geliştirme, Adrien'in San Francisco'da, Paul'ün Tokyo'da ve François'nın Paris'te bulunduğu dağıtık ekip yapısıyla başladı
- Farklı zaman dilimlerinden yararlanılarak follow-the-sun geliştirme döngüsü kuruldu
- Rust tercihi, ilk geliştirme hızını ve kararlılığı büyük ölçüde etkiledi
- Common Crawl veri kümesiyle hazırlanan ilk demo HN ön sayfasına çıktı
- Neredeyse hiç hata yoktu; istisna olarak Python'daki
"'NoneType' object has no attribute"hatasından söz edildi
- İlk sürüm 13 Temmuz 2021'de yayımlandı
- Açık kaynak hem stratejik bir tercihti hem de mühendisler için doğal bir seçimdi
- HN görünürlüğü ilk kullanıcılarla sohbetlerin önünü açtı, ancak görüşmeler arttıkça eksik özellikler ortaya çıktı ve çok sayıda ek geliştirme gerekti
Büyük ölçekli kullanım örnekleri ve Rust ekosistemine katkılar
- Mezmo ve Binance mühendislik ekipleriyle tanışmak, Quickwit'in gerçek anlamda büyük ölçekli bir ürüne dönüşmesinde dönüm noktası oldu
- Binance, Quickwit ile 100PB log servisi kurdu
- Günde 1.6PB indeksliyor
- Mezmo, Quickwit'i üretimde kullanarak binlerce müşteri ve petabayt ölçeğinde log işliyor
- Aynı kullanıcı deneyimini sunarken altyapı maliyetini ve karmaşıklığını büyük ölçüde azalttı
- Bu iş birlikleri, Quickwit'in maliyet verimli bir çoklu petabayt arama motoru olarak konumlanmasına katkı sağladı
- Ekip, Quickwit geliştirme sürecinde Rust ekosistemindeki çeşitli kütüphanelere de katkıda bulundu
- tantivy: Quickwit'in temelini oluşturan full-text arama motoru kütüphanesi
- chitchat: Cassandra ve DynamoDB'den esinlenen, hata tespiti içeren bir küme üyelik protokolü
- Bitpacking: bitpacking yoluyla tamsayı sıkıştırma için SIMD algoritmaları
- Whichlang: Rust için hızlı ve hafif bir dil algılama kütüphanesi
- Mrecordlog: çok kiracılı yapı için tasarlanmış verimli bir write-ahead log
Datadog'un seçilme süreci
- 2024 yazında Quickwit, açık kaynak ilgisinin büyümesi, gelirde sıçrama ve VC'lerden güçlü ilgi gördü
- Şirket, yeni bir döneme girip Series A turunu değerlendirme zamanı geldiğine karar verdi
- Ancak Tokyo, Paris ve New York'a dağılmış ekip yapısı zaten ciddi bir yük oluşturuyordu; büyüme bu zorluğu daha da artırabilirdi
- Bunun üzerine Quickwit yeni bir yuva aramaya karar vererek satın alma fırsatlarını değerlendirdi
- Adaylar arasında Datadog açık ara öne çıktı
- Datadog'un kullanıcı deneyimi sunmadaki gücü
- Quickwit'in petabayt ölçeğindeki arama motoru
- Müşteri ortamlarına dağıtılan güçlü çözümler üretme fırsatı bir araya geldi
- Büyük bir şirkete katılmaya dair ilk kuşkular, Datadog ekibiyle yapılan görüşmeler sırasında ortadan kalktı
- Datadog ekibiyle yapılan görüşmelerde entelektüel yetkinlik, alçakgönüllülük ve samimi bir kültür görüldü
Topluluk ve müşteriler
- Quickwit ekibi; çalışanlara, yatırımcılara, katkı sağlayanlara, dostlara ve destekçilere teşekkür etti
- Müşteriler arasında Mezmo, Formal, Radiant Security, MatterLabs, Fly.io anılıyor
- Topluluk da Quickwit yolculuğunun bir parçası olarak ayrıca teşekkür edilen taraflar arasında yer alıyor
1 yorum
Hacker News yorumları
Quickwit'in kurucu ortaklarından biri olarak, Datadog satın alımının HN ana sayfasına çıktığını görmek gerçekten tam bir döngünün tamamlanmış gibi hissettiriyor
Quickwit'in yolculuğu en başından beri HN ile iç içeydi ve ilerleyişi HN ana sayfasındaki gönderilerde aynen kayıtlı: “Searching the web for under $1000/month” https://news.ycombinator.com/item?id=27074481, “A Rust optimization story” https://news.ycombinator.com/item?id=28955461, “Decentralized cluster membership in Rust” https://news.ycombinator.com/item?id=31190586, “Filtering a vector with SIMD instructions (AVX-2 and AVX-512)” https://news.ycombinator.com/item?id=32674040, “Efficient indexing with Quickwit Rust actor framework” https://news.ycombinator.com/item?id=35785421, “A compressed indexable bitset” https://news.ycombinator.com/item?id=36519467, “Show HN: Quickwit – OSS Alternative to Elasticsearch, Splunk, Datadog” https://news.ycombinator.com/item?id=38902042, “Quickwit 0.8: Indexing and Search at Petabyte Scale” https://news.ycombinator.com/item?id=39756367, “Tantivy – full-text search engine library inspired by Apache Lucene” https://news.ycombinator.com/item?id=40492834, “Binance built a 100PB log service with Quickwit” https://news.ycombinator.com/item?id=40935701, “Datadog acquires Quickwit” https://news.ycombinator.com/item?id=42648043
Ana sayfada yer alan bu gönderilerin her biri birer dönüm noktasıydı; topluluğa değerli bir şey katmak istediğimiz için mühendislik yazılarına gerçekten emek verdik. HN'in görünürlük, olumlu geri bildirim, eleştirel yorumlar ve hatta doğrudan iletişime geçen potansiyel müşteriler sağlayarak Quickwit'in başarısında önemli bir rol oynadığına eminim
pg_search https://www.paradedb.com/blog/introducing_search hoşuma gidiyor; başka bir şirket tarafından yapılmış olsa da Tantivy üzerine kurulmuş gibi görünüyor ve bu açık kaynağın büyük avantajlarından biri. Yalnız bu satın alımdan sonra geliştirme durur mu diye endişeleniyorum. Tantivy'nin açık şekilde geliştirilmeye devam etmesi Datadog'un gelirine nasıl katkı sağlar, merak ediyorum
Apache Lucene tabanlı ürünlerle (Solr, Elastic) hiçbir zaman tam ısınamamış biri olarak, Tantivy'nin açık kaynak olarak çıkmasına gerçekten çok sevinmiştim. BM25 puanlaması, düzgün Asya dili desteği, hızı ve bellek kullanımı çok başarılı
https://github.com/quickwit-oss/tantivy
Bence Datadog akıllıca bir seçim yaptı. Tantivy'nin kendisi kalıcı olarak Apache 2 lisansı altında kalır ve açık kaynak topluluğuyla sürdürülebilir bir şekilde bir arada var olabilirse bu fazlasıyla yeterli. Ticari başarıyı hak ediyorlar
Quickwit bu yılın başında PR #5529 ile kurumsal lisans eklemeyi planlıyor gibi görünüyordu, ancak bu duyuruda tam tersine topluluğun devam edebilmesi için Apache License 2.0 altında yeniden lisanslanacağı söyleniyor
Metinde, “Datadog ile yeni ürünler oluşturmaya odaklanacağız ve açık kaynak topluluğunun devam edebilmesi için Quickwit ve tantivy için büyük güncellemeleri yakında yayımlayıp Apache License 2.0 altında yeniden lisanslayacağız” deniyor
Sonuçta daha özgür lisanslı bir Quickwit elde ediyoruz ama satır aralarını okuyunca geliştirme fiilen azalacakmış gibi görünüyor. Kendi kullanım deneyimime göre zaten kararlı bir ürün, bu yüzden büyük bir şikayetim yok; ama bundan sonra neler getireceğini merak ediyordum
Yine de mevcut ürünü OSI uyumlu lisans ile yayımlayarak topluluğun devralabilmesini istiyor gibiler ve bu da makul bir orta yol. Çok daha kötü olabilirdi
Ayrıca Datadog açık kaynakla tamamen ilgisiz bir şirket de değil. Gözlemlenebilirlik pipeline aracı olarak genel kullanıma açık sunduğu Vector oldukça sağlam bir ürün: https://vector.dev/
Son dönemde birkaç modern veritabanının satın alınması biraz üzücü. Büyük yenilikler getirme potansiyelleri vardı
https://www.warpstream.com/, https://www.orioledb.com/, https://quickwit.io/
Supabase, OrioleDB ekibinin hosting yerine depolama motoruna odaklanabilmesi ve çok sayıda kullanıcı geri bildirimi ile hata raporu alabilmesi için ilk dağıtım kanalını sağlıyor. Ortak hedef, OrioleDB'yi yalnızca Supabase için değil her yerde kullanılan Postgres varsayılan depolama motoru adayı haline getirmek
Üç şirketin kurucularıyla da tanıştım ve hepsinin çalışmalarını dünyaya ulaştırma konusunda samimi olduğuna eminim. Bu arada ParadeDB bağımsız ve şimdilik satılma planı yok
Datadog'un düğüm, CPU, container, RAM(KB) ve indekslenen Unicode karakter başına ücret almanın bir yolunu bulmasına geri sayım başladı
Fiyatlandırma modeli epey karmaşık; zamanla bu iyi özelliklerin gerçekten o yüksek fiyatı hak edip etmediğini sorgulamaya başlıyorsun
Mezmo, Quickwit'i production'a alıp binlerce müşteri ve petabayt ölçeğinde log işlediğini, altyapı maliyeti ile karmaşıklığı ciddi ölçüde azalttığını söylüyor; ama hemen ardından Quickwit'in bir rakibe satılması muhtemelen iyi hissettirmiyordur
Geri kalan herkes için iyi tarafı, Datadog batırırsa fork talebinin epey yüksek olacağının işareti olması
İlgili yazılar: Binance built a 100PB log service with Quickwit(6 ay önce, 228 puan, 195 yorum) https://news.ycombinator.com/item?id=40935701
Show HN: Quickwit – OSS Alternative to Elasticsearch, Splunk, Datadog(1 yıl önce, 145 puan, 51 yorum) https://news.ycombinator.com/item?id=38902042
“Bu yazdan itibaren hava değişti. Açık kaynak ivmesi güçlendi, gelir hızla arttı ve VC'ler daha agresif yaklaşmaya başladı. Şirketin yeni bir sayfa açıp Series A topladığı an buydu” denmiş; retorik olarak neden tam o andı?
Gerçekçi cevap tam da burada. VC'ler sadece iyi teknolojiye sahip ve hızla büyüyen şirketlerle yetinmiyor. Portföy değerini yukarı yönlü işaretleyebilecekleri bir up-round istiyorlar; ya da piyasa pahalı bir Series A'yı kaldıracak kadar sıcak değilse exit'i zorlamaya başlıyorlar
Kârlı büyüyen bir şirket kurmak istiyorsan VC parası o yol değil
Blog cümlesinin ifadesi biraz yanıltıcı olabilir. François'nın bahsettiği VC'ler muhtemelen zaten Quickwit'e yatırım yapmış olanlar değil, şirketin durumunu öğrenip olası bir Series A'ya katılmak isteyen ve bu yüzden ulaşan diğer VC'lerdi
Genel olarak sadece bir “yol ayrımında” olduğumuzu hissettik; kimse kolumuzu bükmedi
Datadog'dan gerçekten nefret ediyorum. Bizim şirkette Datadog adı, satmamanız ya da pazarlamamanız gereken tarzları anlatan bir küfür gibi kullanılıyor
2015~2018 civarındaki satış yöntemleri yüzünden tamamen bıktım. Bitmek bilmeyen telefonlar ve e-postalar geliyordu; bardağı taşıran son damla da Lambda ilk duyurulduğunda AWS re:Invent'teki Lambda sunumuydu. Lambda'yı erken denemek için tüm ekip dinlemeye gittik ama meğer Barr'ın “lambda up and running” blogunu yüzeysel biçimde kopyalayan, stand-up komedi gibi sunulmuş bir Datadog çalışanı konuşmasıymış ve sunan kişi Datadog çalışanı olduğunu sürekli vurguluyordu. Sizi içirip keyfinizi yerine getirerek Datadog'un havalı olduğunu düşündürmeye çalışıyorlardı
Ciddi ciddi soruyorum, o zamandan beri şirket yeniden bakmaya değecek kadar değişti mi?
Eski yöneticimin dediği gibi gelir tablosunda iyi insan diye bir kalem yoktur ve birileri bedelini öder. Bu yüzden karanlık bir yolu düşünerek tedirgin olmak kolay
Ama olası sonuçlardan biri, Grafana ekosistemine karşı geçerli bir açık kaynak rakibinin ortaya çıkması; bu bile tek başına ekosistemin geri kalanının yeniden lisanslamaya gitmesini engelleyebilir. Kurucuların para ve güç savaşı olmadan sürdürülebilir bir yol bulduğu bir kazan-kazan da olabilir. Olumlu bakmak istiyorum; bunu zaman gösterecek
Az önce Elastic’ten Quickwit’e geçtim, içim daraldı. Açık kaynaklı ve nesne depolama tabanlı başka hangi log veritabanı tavsiye edilir?
Yaklaşık 3 yıl önce ürün oldukça hızlı değişiyordu ve dokümantasyonun önemli bir kısmı git’teydi; bu yüzden minor sürüm yükseltmelerinde biraz baş ağrıtıyordu, ama şimdi çok daha olgunlaşmış olduğunu düşünüyorum
ClickHouse üzerinde inşa edildiği için hızlı ve ölçeklenebilir
https://github.com/SigNoz/signoz
Bu arada ben SigNoz bakımcılarından biriyim
Küçük bir tek çalıştırılabilir dosya, varsayılan ayarlarla hemen çalışıyor ve tüm verileri tek bir dizinde saklıyor. Nesne depolama desteği yakında eklenecek
Datadog’un bu teknolojiyle ne yapacağını merak ediyorum. Daha birkaç ay öncesine kadar bu şirket kendini Datadog’un açık kaynak rakibi olarak tanıtıyor gibiydi
Finans, sigorta ve sağlık gibi regüle sektörler; veri yerleşimi, gizlilik ve mevzuat gerekliliklerini karşılarken aynı zamanda sistem genelinde görünürlüğü korumak zorunda. Logların müşteri ortamında veya belirli bir bölgede kalması gerektiğinde kesintisiz gözlemlenebilirlik ve içgörü elde etmek zorlaşıyor; Datadog da Quickwit ile birden fazla log aracı eklemeden bu ihtiyacı karşılamaya çalışıyor gibi görünüyor
Daha önce satın aldıkları açık kaynak Vector’a ne oldu? O insanlar hâlâ şirkette mi?