Datasette Cloud: Datasette için SaaS barındırma platformu

 (datasette.cloud)
2 puan yazan GN⁺ 2023-08-22 | 1 yorum | WhatsApp'ta paylaş
  • Datasette Cloud, açık kaynak Datasette’i ekipler için SaaS olarak barındırarak verilerin özel bir alanda paylaşılmasını ve yalnızca gerekli verilerin dışarıya açılmasını sağlar
  • İlk odak noktası haber odaları; gazetecilerin sunucu kurup işletmesine gerek kalmadan ekip içinde ve kamuoyuna veri yayımlamasına yardımcı olmayı amaçlar
  • Her ekip, yakın bir bölgede özel bir space oluşturur ve Fly.io tabanlı güvenli konteynerler ile space-name.datasette.cloud alt alan adını alır
  • CSV, URL, Socrata tabanlı kamu açık verileri, SQLite dosyaları ve Datasette Write JSON API ile veri içe aktarılabilir; web arayüzünde doğrudan düzenlenebilir
  • Gelecekte yapay zeka destekli sorgular, seçili tablo ve sorguların yayımlanması, veri açıklamaları ve fiyatlandırma eklenecek; şu anda Zoom demo rezervasyonu veya önizleme erişimi talebiyle başlanabiliyor

Ekipler için özel veri iş birliği alanı

  • Datasette Cloud, Datasette açık kaynak projesi için bir SaaS barındırma platformudur
  • Ekipler, verilerle çalışmak için özel bir space oluşturabilir, bunları üyeler arasında güvenli biçimde paylaşabilir ve ardından bazı verileri dışarıya açabilir
  • İlk kullanıcı kitlesi haber odaklı ekipler olarak belirlenmiş durumda
    • Datasette, veri gazeteciliğinden doğdu
    • Amaç, gazetecilerin kendi barındırma sağlayıcılarında Datasette’i bizzat kurup işletmek zorunda kalmadan veri paylaşabilmesini sağlamak
  • Gazeteciler dışındaki şirketler ve kuruluşlar da Datasette Cloud’u kullanabilir
  • Datasette ile yeni tanışan kullanıcılar, açık kaynak proje web sitesinde video demoları ve öğreticileri görebilir

Veri içe aktarma ve erişim yöntemi

  • Her space, kullanıcıya yakın bir bölgede barındırılır ve Fly.io tabanlı bağımsız, güvenli bir konteynerde çalışır
    • Her space’in space-name.datasette.cloud alt alan adı vardır
    • Space yöneticileri ek üyeler davet edebilir
  • Ekip üyeleri verileri çeşitli yollarla içe aktarabilir
    • CSV dosyası yükleyerek tablo oluşturma
    • Bir URL’den CSV dosyası yükleme
    • Socrata tabanlı kamu açık veri portallarından içe aktarma
    • SQLite veritabanı dosyası yükleyerek yeni veritabanı oluşturma
    • Datasette Write JSON API kullanarak veri içe aktarma
  • İçe aktarılan veriler Datasette Cloud web arayüzünde satır içi düzenlenebilir
  • Veri keşfi ve API erişimi için Datasette’in mevcut araçlarından yararlanılır
    • Filtreleme, facet’ler, SQL sorgusu çalıştırma ve sonuçları yer imi olarak kaydetmeyi destekleyen Datasette web arayüzü
    • Exploring a database with Datasette üzerinden öğretici ve canlı demo görülebilir
    • Learn SQL with Datasette, SQL ile veri sorgulamanın yolunu gösterir
    • İnce ayarlı API token’larıyla korunan JSON API üzerinden tablolara erişim ve SQL sorgusu çalıştırma mümkündür
    • datasette-graphql eklentisi tabanlı GraphQL API ile tablo biçimindeki verilere erişilebilir
  • Tüm veriler Fly volumes üzerinde güvenli biçimde saklanır ve Litestream kullanılarak S3’e de yedeklenir

Planlanan özellikler ve başlangıç yöntemi

  • Yakında eklenecek özellikler şunlardır
    • Yapay zeka destekli sorgular: OpenAI ChatGPT, Anthropic Claude ve Google Bard’ın temelindeki büyük dil modellerinin gazetecilerin veri keşfine sorumlu biçimde nasıl uygulanabileceği araştırılıyor; llm.datasette.io adresinde görülebilir
    • Seçilen tablo ve sorguları dışarıya açma özelliği
    • Ekiplerin sütunlara ve satırlara yorum ekleyerek veri analizi iş birliğine ve verinin içindeki hikâyeyi bulmaya yardımcı olan veri açıklamaları
    • Ürün maliyetinin ödenebilmesini sağlayan fiyatlandırma
  • Kullanıcılar Zoom demo oturumu rezerve ederek ilk kullanıcılardan biri olabilir veya demo olmadan önizleme erişimi talep edebilir

İlgili okumalar

1 yorum

 
GN⁺ 2023-08-22
Hacker News yorumları

  • Datasette’i kurum içinde dağıtıp sıradan kullanıcılarla paylaşmak ya da onların tüketmesini sağlamak için fazla büyük olan araştırma verilerini (100 MB~20 GB) barındırmada çok başarılı oldum.
    Eskiden ya çok üst düzey bir özet ve birkaç veri noktası paylaşmak, ya asgari düzeyde bir Django uygulaması yapmak ya da Metabase gibi çok daha ağır çözümler kullanmak gerekiyordu.
    Orta ölçekli veriye gelince sonuçları e-postayla gönderemezsiniz; ağ paylaşımı veya SharePoint gibi müşterilerin alışık olduğu yöntemlerin de sınırları vardır ve sıradan kullanıcılar genelde yalnızca Excel kullanabildiği için veri büyüdüğünde hemen tıkanır.
    Artık bir ölçüde işlenmiş neredeyse her veriyi sunup, birkaç görünüm ve 5 dakikadan kısa bir öğretici (“Bu Super Excel; şöyle filtreliyorsunuz”) verdiğinizde kullanıcılar kendileri keşfediyor.
    İlk dağıtımdan sonra loglara baktığımda, sıradan bir araştırma olmasına rağmen kullanıcıların sistemi durmadan kurcaladığını gördüm; eskiden rahatsız etmek istemedikleri için soramadıkları ne kadar çok ayrıntılı soru olduğunu düşündüm. Datasette’ten sonra sorular, temel kısımları kendileri çözdükleri için çok daha incelikli hâle geldi.

    • Gerçekten harika bir başarı hikâyesi; böyle vaka çalışmalarını toplamamız gerektiğini düşündürüyor.
      “Bu Super Excel; şöyle filtreliyorsunuz” ifadesi özellikle hoşuma gitti.

  • Datasette adını birkaç kez duymuştum ama ne için kullanıldığını doğru dürüst araştırmamıştım.
    Açılış sayfasındaki video bunu çok iyi açıklıyor; bu pek sık görülen bir şey değil.
    Simon ve projenin tamamı tebriki hak ediyor; bulut hizmetinin de başarılı olmasını dilerim.

    • Videonun nerede olduğunu bilmiyorum. Blog yazısına ya da ana sayfaya tıkladım ama göremedim.

  • Datasette, HN’de epey tanınan Simon Willison’ın açık projesi ve bu da gelir elde etme projesi gibi görünüyor. Başarılı olmasını dilerim; umarım Softbank yakında satın alır :-)
    SQLite dosyasını sarmalayıp kolayca yayımlamayı sağlayan bir araca daha yakın; SQLite için Tableau gibi düşünülebilir.

    • Hedef Softbank değil.
      Datasette, tüm kariyerimde ilk kez, 15 yıl sonra hâlâ üzerinde çalışıyor olsam bile sıkılmayacağımı düşündüğüm bir proje. Temel fikrin üzerine inşa edilebilecek ilginç uygulama yelpazesi gerçekten çok geniş.
      Bu yüzden onlarca yıl üzerinde çalışmak istiyorum ama tek başına yapmak yalnızlık veriyor; topluluk büyüyüp keyifli hâle gelse de tam zamanlı bir ekiple aynı şey değil.
      Şu anda çözmeye çalıştığım sorun, projeyi uzun vadede finansal olarak sürdürülebilir kılmanın yolu. Sadece kendime değil, birlikte çalışacağım ekibe de maaş ödeyebilmeliyim.
      WordPress veya GitLab gibi açık kaynak projelerin SaaS barındırma ile sürdürülebilir iş modeli oluşturduğu çok sayıda örnek zaten var; nispeten iyi açılmış bir yol gibi geliyor.
      Ayrıca insanların yazılımımı gerçekten kullanabilmesini istiyorum. Şu anda bireylerin Datasette kullanmak için pip veya brew ile kurması ya da macOS Electron uygulaması https://datasette.io/desktop kullanması gerekiyor; ben ise haber merkezlerinin bunu veriler üzerinde işbirliği yapmak için kullanabilmesini istiyorum. Çoğu haber merkezi Linux sunucusu kurmaya aşina değil.
      Barındırılan SaaS sürümü, önem verdiğim kullanıcıların gerçek değer elde etmesine yardımcı oluyor ve projenin geneli için finansal sürdürülebilirliğe giden gerçekçi bir yol da sunuyor.
      Elbette ben de bundan çok para kazanmak istiyorum.
    • Datasette’i sıradan insanların daha kolay erişip kullanabileceği hâle getirmek için yatırım yapılması iyi olurdu.
      Şu anki UX ve yapılandırma, haberciliğe ilgi duyan veri hacker’larına daha çok uyarlanmış gibi; standart bir veri haberciliği ya da veri gazeteciliği aracı olarak pek görünmüyor.
      Hedef kullanıcılar veri hackleme becerisine sahip olmayabilecek gazetecilerse, başlama eşiği daha da düşürülmeli.
      Datasette ne bir BI aracı ne de bir OSINT aracı; şu hâliyle veri meraklıları ile araştırmacı gazeteciler arasındaki çok dar bir nişte yer alıyor ve bu da potansiyelini ciddi ölçüde sınırlıyor.
      Simon gelir elde etmeyi, özellikle de Datasette Cloud’u daha erişilebilir hâle getirecek birini işe almayı değerlendirmeli. GUI uygulaması yapmak doğru yönde atılmış bir adım gibi görünüyor.
    • Biraz alaycı bir ifade değil mi?

  • Ortamı bozmak istemem ama Datasette tanıtım videosunun tamamını izledikten sonra bile bir şeyi kaçırmışım gibi geliyor
    Bu aslında bir SQL GUI değil mi? Diğer SQL yönetim panelleriyle neredeyse aynı, sadece yazma özelliği eksik gibi görünüyor
    Farkı ne, genişletilebilirlik mi merak ediyorum

    • MS Access’e daha yakın ama arka uç SQLite ve Python olduğu için daha mantıklı bir biçim olduğunu düşünüyorum
      Excel ve Access’le zorla birbirine bağlanarak oluşturulmuş sayısız kritik iş süreci var; Datasette bu tür kullanım için çok daha iyi bir seçenek olabilir. Hem geliştiricilerin hem de iş birimi sorumlularının kullanabileceği bir araç
    • Çok yerinde bir soru; 5 yıldır bunun üzerine düşünüyorum ama hâlâ tek cümleye tam oturan bir yanıtım yok
      Datasette’in en iyi çözdüğü problem, yapılandırılmış veriyi çevrimiçi yayımlamak
      Örneğin dünyadaki elektrik santrallerinin listesini ya da ABD Kongresi’nin tüm geçmişini çevrimiçi paylaşmak istiyorsanız, bir CSV’yi bir web sitesine/GitHub’a/S3’e yükleyebilir, Django/Rails gibi özel bir uygulama geliştirebilir ya da Google Sheet kullanabilirsiniz. Guardian’ın eskiden Google Sheet ile çözdüğü yöntem https://simonwillison.net/2018/Aug/19/instantly-publish-data... adresinde
      Datasette başlangıçta bu problemi çözmek için yapıldı ve SQLite’ın bunun için mükemmel olduğunu düşündüm. Hızlı ve sağlam; salt okunur veri yayımlıyorsanız, yedekleme ya da replikasyon gibi şeyleri dert etmeden dinamik bir web uygulamasını barındırabileceğiniz her yere dağıtabilirsiniz
      Dünyadaki elektrik santralleri örneği https://global-power-plants.datasettes.com/global-power-plan..., ABD Kongresi üyeleri verisi ise https://congress-legislators.datasettes.com/legislators adresinde. İkincisi Datasette öğreticisinde de kullanılıyor: https://datasette.io/tutorials/explore
      Komut satırına alışkınsanız, CSV’yi sqlite-utils ile SQLite’a aktarıp temizledikten sonra datasette publish vercel ve datasette-cluster-map eklentisiyle yayımlamaktan daha hızlı bir yöntem bulmanız zor
      Bu, datasette-publish-vercel eklentisini kullanan bir örnek; ancak Datasette ek eklentilerle Fly, Google Cloud Run, Heroku gibi yerlere de yayımlanabiliyor: https://docs.datasette.io/en/stable/publish.html
      sqlite-utils ile veri temizleme kısmı https://datasette.io/tutorials/clean-data adresinde daha ayrıntılı
      Son 5 yılda Datasette, yayımlamanın ötesine geçip veriye bakmak ve onu keşfetmek istediğim her an kullandığım bir araç hâline geldi. Veri gazeteciliği açısından bu, “veriden hikâye bulmak” demek
      Ticari kullanımda da, bir gazetecinin veriden hikâye bulmasına yardımcı olabiliyorsak, diğer herkesin de kendi verisinden hikâye bulmasına yardımcı olabileceğimize dair güçlü bir sezgim var
      Bir diğer kilit nokta da eklentiler. WordPress’in iyi bir CMS olmasının yanında 10 binden fazla eklentiyle neredeyse her tür içerik yayımlama sorununu ele alıp web’in çift haneli yüzdesine ulaşması gibi, Datasette’in en iddialı hâli de buna benziyor
      Açık kaynak bir keşifsel veri analizi (EDA) ve yayımlama aracı yapmak istiyorum; binlerce eklentiyle veri keşfi, analiz, görselleştirme ve yayımlama sorunlarının çözülebilmesini istiyorum
      Şu anda 127 eklenti var; yol uzun ama iyi bir başlangıç: https://datasette.io/plugins
      Tek cümleye indirgersem, “Datasette, veriyi etkileşimli ve aranabilir bir veritabanı olarak çevrimiçi yayımlamanın en hızlı yolu” ya da “veri için WordPress: keşif, analiz, görselleştirme ve yayımlama için genişletilebilir açık kaynak platform” denebilir

  • Simon, gerçekten harika görünüyor; başarılı olmasını dilerim
    Son birkaç yılda Datasette ile pek çok güzel şey yaptım ve kesinlikle tavsiye ederim. datasette.cloud’u da mutlaka deneyeceğim

  • Datasette harika
    Önceki işimde karmaşık SQL sorgu sonuçlarını hızlıca paylaşmak için Datasette’i şirket içi Azure bulutuna bir şekilde dağıtmanın yolunu bulmuştum; Simon’ın bizzat .cloudu çıkardığını görmek sevindirici

  • Latent Space podcast’inde Simon’ı tanıdıktan sonra birkaç haftadır blogunu ve çeşitli YouTube videolarını izliyorum
    Eski bir gazeteci olarak veri gazeteciliğini öğrenmek istiyordum; bu herkese açılınca denemeyi düşünebilirim

  • Veri gazeteciliğinin artık CSV’yi buluta yükleme biçimine evrildiğini görmek ilginç
    Eski I.R.E. kongrelerinde en sıcak konu, 9 kanallı teyplerden veri çıkarmayı ve çözmeyi öğrenmekti
    FOIA’nın ilk dönemlerinde hükümet, devasa 9 kanallı veri makaralarına yığınla bilgi döküp “talebi yerine getirdik” diyerek haber yapmayı engellemeye çalışırdı
    Böyle ekipmana ya da teknik kapasiteye sahip haber merkezleri neredeyse yoktu; bu yüzden kendi çözümlerini bulmaları ya da yardımcı olabilecek şirket ve kurumlar aramaları gerekirdi
    I.R.E.: https://www.ire.org/

    • NICAR’ın (National Institute for Computer-Assisted Reporting, IRE bünyesinde) 1980’lerde kurulduğunu ve mainframe’lerle uğraştığını sık sık hatırlatırım
      Veri gazeteciliği yeni bir şey değil

  • Simon harika bir teknik insan
    Videolarından ve yazılarından epey şey öğrendim; umarım bu iş onun için iyi gider

  • C64 C2N Datasette teyp sürücüsünden bahsediyor sandım; öyle olmaması üzdü
    https://en.m.wikipedia.org/wiki/Commodore_Datasette

    • İlk “veritabanı” programımı C64 ve Datasette ile yazmıştım
      Muhtemelen 7 yaşlarındaydım ve gerçekte pek bir şey yapmıyordu ama adı kesinlikle buna bir saygı duruşu
    • “Floppy RAID” [1] gibi bir ruh beklemiştim; daha eski bir teknolojiyle daha da saçma bir şey olacağını sanmıştım
      1: https://youtu.be/1hc52_PWeU8
    • Ben de aynı şeyi beklemiştim
      Tavan arasında hâlâ bir 1531’im var; C16’nın yanında duruyor