8 puan yazan GN⁺ 2024-07-25 | 1 yorum | WhatsApp'ta paylaş
  • Notion + Jupyter'e genişletmeler ekliyor
    • notebook zamanlama, dashboard ve uygulamaya dönüştürme, sonuçları veri çerçevesi olarak döndüren SQL sorguları vb.
  • Mevcut notebook'ların sorunlarını çözüyor
    • paylaşım zorluğu: veri ekibinin çalışmalarını görmek için Docker+Python kurulumu gerekiyor
    • notebook'lar çok karmaşık: kod blokları fazlasıyla arttığı için okunabilirlik düşüyor ve teknik olmayan kullanıcıların anlaması zorlaşıyor
    • veritabanı sorguları, API çağrıları, grafik çizimi gibi basit işler bile karmaşık hale geliyor
  • Briefer'in çözüm yaklaşımı
    • Paylaşım sorununu çözme
      • notebook'ları buluta taşıyarak zamanlanabilir hale getiriyor
      • durum yönetimi ve gerçek zamanlı düzenleme yansıtımı için CRDT'ler ve Yjs kullanıyor
    • Notebook'ları düzenleme
      • temiz tasarım ve blokları gruplayarak düzenleme imkanı sunuyor
      • blokları sekmeler halinde gruplayabiliyor, herkese açık sürümde gösterilecek blokları seçebiliyorsunuz
      • dashboard oluşturma özelliği sunuyor
    • Basit işleri kolaylaştırma
      • tıklamayla grafik oluşturma, AI asistanıyla karmaşık grafik kodu üretme
      • SQL sorgu sonuçlarını otomatik olarak veri çerçevesine dönüştürme, DuckDB ile dosya sorgulama

Başlıca özellikler

  • Dosya ağacı
    • Dosya ağacı, notebook'ları yönetip gezinebileceğiniz yerdir
    • Notion'da olduğu gibi her notebook için simge seçebilir, sıralamayı değiştirebilir veya bir notebook'u başka bir notebook'un içine taşıyabilirsiniz
    • Bir notebook'u sildiğinizde, gerekirse geri yükleyebilmeniz için çöp kutusunda bir kopyası tutulur
  • Bloklar ve sekmeler: Briefer notebook'ları çeşitli blok türlerinden oluşur
    • Metin bloğu: notebook'a bağlam eklemek için
    • Sorgu bloğu: dosyalardan veya Postgres, BigQuery, Redshift, Athena gibi bağlı veri kaynaklarından veri toplamak için
    • Dosya yükleme bloğu: veri bağlı veri kaynaklarında yoksa CSV, XLS veya diğer dosyaları notebook'a eklemek için
    • Python bloğu: veriyi işlemek, görselleştirmeler oluşturmak veya istediğiniz başka işleri yapmak için Python kodu yazmak için
    • Girdi bloğu: notebook'a metin girdisi veya açılır menü gibi etkileşimli öğeler eklemek için
    • Görselleştirme bloğu: kod yazmadan görselleştirme oluşturmak için
    • Notebook'a blok ekledikten sonra bunları sekmeler halinde gruplayarak notebook'u daha düzenli ve gezmesi daha kolay hale getirebilirsiniz
  • Dosyalar ve veritabanları
    • Wrapper veya connector yazmadan, sorgu bloğunu kullanarak dosya ve veritabanlarındaki verileri sorgulayabilirsiniz
    • Veri veritabanındaysa sorgu bloğuyla SQL sorguları yazıp ihtiyacınız olan veriyi alabilirsiniz
    • Veri bir dosyadaysa (CSV, XLSX, Parquet vb.) dosyayı yükleyip normal SQL ile sorgulayabilirsiniz
    • Sorgu bloğuyla veri çerçevelerini de normal SQL ile sorgulayabilirsiniz
  • Otomatik veri çerçevesi
    • Tüm sorgu blokları otomatik olarak sorgu sonucunu içeren bir Pandas veri çerçevesi oluşturur
    • Böylece bu veriyi ek Python bloklarında kullanabilirsiniz
    • Varsayılan olarak veri çerçeveleri query_1 gibi adlandırılır, ancak daha anlamlı bir adla değiştirebilirsiniz
  • AI asistanı
    • SQL ve Python bloklarında bir AI asistanı bulunur
    • AI asistanından yardıma ihtiyaç duyduğunuzda "AI ile düzenle" seçeneğine tıklayıp asistana ne yapmak istediğinizi söyleyebilirsiniz
    • Ardından AI asistanı bir öneri üretir ve deneyebileceğiniz, kabul edebileceğiniz veya reddedebileceğiniz bir diff gösterir
    • Python bloklarında AI asistanı mevcut veri çerçevelerini ve sütunları tanır
    • SQL bloklarında AI asistanı veritabanındaki tablo ve sütunları zaten bildiği için daha iyi öneriler sunabilir ve karmaşık sorguları doğru yazmanıza yardımcı olabilir
    • Bir hata oluştuğunda "AI ile düzelt" seçeneğine tıklayarak AI asistanının düzeltmeyi denemesini sağlayabilirsiniz
  • Zamanlama
    • Notebook'ları saatlik, günlük, haftalık veya aylık gibi belirli aralıklarla çalışacak şekilde planlayabilirsiniz
    • Bir zamanlama oluştururken, çalıştırma başarılı olduğunda veya başarısız olduğunda e-posta ya da Slack mesajı almak için bildirimler de ayarlayabilirsiniz. Başarılı çalıştırmalarda notebook çıktısını içeren bir PDF de alırsınız
  • Anlık görüntüler ve sürüm yönetimi
    • Notebook'u her yayınladığınızda durumunu otomatik olarak kaydeder; böylece zaman içindeki değişiklikleri görebilir ve gerekirse önceki bir sürüme geri dönebilirsiniz
    • Bu sayede notebook üzerindeki değişiklikleri takip edebilir ve sorun çıktığında önceki sürüme dönebilirsiniz
    • Ayrıca her başarılı zamanlanmış çalıştırma, o andaki notebook durumunun bir anlık görüntüsünü oluşturur
    • Anlık görüntüler, sonuçların zaman içinde nasıl değiştiğini görmek veya farklı çalıştırmaların çıktılarını karşılaştırmak için faydalıdır
  • Notebook'tan dashboard'a
    • Notebook çıktılarıyla dashboard oluşturabilirsiniz
    • Özellikle grafik çizmeden önce çok fazla veri düzenleme yapmak gerektiğinde, gereksiz kod veya açıklama eklemeden sonuçları başkalarıyla paylaşabilirsiniz
    • Dashboard görünümü, kullanıcıların girdiler ve açılır menülerle etkileşime girebildiği ancak iç kodu göstermek istemediğiniz veri uygulamaları oluştururken de yararlıdır

GN⁺ görüşü

  • Bu platform, notebook tarzı veri analizi ve görselleştirme işleri için faydalı görünüyor
  • Bulut tabanlı olması sayesinde gerçek zamanlı iş birliği mümkün; kullanıcı dostu arayüzü ve düzenleme özellikleri de okunabilirliği artırıp teknik olmayan kullanıcıların veri analizi sonuçlarını daha kolay görmesini sağlayarak iş birliği verimliliğini yükseltebilir
  • AI asistanının SQL sorguları ve Python kodu yazımını desteklemesi de veri analizi işlerinde üretkenliği artırabilir. Ancak AI önerilerinin doğruluğu ve faydası ancak gerçek kullanımda anlaşılabilir
  • Notebook zamanlama ve sürüm yönetimi özellikleri, tekrarlayan veri analizi işleri veya ekip içi iş birliği için yararlı görünüyor. Yine de bunun için sağlam bir altyapı işletimi şart
  • Dashboard oluşturma özelliği sayesinde analiz sonuçlarının geliştirici olmayan kişilerle kolayca paylaşılabilmesi de bir avantaj. Ancak dashboard düzeni ve tasarım özgürlüğünün ne düzeyde olduğu belirsiz
  • Benzer platformlar arasında Jupyter Notebook, Google Colab ve Deepnote bulunuyor. Briefer'in bunlardan nasıl ayrıştığını düşünmek gerekiyor; örneğin daha kolay kullanım veya daha güçlü iş birliği özellikleri öne çıkabilir

1 yorum

 
GN⁺ 2024-07-25
Hacker News görüşleri
  • Ürün yöneticileri, basit Excel formülleri ve grafikler kurarak işleri kolaylaştırmaya çalışıyor

    • Buna ekran görüntüsü alma gibi işler de dahil
  • Veri mühendisleri, daha teknik işleri yapmak için Superset ve dbt gibi açık kaynak çözümler kullanıyor

  • Şirketler çoğu zaman son kullanıcı arayüzünü kendileri kurmaya çalışıyor

    • Pinterest'in açık kaynak yaptığı bir şeyi hatırladığını söylüyor
  • Notebook benzeri araçlar yapmanın ne kadar zor olduğunu derinlemesine anladığını söylüyor

    • İşbirliği ve UX tarafında sorunlar var
  • Verinin kendisi ve yoğun rekabet içeren pazar nedeniyle özellik önermek zor

    • Popsql'in büyüyemediğini hatırlatıyor
  • Lucas'ın çalışmalarını övüyor; CLI, connector'lar, sembolik hesaplama, çevrimdışı destek ve şifreli namespace eklenmesini öneriyor

    • Bunun ürünü diğer rakiplerin önüne geçireceğini söylüyor
    • Meşgul olsa da konuşmak istenirse ulaşılmasını söylüyor
  • Python ve veri bilimini (pandas, Polars, scikit learn, XGBoost vb. ile Jupyter üzerinde) yoğun şekilde öğretiyor

    • Yazılım mühendisliğinin en iyi uygulamalarını da öğretiyor
  • Eğitimin birçok sorunu çözdüğü yönündeki deneyimini paylaşıyor

    • Bunu yakın zamanda bir müşteride yeniden gördüğünü söylüyor
  • Yeni başlayan dostu kod yazmaya odaklanmak yerine, uzman seviyesinde kod yazılması gerektiğini düşünüyor

    • Yeni başlayanların bu kodu sevmeyeceğini söylüyor
  • Sosyal medyada eleştiri aldığını ama öğrencilerinden ve okurlarından olumlu geri dönüşler gördüğünü belirtiyor

  • Notebook'lar, cron işleri ve durum saklama kullanan iş akışları kurma deneyimi olduğunu söylüyor

    • Sorunu bütüncül biçimde çözmeye çalışma çabasını memnuniyetle karşıladığını belirtiyor
  • Çıkışı kutluyor ve örnek GIF'teki 90'lar Mac Finder görünümünün dikkat dağıttığını söylüyor

    • Görsel ve anlamsal olarak sadeleştirilmesini öneriyor
  • Python/kod bloğu desteğini ilgi çekici buluyor

    • Jupyter notebook'ların her yerde çalıştırılabildiğini söylüyor
    • Bunun yerel kurulum ya da yerel Python kurulumuna bağlantı aracılığıyla destek verip vermediğini soruyor
    • Tüm Python kodunun bulut sunucularında mı çalışması gerektiğini ve yüksek performanslı GPU erişiminin mümkün olup olmadığını soruyor
  • Çıkışı kutluyor ve Hex gibi mevcut araçlarla karşılaştırıldığında bunun nasıl gelişeceğini merak ediyor

  • Teknik olmayan organizasyonlar için çevrimiçi işbirliği aracı olarak da satılabileceğini söylüyor

    • Birçok kişinin Microsoft Access'ten daha kullanışlı bir araç istediğini belirtiyor
  • İç sorgu kataloğu ve dashboard'lar oluşturmak için faydalı bir araç olabileceğini söylüyor

    • Grafana'daki "değişkenler"e benzer dinamik alan seçicileri destekleyip desteklemediğini soruyor
  • Notebook'ların ilk sorununun paylaşım zorluğu olduğunu söylüyor

    • PM'lerle notebook'ları GitHub bağlantıları üzerinden paylaştığını belirtiyor