Semantik model kayıt defteri oluşturdum.
(hub.rawctx.dev)Merhaba. İlk kez yazdığım için yazarken ellerim titriyor.
Amaç
Bu hizmet, https://tr.news.hada.io/topic?id=26967 [ AI Sonrası Veri Mühendisliği ] yazısını görüp aklıma geldiği için geliştirildi.
osi formatını merkeze alarak, çeşitli semantik model biçimlerini içe aktarma, dışa aktarma ve arama yapabilen bir hizmet oluşturmayı amaçlıyorum.
Yapma nedeni
Şu anda semantik model hakkında konuşmaların giderek arttığını düşündüm. Bu süreçte, çeşitli şirketlerin uzlaştığı biçim OSI(Open Semantic Interchange) ve kısa süre önce 1.0 sürümü yayımlandı.
Bunun gerçekten standart olup olmayacağı belirsiz, ancak talep oluşmadan önce tedarik zinciri tarafını çözerek uluslararası bir projeye katkı sunmak istedim ve bu nedenle geliştirdim. (Yine de, semantik varlık paylaşımı konusunda bunun gerçekten bir talebi olup olmadığına dair yargımı bir miktar askıya almış durumdayım.)
Özellikler
Özellikleri Python SDK, CLI ve web olmak üzere üç alana ayırarak geliştirdim; üçünün de işlevleri aynı.
- dbt metric flow gibi mevcut semantik modelleri içe aktararak OSI formatına dönüştürmeyi, ya da bunun tersini yapmayı mümkün kılmak istiyorum.
Elbette dönüşüm sürecinde kaybolan bağlamı nasıl telafi edebileceğim üzerine de düşünüyorum. - Ayrıca sadece basit aramayla bitirmeyip, arama sonrasında önizleme görüntüleme, measure, dimension gibi öğeleri kolayca inceleyebilmek için kullanım kolaylığı sağlayan özellikler de eklemeyi planlıyorum.
- Ve GitHub'da zaten var olan bir semantik katman indekslendiğinde, özgün yazar ile GitHub kimliği aynıysa claim ederek bunu kendi yayımladığı öğe olarak sahiplenme işlevi bulunuyor.
Teknoloji yığını
Arama için OpenSearch kullandım; altyapı yönetiminde Terraform, backend tarafında ise FastAPI kullandım.
İlginize sunarım.
Henüz yorum yok.