- 4 temel katmandan oluşan pazar düzeyinde açık harita veri setinin ilk resmî sürümü; herkesin serbestçe kullanabileceği küresel harita tabanlı veri sunuyor
- Places of Interest(POI) katmanında dünya genelinde 59 milyondan fazla mekân verisi yer alıyor; navigasyon, yerel arama ve benzeri konum tabanlı hizmetler için temel oluşturuyor
- Buildings·Transportation·Administrative Boundaries dahil olmak üzere bina, yol ağı ve idari sınırları bir araya getiren çok katmanlı bir yapıdan oluşuyor
- Tüm katmanlar Overture Maps veri şeması ile biçimlendirildi; birlikte çalışabilir standart bir yöntemle toplama ve kullanım desteği sağlıyor
- Tek bir kuruluşun üstlenmesi zorlaşan küresel harita verisinin toplama ve bakım maliyetini, paylaşılan varlık modeliyle yürütülen iş birliği üzerinden çözen bir dönüm noktası
Sürüme genel bakış
- Overture Maps Foundation(OMF), ilk açık harita veri setini Overture 2023-07-26-alpha.0 sürümüyle yayımladı
- 4 ayrı veri katmanından oluşuyor: Places of Interest(POIs), Buildings, Transportation Network, Administrative Boundaries
- Her katman, çeşitli açık harita veri kaynaklarını birleştiriyor ve bir dizi kalite kontrolünden geçerek doğrulama ve bütünleştirme(conflation) sürecine tabi tutuluyor
- 2023 Haziran'ında yayımlanan Overture Maps veri şeması ile sürüme alındı
- Places veri seti, dünya genelinde 59 milyondan fazla mekân içeriyor ve navigasyon, yerel arama ile çeşitli konum tabanlı uygulamaların temel unsuru niteliğinde
- Veri seti, download sayfasından indirilebiliyor
Vakfın yapısı ve arka planı
- Aralık 2022'de AWS, Meta, Microsoft, TomTom tarafından kuruldu
- Şu anda haritalama, jeouzamsal ve teknoloji alanlarından 10'dan fazla şirket katılıyor; yeni üyeler arasında ESRI, Cyient, InfraMappa, Nomoko, Precisely, PTV Group, SafeGraph, Sanborn, Sparkgeo bulunuyor
- Harita verisinin, geleceğin uygulamalarını destekleyen bir paylaşılan varlık olması gerektiği anlayışına dayanıyor
- Haritalarda doğruluk, güncellik ve kaynak gereksinimleri arttıkça, küresel harita verisini toplama ve sürdürmenin maliyeti ile karmaşıklığı tek bir kuruluşun kapasitesini aşmış durumda
Veri katmanlarının ayrıntıları
-
Places of Interest
- Daha önce açık veri olarak hiç yayımlanmamış 59 milyondan fazla POI kaydı içeriyor
- Kurucu üyeler Meta ve Microsoft tarafından OMF'ye sağlanan verilerden türetildi; dünya genelindeki mekân verileri için bir taban çizgisi sunuyor
- İleride açık kamu verileri, kitlesel kaynaklı yerel haritalama verileri ve AI/ML teknikleri gibi mevcut kaynaklar birleştirilerek veri sürekli iyileştirilecek, güncellenecek ve genişletilecek
- CDLA Permissive v2.0 lisansı altında sunuluyor; harita üreticileri veya konum hizmeti sağlayıcıları tarafından serbestçe kullanılabiliyor
-
Buildings
- Dünya genelinde 780 milyondan fazla benzersiz bina footprint'i içeriyor
- OpenStreetMap, Microsoft AI tarafından üretilen bina footprint'leri, Esri gibi çeşitli açık veri projelerinin birleştirilmesiyle geliştirildi
-
Transportation
- OpenStreetMap verisinden türetilmiş küresel yol ağı gösterimi sunuyor
- Topluluk tarafından oluşturulan veriyi Overture veri formatında yeniden yapılandırarak tutarlı segment bölümlendirmesi ve linear reference system sağlıyor
- Hız sınırı veya gerçek zamanlı trafik hacmi gibi verilerin eklenmesini destekliyor
-
Administrative Boundaries
- Ülke ve bölgesel idari sınırları kapsayan küresel açık veri seti
- Yer adları 40'tan fazla dile çevrildiği için uluslararası kullanımı destekliyor
Veri şeması ve birlikte çalışabilirlik
- Tüm katmanlar, yakın zamanda yayımlanan OMF veri şeması ile biçimlendirildi
- Harita hizmeti geliştiricilerinin veriyi standartlaştırılmış ve belgelenmiş bir yöntemle toplayıp kullanabilmesi için tasarlandı; böylece birlikte çalışabilirlik sağlanıyor
Yayımlanma amacı ve gelecek planları
- Veri kamuya açık şekilde yayımlanarak kamu geri bildirimi toplanacak; geri bildirimler GitHub veya e-posta üzerinden gönderilebiliyor
- Gelecek sürümlerde yeni açık veri kaynaklarının entegre edilmesi planlanıyor
- Her katman OMF şemasına ek dönüşümlerden geçirilecek
- Harita ögelerine veriyi tutarlı biçimde ekleyebilen kararlı bir kimlik sistemi olan Global Entity Reference System uygulanacak
1 yorum
Hacker News görüşleri
Overture Maps, jeo-uzamsal alandaki büyük oyuncuların; yani TomTom, Amazon, Microsoft gibi şirketlerin Google hariç olmak üzere OpenStreetMap gibi açık veri kümelerini, kendi sahip oldukları özel veriler ve işleme yöntemleriyle birlikte kullanmaya yönelik bir projesi.
Açık veri tabanlı jeo-uzamsal verileri herkesin kendi özel süreçleriyle zenginleştirip, ortaya çıkan sonucu nispeten izin verici Community Database License Agreement - CDLAv2 ile yeniden dağıtan; ancak o veri kümesini oluşturmak için gereken kaynak verileri ve süreçleri kapalı tutan bir konsorsiyum.
OpenStreetMap topluluğunda bu konuda çok tartışma var, ama OSM'e yakın ekosisteme bu kadar çok kaynak aktarılması genel olarak olumlu görülüyor.
İster düşük ücretli sözleşmeli çalışanların yaptığı düzenlemeler olsun, ister uydu görüntülerinden yapay zeka ile çıkarılan içeriklerin toplu içe aktarımı olsun, sorun yarattı.
OSM'in, başka verilerle birleştirildiğinde tamamının aynı lisansla açılmasını gerektiren şekilde lisanslandığını sanıyordum.
Örneğin şu anda üzerinde çalıştığım jeo-uzamsal tabanlı sağlık hizmetine erişim analizinde, places katmanının sağlık hizmeti sağlayıcı konumları için oldukça doğru bir kaynak olduğuna güvenebilseydim bu muazzam değerli olurdu.
CMS verilerini ve sağlık sigortası planı verilerini birbirine bağlayıp OSM Tiger geocoder ile geocode etmek çok iş çıkarıyor; hâlihazırda temizlenmiş veri varsa gerçekten büyük yardım olur.
Google Maps gibi bir haritanın kendisini arıyorsanız Protomaps'i şiddetle öneririm: https://protomaps.com/
Tüm harita verisi tek dosyalık PMTile formatının içinde yer alıyor; bu dosyaya yapılan range request'lerle belirli bir alan/zoom için gereken vektör verisi alınabiliyor.
Örneğin S3'e
myfile.pmtilesyükleyip, Lambda'nın yoldaki x/y/z değerlerini alarak doğru aralığı istemesi ve CloudFront'un tile yanıtlarını cache'lemesi gibi bir kurulum mümkün.Sonra
tiles.mydomain.comya da CloudFront domain'ini aynen kullanıp, frontend'de Leaflet gibi bir şeyle tile'ları çekerek render edebilirsiniz.Leaflet'te protomaps eklentisini/kütüphanesini kullanıp
"[https://tiles.yourdomain.com/20230408/{z}/{x}/{y}.mvt](<https://tiles.yourdomain.com/20230408/{z}/{x}/{y}.mvt>)"gibi bir URL vermeniz yeterli; burada20230408, S3 bucket'ındaki20230408.pmtilesdosyasına karşılık gelir.Yeni pmtiles dosyasını bucket'a koyup istemciyi yeni kaynağı kullanacak şekilde güncelleyebilmeniz ve tile'ların vektör formatında olduğu için istemci tarafında istediğiniz gibi tema uygulayabilmeniz de güzel.
100 GB'tan büyük tüm dünya tile setini kullanmak zorunda değilsiniz; aynı geliştiricinin sağladığı araçla belirli bir coğrafi bölgeyi de indirebilirsiniz: https://app.protomaps.com/downloads/small_map
.pmtilesdosyası 100 GB'ın biraz üzerinde, ama tüm kurulum en fazla bir-iki saat içinde çalışır hâle geldi; işletme maliyeti de Google Maps'ten çok daha düşük olacaktır.Rastgele bir zoom seviyesinde duruyor gibi görünüyor; bu yüzden bu çözümü değerlendirirken önemseyeceğim ayrıntılar eksik kalıyor.
GitHub deposunu kurcalayınca https://protomaps.github.io/PMTiles/?url=https%3A%2F%2Fr2-pu... çıkıyor; Google Maps'in tamamen yerini alacak kadar olmasa da en azından daha ayrıntılı.
MVT haritaları kullanıp anında tile üretmenin, buna bir CGI backend'i ve cache ekleyip Leaflet ile render etmenin kolay bir yolu var mı merak ediyorum.
Leaflet ile yaptığım küçük bir kişisel harita renderer projem var; şu anda Google, OSM ve Esri olmak üzere üç tile kaynağı kullanıyorum, daha fazla kaynak olsa iyi olurdu.
“İdari sınırlar: Ülkelerin ve bölgesel idari sınırların küresel açık veri kümesi; uluslararası kullanımı desteklemek için 40'tan fazla dile çevrilmiş yer adlarını içerir” denmesi ilginç hâle gelecek gibi.
Yanlış hatırlamıyorsam Google Maps, ihtilaflara karışmamak için haritayı isteyen konumun bakış açısına göre sınır çizgilerinin gösterimini değiştiriyordu.
Birçok ülkede sınırları “doğru” göstermemek suç.
İlgili kaynak: https://qz.com/224821/see-how-borders-change-on-google-maps-...
Kullanıcılarınız milyonlar seviyesinde değilse, o ülkelerin içinde bile büyük ihtimalle kimse umursamaz.
Veriyi sağlamak güzel, ama gerçekten almaya çalışınca sanki mümkün olduğunca karmaşık hâle getirilmiş gibi görünüyor
DuckDB kullanarak içe aktarmak gerekiyormuş; neden doğrudan MySQL dump dosyası desteklenmiyor anlamıyorum
Kullanıcının neden DuckDB’ye sahip olması gerektiği de, DuckDB’nin bu kadar yaygın olup olmadığı da tartışmalı
Verdikleri bağlantı da çalışmıyor; pratikte kullanılabilir bir şey yok gibi görünüyor ve bunun nasıl kullanılacağını anlamıyorum
Ayrıca Amazon S3 ve ona erişmek için standart dışı bir sorgu dili gibi şeyler de istiyorlar; bunu da anlamıyorum
Sanırım tek düşünen ben değilim; mevcut yöntemden daha genel amaçlı olmalı
AWS ya da Azure isterse ilgili bucket’ta
s3:Getves3:Listizinlerini açıp kimlik doğrulamasız okumayı mümkün kılmalarının önünde bir engel yokBir AllThePlaces katkıcısı olarak bu konu ilgimi çekiyor https://www.alltheplaces.xyz/
AllThePlaces, name-suggestion-index’te yer alabilecek franchise ve perakende zinciri web sitelerini tarayan Scrapy spider’larını bir araya getiren açık kaynak bir proje; konum verileri CC-0 lisansıyla toplanıyor http://nsi.guide/
Yaklaşık 1700 spider’dan 3 milyon ilgi noktasının biraz altında veri topluyoruz
Overture Maps oldukça kapalı ve tescilli bir proje gibi görünüyor; açıklığı da veri setini ve şema spesifikasyonunu indirebildiğiniz iddiasıyla sınırlı gibi
Öncelikle verinin nasıl üretildiğine dair açık bir açıklama yok; bu yüzden son kullanıcıların doğruluk ve eksiksizlik konusunda güvence alması zor
İdari sınırlar korkunç derecede karmaşıktır; ihtilaflı sınırlar, sınır tanımlarındaki ciddi belirsizlikler ve idari sınır verisini kullanan algoritmaların performansı ile sınır hassasiyeti arasındaki ödünleşimler buna dahildir
Overture Maps’in hangi sınır tanımını izlediğini ya da birden fazla tanımı destekleyip destekleyemeyeceğini bilmiyoruz
Microsoft’un BingBot’un internet taramasından elde edilen
ld+json/microdata coğrafi bilgilerini sağlamış olması mümkün; ancak bu veri, alanların karışması veya yanlış şekilde yeniden kullanılması, 5 yıl önce kapanmış olduğunu belirtmek için alan adında “CLOSED” geçse bile web sayfasının hâlâ durması, çalışma saatleri tanımlarının çok muğlak olması gibi nedenlerle kötü şöhretli biçimde hatalıAllThePlaces’ta mağaza, restoran franchise’ları vb. kuruluşların web sitelerinde yayımladığı dağınık veriyi birleştirmek için insanın oldukça karmaşık kararlar vermesini gerektiren çok sayıda spider var
Alışveriş merkezi içindeki tekil mağazalar gibi ±1–5 m doğruluk ve hassasiyet gerektirebilecek konum bilgilerinde bile, otorite kabul edilen kaynaklar genellikle veriyi 1 mm hassasiyet ve ±10–100 m doğrulukla sağlar
AllThePlaces, Overture Maps, Google Maps gibi yerlerin bile hâlâ saha araştırması yapan insan editörlere, yani OpenStreetMap editörlerine, doğru konumu işaretletmesi ve konum tanımını standartlaştırması gerekiyor
Nokta konumunu tüm düzensiz çokgenin içine sığabilecek en büyük düzgün çokgenin merkezi mi, düzlem bir levhanın kütle merkezi mi, yoksa ana girişin konumu mu sayacağız gibi tanımlara da ihtiyaç var
Overture Maps yer verileri için BingBot’a dayanıyorsa, BingBot’un asla bulamayacağı muazzam sayıda ilgi noktasını kaçıracaktır
Örneğin tüm konumların ve ilgili alanların dönebilmesi için belgelenmemiş REST/JSON/GraphQL API çağrıları ya da gözlemlenen mağaza bulucu API çağrılarının parametrelerini değiştirmek gerekebiliyor
Web geliştiricileri sık sık,
robots.txtiçinde 5 yıl önce güncellenmiş bir site haritasından 1 GB’tan büyük 10 bin sayfayı taramanızı isterken, güncel verinin 5 MB’ını alacak 10 hızlı API çağrısına izin vermemek gibi aptalca işler yapıyorAllThePlaces verisi CC-0 olduğu için Overture Maps bunu serbestçe alıp kullanabilir; ayrıca BingBot tarama verisi, izinli ticari tesislere dair kamu veritabanları, posta adresi geocoding verileri gibi başka kaynaklarla karşılaştırabilir
Ancak birden çok kaynaktaki veri dağınıklığı, insan eliyle bile eşleştirilmesi neredeyse imkânsız bir seviyeye yaklaşacaktır; Overture Maps yinelenen kayıtları göze alıp almayacağına ya da eksiksizlikten vazgeçip vazgeçmeyeceğine karar vermek zorunda kalabilir
Ayrıca başkalarının aynı veriyi yeniden üretebilmesini sağlayacak açık araçlar da yok
AllThePlaces kullanıcıları Cloudflare, Imperva gibi interneti bozan üçüncü taraflardan, özel coğrafi engellemeden ve nadiren de aşırı istek sınırlama mekanizmalarından sık sık etkileniyor
Overture Maps BingBot taramasına dayanıyorsa, Cloudflare, Imperva, müşteri güvenlik duvarları vb. BingBot’a kasıtlı olarak izin verdiği için AllThePlaces’e göre biraz avantajlı olacaktır; ancak dünyadaki ilgi noktalarının mümkün olduğunca çoğunu yakalamak için konut tipi ISP aralıkları ve bot tespiti atlatma yazılımları giderek daha gerekli hâle geliyor
Onlarca ülkede insan bulundurmak ve her ülkeye yönelik web sitelerini o ülkenin konut tipi ISP adres alanından taramak gerekiyor
Aksi hâlde Amerikan tarzı bir dünya görüşüyle, Avrupa tarzı bir dünya görüşüyle ya da bütün resim olmayan başka bir şeyle baş başa kalırsınız
Overture Maps veri temizleme sorunları, kötü kaynaklar ya da belki de otorite olmayan kaynaklar yüzünden belirli bir franchise/marka konumunu yanlış tutsa bile, o franchise/markanın sorun açabileceği ya da patch gönderebileceği bir yazılım deposu yok
AllThePlaces’in yakaladığı Avustralya alışveriş merkezi örneği: https://www.alltheplaces.xyz/map/#18.07/-33.834646/150.98952...
Overture, özel şirketlerin OpenStreetMap gibi açık verilerden yararlanırken bunları kendi tescilli verileri ve süreçleriyle birleştirebilmesi için oluşturuldu
Amaç, çıktıları Community Database License Agreement adlı nispeten izin verici yeni bir lisansla paylaşmak; süreçleri ve temel veriyi ise tescilli tutmak
Burada belirgin bir PR ambalajı da var
Bu tür haritaları “güvenilir” ya da “resmî” bir dayanak gibi sunup ticaret, güvenlik, sigorta talepleri veya güvenlik olmasa da değerli veri temelli faaliyetler için karar zemini olarak kullanmak istiyorlar gibi görünüyor
Kamuoyu ya da kamusal denetim açısından burada ne tür bir telafi yolu olabileceği şüpheli
GitHub deposu burada: https://github.com/OvertureMaps/data
Lisans oldukça izin verici görünüyor; açık harita ekosisteminin mevcut durumunu iyi bildiğimi söyleyemem ama GERS fikri de iyi görünüyor
https://docs.overturemaps.org/gers/
İlginç şekilde dört katmandan ikisi ODbL kullanıyor
Overture’ın burada OSM verilerini nasıl lisans aklamasından geçirebildiği belirsiz
“Ulaşım: OMF’nin ulaşım katmanı, OpenStreetMap proje verilerinden türetilmiş dünya çapındaki karayolu ağını temsil eder. Bu topluluk tarafından oluşturulmuş veri, tutarlı veri bölümlendirmesi ve hız sınırları ya da gerçek zamanlı trafik gibi veri eklemelerini destekleyen bir doğrusal referans sistemi sağlamak üzere Overture veri biçiminde yeniden yapılandırılmıştır” deniyor
OSM’nin ODbL’i, OSM katkıcılarına kredi verilmesi gerektiği konusunda çok net
CDLA Permissive v2.0’ın sihirli biçimde Overture’ın bunu aşmasını sağladığına inanmak zor
Düzeltme: Her veri kümesinin farklı lisans kullandığını kaçırmışım
transport teması ODbL, bu yüzden dikkatli olmayan kullanıcılar kesinlikle buna takılacak gibi görünüyor
CDLA lisansı izin verici: https://cdla.dev/permissive-2-0/
Benim yorumuma göre amaç OSM kredisinden kaçınmak değil; OSM’den gelen kısımlarda OSM kredisi ve lisansını koruyup geri kalanını herkes kullanabilsin diye CDLA 2.0 ile lisanslamak
Makalede CDLA lisansının OSM verilerine değil, Meta ve Microsoft’un sağladığı verilere uygulandığı açıkça belirtiliyor
Meta ve Microsoft’un kendi verilerini OSM’ye katkı olarak vermeyip farklı bir lisansla yayımlaması üzücü ama dünya böyle işliyor işte
Harika
Google’ın bir gün haritalardan bugünkünden daha fazla gelir çıkarmaya çalışacağını düşünüyorum; o zaman bu tür işbirlikçi harita sistemleri gerçekten güç kazanacak
İnsanların uydu görüntüleri satın alıp bunları böyle sistemlere aktarabilmesini finanse etmenin bir yolu olsa güzel olurdu
Örneğin Sunnyvale, trafik, imar vb. konuları tartışırken kullandığı şehir görüntülerine çok para ödedi; böyle görüntüler açık veri kümelerine eklenebilse iyi olurdu
Yanlış hatırlamıyorsam Google da ürününde yerel yönetimlere ait görüntüleri kullanıyor
Tek bir şehir Google’ın önemseyeceği kadar büyük bir kaynak olmayabilir ama özellikle Avrupa’da görüntülere bakarken ulusal/bölgesel yönetimlerin telif hakkı bildirimlerini gördüğüm oldu
Öte yandan bugün uydu görüntüsü kaynağı çok, bu yüzden Google yeni materyale o kadar aç olmayabilir
Google’ın işbirliği yaptığı ticari tedarikçiler muhtemelen ABD ana karasının tamamını yaklaşık 12 ayda bir görüntülüyordur
Daha yüksek talep var gibi görünen şey, çok yüksek yakınlaştırma seviyelerinde kullanılan hava fotoğrafları
Jeo-uzamsal uzmanı değilim ama bu tür görüntüler, görsel materyalin yanında yükseklik haritaları oluşturmak için LIDAR veya çok bantlı görüntüler gibi şeylerle birleştiriliyor gibi görünüyor ve elde etme maliyetleri epey yüksek görünüyor
Bunun OpenStreetMap’ten farkı ne?
Yollar, mağazalar, nehirlerden turistik yerlere, yürüyüş rotalarına ve hastanelere kadar her türlü ayrıntıyı kapsıyor
Herkes katkıda bulunabilir; OSM’ye epey dahil olmuş biri olarak söyleyeyim, haritaya bir şey eklemek istiyorsanız, özellikle de kendi çevrenizdeyse, memnuniyetle karşılanır
Overture ise bazı veri kümelerini açık lisansla dağıtan yeni bir şirketler grubudur; ancak bunları oluşturmak için kullandıkları yöntemler tescilli kalıyor
Yayımladıkları verilerin bir kısmı kendilerine ait, birçok veri kümesi ise OpenStreetMap verilerinin yeniden paketlenmiş hali
Overture, bireysel harita editörlerinden oluşan bir topluluk değil, veri odaklı bir harita projesi olduğu için OSM’yi tamamlamayı amaçlıyor
OSM’yi başka kaynaklarla birleştirerek yeni açık harita veri kümeleri oluşturuyor ve Overture verileri, uyumlu açık veri lisanslarıyla OpenStreetMap topluluğunun kullanımına sunuluyor
Overture üyeleri OSM’ye doğrudan katkıda bulunmaya teşvik ediliyor
Evimin yakınında günde belki 20 kişinin kullandığı çakıllı bir yol var; yakındaki inşaat nedeniyle yolun bir kısmı birkaç metre yana taşındı
OSM hemen ertesi gün bu yeni gerçeği yansıtmıştı
Bunu BigQuery’ye yüklemeyi deneyen oldu mu?
“Google’ı yuhalama” havası olduğunu biliyorum ama ben sadece BigQuery’deki diğer tablolarımla biraz join yapmak istiyorum
Kendi import sürecimi bakımda tutmak yerine kullanabileceğim bir topluluk BigQuery’si gibi bir şey var mı merak ediyorum