Makine öğrenimiyle Moğolistan’daki tüm yurt/ger sayısını sayma denemesi
(monroeclinton.com)- Makine öğrenimi algoritmaları kullanılarak Moğolistan genelindeki yurt (ger) sayısını doğrudan saymayı amaçlayan bir proje yürütüldü
- Tekil uydu görüntülerinden yurtları tanıyacak şekilde YOLO modeli eğitildi ve büyük ölçekli veri etiketleme süreci otomatikleştirildi
- Dağıtık sunucular, Docker Swarm, FastAPI ve benzeri araçlarla 120’den fazla worker görüntü tile’larını paralel olarak işleyip sonuçları topladı
- Sonuçta 172.689 yurt bulundu; bu sonuç Moğolistan’daki kentsel büyümeyi ve konut altyapısı sorunlarını anlamaya katkı sağlıyor
- Ayrıca Moğolistan’daki ger bölgeleri ile bunların toplumsal arka planı ve gelişim zorluklarına dair içgörüler de sunuluyor
Makine öğrenimiyle Moğolistan yurtlarını saymak – Projeye genel bakış
Modern Moğol toplumu hakkında merak
- Moğol İmparatorluğu’nun tarihini ve modern Moğolistan’ın bugünkü görünümünü anlamak için veri analizi yapmak yerine Google Maps uydu görünümünü yoğun biçimde inceledi
- Ulan Batur uydu görüntülerinde kilometreler boyunca uzanan devasa yurt kümeleri fark edilince, bunların tam olarak kaç tane olduğunu bizzat saymaya karar verdi
Veri ve etiketleme hazırlığı
- Google Maps üzerinden özellikle Ulan Batur çevresini merkez alarak tile biçiminde (256x256 px) uydu görüntüleri otomatik olarak toplandı
- Tile’lar Label Studio içine aktarıldı ve yurtlar tek tek bounding box’larla elle etiketlenerek annotated data üretildi
- Nesne tespiti algoritması olarak YOLO11 (ultralytics) seçildi ve annotated veri kümesi model eğitiminde kullanıldı
Model eğitimi ve veri kümesinin genişletilmesi
- Yalnızca YOLO11 tabanlı modeli eğitmekle kalınmadı, aynı zamanda etiketleme-yeniden eğitim-etiketleme şeklindeki yinelemeli geri bildirim döngüsü ile otomasyon seviyesi artırıldı
- Başlangıçta veri yetersizliği nedeniyle doğruluk düşüktü, ancak yinelemeli ek etiketleme ve örnek sayısının artırılmasıyla tespit başarımı yükseltildi
- Model eğitimi dizüstü bilgisayar yerine vast.ai GPU kaynakları kiralanarak Docker container ortamında büyük ölçekte yürütüldü. Eğitim tamamlandığında model çıktıları ve metadata otomatik olarak S3 deposuna yüklendi
Ülke çapında tarama sistemi kurulması
Tarama kapsamının optimize edilmesi
- Moğolistan’ın toplam yüzölçümüne göre her zoom seviyesi için tile sayısı hesaplandı
- Nüfus yoğunluğu düşük olduğundan yerleşim dışı bölgeleri elemek için overpass turbo ile insanların yaşama ihtimali olan noktalar çıkarıldı
- Çıkarılan noktaların çevresindeki (2 km buffer) alanlar temel alınarak gerçekten incelenecek tile kümesi büyük ölçüde daraltıldı
Büyük ölçekli dağıtık işleme
- Docker Swarm kullanılarak 8 sunucudan oluşan (toplam 128 vCPU) bir cluster kuruldu
- API sunucusu (FastAPI) ve worker’lar arasında görev ayrımı yapıldı:
- API: Worker’lara atanacak arama alanlarını ve tile kümelerini yönetti, ilerleme ve durum takibi yaptı
- Worker: API’den arama alanlarını alıp ilgili tile’lardaki yurtları modelle tespit ederek sonuçları API’ye kaydetti
Sonuçların toplanması
- Toplamda yaklaşık 270.000 arama alanı ve milyonlarca görüntü paralel işlendi
- Nihai olarak 172.689 yurt, %40 ve üzeri olasılıkla tespit edilen sonuçlar temel alınarak doğrulandı
- Veri kümesi açık olarak paylaşıldı ve arazi kullanımı, oteller, küçük maden sahaları yakınındaki yurt dağılımı gibi analizlerde kullanıldı
Yurtlar ve Moğolistan’ın toplumsal bağlamı
Ger (yurt) bölgelerinin tarihi ve değişimi
- Yurtlar tarihsel olarak Moğol göçebelerinin geleneksel konut biçimiydi; ancak kentleşme ve sanayileşme sürecinde kullanım alanları birçok yönde değişti
-
- yüzyılın başlarında geçici okullar gibi kamusal amaçlarla da kullanıldılar; büyük şehirlere nüfus akışıyla birlikte Ulan Batur gibi yerlerde ger bölgeleri oluştu
"1979 nüfus sayımında toplam nüfusun %51’inin kentlerde yaşadığı görüldü; bu, 1970’lerdeki hızlı kentleşmeyi yansıtıyordu. Konut ve altyapı eksikliği nedeniyle kent çeperlerinde ger bölgeleri genişledi."
Kentleşme ve altyapı zorlukları
- Kırsaldan gelen nüfus yurtlarını da beraberinde getirerek şehre taşındı ve resmi altyapı kurulmadan önce bunları yaşam alanı olarak kullandı
- 2002’de çıkarılan arazi mülkiyetiyle ilgili yasa ile ger bölgelerinde yaşayanların yerleşimlerinin yasal olarak tanınması süreci başladı
- Hükümet Ulaanbaatar 2020 Master Plan gibi yeniden geliştirme politikaları yürütse de fiili ilerleme yavaş kaldı
"Ger bölgesi arazi sahipleri, yeni apartman inşası için arazilerini müteahhitlere satıyor veya takas ediyor; ancak apartmanların değeri çoğu zaman araziden düşük oluyor ya da geliştirme süreci yavaş ilerliyor"
Çıkarımlar ve gelecek görünümü
- Bu durum, ger bölgelerinin resmîleştirilmesi ve altyapı sağlanmasının hâlâ toplumsal ve politik bir sorun olduğunu gösteriyor
- Moğol hükümetinin uzun vadeli hedefi, ger bölgelerine konut, su, elektrik gibi kentsel altyapıyı ulaştırmak
- Veri temelli politika üretimi ve sürekli izleme gerekli
Ek araştırma soruları
- Moğolistan’da ve diğer ülkelerde kentleşme ve sanayileşmenin başlıca nedenleri neler?
- Moğollar arasında şehre yerleşenlerle kırsalda kalanlar arasındaki farklar neler?
- Ger bölgesi geliştirme çalışmalarında hükümetin karşılaştığı zorluklar neler?
- Ülkeler arasındaki gelişme hız farklarının arkasındaki nedenler neler?
Kaynakça
- Başlıca politika, sosyoloji ve altyapı odaklı makaleler, raporlar ve veri tabanları kullanıldı
- “Distributional Effects of Ger Area Redevelopment in Ulaanbaatar, Mongolia.”
- Ulaanbaatar 2020 Master Plan and Development Approach for 2030.
- “Educational Import: Local Encounters with Global Forces in Mongolia.”
- Mongolia: A Country Study. Federal Research Division, Library of Congress.
- Poverty Mapping in Mongolia with AI-Based Ger Detection Reveals Urban Slums Persist after the COVID-19 Pandemic. arXiv.
Kapanış
- Teknoloji ve veri kullanılarak toplumsal sorunlara bakılıyor, toplumsal arka plan ve yerleşim örüntülerine dair yeni bir bakış sunuluyor
- Makine öğrenimi, Docker, FastAPI gibi çeşitli teknikler ve açık kaynak araçların bir arada kullanıldığı pratik bir uygulama örneği
1 yorum
Hacker News görüşleri
Şehirde ger/yurt bölgelerinden söz edilince, göçebe yaşamın ve ger kültürünün kültürel önemini küçümsememek gerektiğini düşünüyorum. Son dönemde iklim değişikliği (çölleşme) ve ekonomik nedenlerle birçok insan istemeden göçebe yaşamı bırakıp Ulan Batur gibi şehirlerin yakınına taşınıyor; çoğu da bunu geçici sayarak, isteksizce kente geliyor. Bu sadece konut yetersizliği meselesi değil; apartman gibi kalıcı yapılara taşınmak, göçebeliği tamamen bıraktıklarının sembolü gibi görüldüğü için buna karşı güçlü bir psikolojik direnç de var. Bu yüzden kalıcı binaların yanına ger kurmak, akrabaların avlusuna eklemek ya da kültürel kimliği korumanın bir yolu olarak genişletip kullanmak sık görülen bir durum. İlk fotoğraflarda bunun örnekleri görülebiliyor
Birkaç yıl önce motosikletle Moğolistan’ı geçerken beni şaşırtan şeylerden biri, iyi ve kalıcı evlerde yaşayanların bile arka bahçesinde mutlaka bir ger bulunmasıydı. Dışarıdan bakan biri olarak “İkinci bir eve neden ihtiyaç var?” diye düşünmüştüm ama yerel halka sorunca bana tuhaf bakmışlardı. Ger, kültürün içine işlemiş durumda; aynı zamanda bir statü sembolü, misafir ağırlama alanı, açık hava yaşamı için mekân ve çok amaçlı bir kullanım alanı
Özbekistan’daki Hiva’da bir sarayda gördüğüm bir şeyi anlatmak isterim: Girişleri ve gösterişli odaları olan tipik bir geleneksel saray olmasına rağmen, duvarlarla tamamen çevrili iç avlulardan birinin köşesinde yuvarlak bir alan, yani ger kurulacak özel bir yer vardı. Bu bölgedeki hanlar da Cengiz Han soyundan geldikleriyle övünürdü; şehir içinde yaşıyor olsalar bile kalıcı bir tavan altında gece geçirmek hanlara yakışır sayılmazdı ve ziyarete gelen akrabalar da bunu hoş karşılamazdı
Toshhovli Palace Vikipedi
[Kabul avlusundaki yuvarlak alanın fotoğrafı](https://en.wikipedia.org/wiki/Toshhovli_Palace#/media/File:KhivaTach_Khaouli_reception_yard_Iwan.JPG)
Moğolistan’da son birkaç sert kış yüzünden bozkırlardan büyük çaplı göç yaşandı ve sürüler ciddi biçimde azaldı; bu nedenle çoğu insan şehirlere akın ediyor. İsteseler bile kalıcı binalarda yer bulmak zor
Duyduğuma göre zaten çoğunun en az bir geri var ve gerektiğinde taşınması da görece kolay. Örneğin özel bir etkinlik olduğunda tekrar kırsaldaki eve döndükleri söyleniyor
Gerde yaşamanın ille de kamu politikası başarısızlığı olarak görülmesindense, bunu kültürel bir tercih olarak yorumlamaya daha yakınım. Geçmişte Cengiz Han da gerde yaşıyordu; gerçekten de bazıları zorunluluktan, bazıları ise kendi isteğiyle bu yaşamı seçiyor. Bu yüzden bu manzaranın kendisini baştan olumsuz saymak doğru değil
Ulan Batur’da standartlaştırılmış gerler var. Büyük pazarlarda parça ya da komple ger kolayca satın alınabiliyor. 2017 itibarıyla bir tanesi yaklaşık 1.000 dolardı. Bu parayla iyi yalıtılmış, kolay taşınabilen küçük bir ev alınabiliyor ve Moğolistan’da şehir dışında neredeyse her yere yerleşmek mümkün (tabii 2.000 koyunla birlikteyseniz otlak kullanımı için yerelle konuşmak iyi olur). Sonuçta ger seçimi yalnızca gelenek ve kültür değil, o koşullarda mantıklı bir karar da
Bu arada, nezaketen Türk tipi konut çadırına yurt, Moğol tipine ise ger denir. Fransa’da buna shabadoo, Kanada’da plumbus, ABD’de ise flib dendiğini söyleyerek şaka yapılıyor. “Benim shabadoo’ma bir yerli ger derse biraz alınırım” diye de espri eklenmiş
Ger kurmak için nasıl bir temel işi yapıldığını merak ediyorum
Moğolistan’da makine öğrenmesi uygulanmış yurt sayısının 0 olduğu söylenmişti
Pek sanmıyorum; tam tersine epey vardır diye tahmin ediyorum
İlk başta yurdu bir meslek ya da insan türü sandım, bu yüzden başlığı yanlış anladım
Teşekkürler, sayende güldüm
Ana dili İngilizce olmayan biri olarak daha doğru cümlenin ne olacağını düşündüm. “Makine öğrenmesiyle Moğolistan’daki tüm yurtları saydım” gibi bir ifade de akla geliyor
OpenStreetMap’te (OSM) zaten ana hatları çizilmiş 89.259 yurdun girdi olarak kullanılmamış olması biraz yazık olmuş gibi geliyor. Tabii bu ana hatları Google Maps görüntüleriyle hizalamakta sorun yaşamış olabilirler
OSM Moğolistan ger etiket istatistikleri
Modelin karo sınırlarında kalan yurtları iyi yakalayamadığını tahmin ediyorum. Ayrıca nüfus 3 milyonken sayının bundan çok daha düşük olması da şaşırtıcı geldi
“3 milyon nüfusa göre yurt sayısı az” yorumuna ilişkin olarak, gerçek sayım sonucu 172.700 ise ve bunların aile başına birer konut olduğunu varsayarsak, yurt başına 4 kişiyle (muhtemelen gerçekte daha fazladır) yaklaşık 690 bin kişi eder; bu da Moğolistan’ın 3,5 milyonluk nüfusunun %20’si. Oldukça makul görünüyor
Linke tıklamadan önce yaptığım kaba tahmini de paylaşayım. Moğolistan’ın nüfusu 3 milyon; bunun 1,5 milyonu başkentte yaşıyor. Yaklaşık 1 milyon kişinin kent dışında yaşadığını varsayıp 4 kişiye bir yurt dersek 250 bin eder. Buna misafir, depo, ev avlusu gibi ikincil kullanımları da ekleyince 300 bin civarı beklerdim; bu da ML uygulamasının sonucunun neredeyse iki katı
OSM gibi kaynakları etiket olarak kullanma fikri coğrafya/makine öğrenmesi projelerinde sık gündeme gelir. Ama OSM’nin lisansı, Google Maps görüntülerinin kullanılmasına izin vermediği için, araştırma amacıyla bile görüntü temini veya yeniden paylaşımında ciddi hukuki sorunlar çıkabiliyor. Google, farklı dış görüntü kaynaklarından alt lisans alıyor ve fikri mülkiyeti sıkı yönetiyor. Görüntü/etiket hizalama sorunu da büyük; ayrıca etiketler görüntü değil GPS koordinatı olabilir. Üstelik ger gibi taşınabilir yapılar söz konusu olunca etiketlerin tamlığı ve tutarlılığı doğal olarak düşer. OSM’nin kapsayıcılığı da büyük ölçüde yerel topluluğun ne kadar aktif olduğuna bağlı. Yine de kendi etiketleriyle tahminleri çapraz doğrulamak için kullanılabilir. Karo tabanlı tespitte ise sınır tahminleri genelde atılır; çakışan pencereler ve NMS gibi yöntemlerle tekrarlar temizlenir
172 bin civarı hâlâ çok büyük bir sayı ve nüfusa oranla yurt sayısının dünyadaki her yerden çok daha yüksek olduğunu vurgulamak gerekir
Google Maps uydu görüntülerini doğrudan indirmenin kullanım şartlarına aykırı olduğunu özellikle belirtmek isterim. Gerçekte bu yüzden kolayca engellenirsiniz; buna rağmen bütün Moğolistan karolarını indirmiş olmalarına şaşırdım
Pazar tekeli dışında bu politikanın nedenini anlayamıyorum
Engellenirseniz yeni hesap açarsınız diyen de var
Sonuç ilginçti; gerçekten yanlış pozitif oranının ne kadar olduğunu merak ediyorum. Depolama tankları, silolar ya da açık yüzme havuzları ger diye yanlış sınıflandırıldı mı diye de sormak isterdim
Üniversite yıllarımda karşılaştığım Geo/ML projelerini hatırlattığı için bunu görmek ayrıca keyifliydi. Avustralya hükümeti de benzer işlere her yıl büyük para harcıyor ama yazının sahibinin sonuçlarıyla kıyaslayınca bizim hükümet çok daha verimsiz görünüyor. Bir arazi parçasını doğru düzgün sınıflandıramıyorlar; küçük ger benzeri nesneleri saymakta bile bu kadar zorlanmaları sinir bozucu
“Toplam 172.689 ger, %40’ın üzerindeki doğruluk tahmin puanıyla tespit edildi” sonucundaki
prediction scoreifadesinin nasıl yorumlanması gerektiğini merak ediyorumBaşta başlığı, Moğolistan’daki bütün yurtların makine öğrenmesini “kullandığı” şeklinde yanlış anlamıştım
Yarı ticari bir çözüm (eğitim için ücretsiz) kullanıldığını söylemişler; derin öğrenme modelinin topolojisi/mimarisi neydi diye merak ediyorum. Daha iyi bir yaklaşım olup olmadığı da ilgimi çekiyor