New York'ta Tüm Metinlerde Arama

• Google Street View'dan 8 milyondan fazla görüntü yapay zekayla analiz edilerek sokaklardaki 138 milyon metin çıkarıldı
• Bunlar aranabilir bir NYC sokak metni veritabanı haline getirilerek bir arama motoru oluşturuldu
• Medya sanatçısı Yufeng Zhao'nun çalışması olan bu proje, belirli kelimelerin (ör. pizza, Broadway, luxury, beware, gold, iglesia, jerk vb.) konum dağılımını haritada göstererek kültürel, ticari ve bölgesel özellikleri görselleştiriyor
• NYC'nin sokak manzarasını bir tür "kaynak kod" olarak okuyan bir deney ve aynı zamanda kentsel veriyi keşfetmenin yeni bir yolu

---

Proje genel bakışı

• Hedef: NYC genelindeki görünür metinleri toplayıp aranabilir hale getirmek
• Veri kaynağı: Google Street View (2007~2025, 8 milyon+ görüntü)
• Teknoloji: Görüntü içi metin tanıma (OCR), konum koordinatı eşleme
• Kapsam sınırlaması: Yalnızca aracın çekebildiği sokakların görünür alanındaki metinler dahil (ara sokaklar, parklar, küçük yazılar hariç)

Başlıca görselleştirme örnekleri

• Pizza: NYC genelindeki pizza dükkânlarının dağılımı
• Broadway: Tüm borough'lardaki Broadway işaretleri ve tiyatroların yoğunlaştığı bölgeler
• Luxury: Yeni konut projelerinin tanıtım metinleri, Hudson Yards bölgesinde yoğunlaşıyor
• Beware: Ev ve çit bulunan dış mahalle konut bölgelerinde yoğun, Manhattan'da ise neredeyse yok
• Gold: Diamond District ve altın alım satımı yapan dükkânların bulunduğu caddeler
• Iglesia: İspanyolca konuşan toplulukların kilise konumları
• Jerk: Jamaika yemekçileriyle bilinen Flatbush ve Jamaica bölgeleri
• Unisex: Berber ve güzellik salonu birleşimi işletmelerin coğrafi dağılımı

İlginç metin örnekleri

• Fedders: 1950~90'larda kullanılan ankastre klima markası logosu, "Fedders house" olgusu
• Yodock: Şantiyelerde kaldırımlar için kullanılan plastik bariyer markası
• 4Cars (Acars): Yasa dışı biçimde yapıştırılan ikinci el araç alım ilanları, OCR yanlış okuması
• Sabrett: NYC'nin simgesel hot dog arabası markası, turistik bölgelerde dağılım gösteriyor
• Halal: Helal yemek satan dükkânlar ve arabalar; 1980'lerde başlayıp kentin yemek kültürünün parçası haline geldi
• Siamese: İtfaiye hortumu bağlantı türünün adı
• Surveillance: Güvenlik kamerası uyarı yazıları, kamusal ve özel alanlarda yaygın

Yorum ve anlam

• Proje, kenti metin tabanlı bir harita olarak yeniden yorumlayarak ticaret, kültür, güvenlik ve altyapının izlerini görünür kılıyor
• Belirli kelimelerin coğrafi dağılımı, kültürel çevreler, sektörler ve toplumsal özelliklerle yakından ilişkili
• Uyarı ve gözetimle ilgili kelimeler, NYC'nin güvenlik ve denetim kültürünü ve kamusal alanların kayıt altına alınma niteliğini yansıtıyor
• Veriler, yalnızca görselleştirme için değil, kent tarihi, sosyoloji ve markalaşma araştırmaları için de kullanılabilir

[yeorinhieut]

Metin oldukça halüsinatif duruyor.

"all text in nyc", New York şehrinin Google Street View görüntülerindeki metinleri bulan bir arama motoru. Herhangi bir kelimeyi veya ifadeyi aratarak bunun şehir genelinde nerelerde geçtiğini görebiliyorsunuz — mağaza tabelalarında, graffiti yazılarında, reklamlarda ve protesto pankartlarında.

Aslında metindeki site, Street View görüntülerinin tamamına OCR uygulayıp belirli kelimeleri bulmayı sağlayan bir site.

[yeorinhieut]

Düzeltilmiş görünüyor

[crawler]

Gerçekten çok ilginç ama bunu yapan yerin devlet ya da Google gibi bir şirket değil de başka biri olduğunu düşününce biraz ürkütücü geliyor.
Dünyanın veriyle dolup taştığını hissediyorum

[GN⁺]

Hacker News görüşü

• Bu siteyle ilgili şu yazı da gerçekten çok ilginç: The Pudding'in Street View projesi

  • The Pudding şu sıralar internette görülebilecek en iyi içeriklerden bazılarını üretiyor

  • En üste eklendi

• YouTube'da çeşitli şehirlerde yürüyerek gezen videolar çeken insanlar var. Benim kişisel favorim özellikle Tokyo/Japonya yürüyüş videoları. Böyle videolardan 3D haritalar üretmenin de harika olabileceğini düşünüyorum. Bu alan benim uzmanlık alanım değil ama bunu zaten yapmış şirketler vardır diye tahmin ediyorum. Böyle videolarda inanılmaz miktarda veri var. Belki robot eğitimi için de ücretsiz kullanılabilir (örneğin kalabalık içinde yürüyen teslimat robotları)

  Teknik olarak bu muhtemelen SLAM, fotogrametri ve VIO kombinasyonu olurdu, ama IMU olmadığından o kısmı videodan tahmin etmek gerekir. Kareler ve ışık titreşimi için bile muhtemelen fazla hızlı olurdu

  Örnek bağlantılar: Tokyo sokak yürüyüşü, başka bir örnek

  • Benzer şekilde, emlak fotoğrafları gibi durağan görsellerden kat planı çıkaran bir araç olsa gerçekten çok faydalı olurdu. Kısmen elle giriş gerekse bile kullanılabilir olurdu

  • Eskiden Tokyo'nun elektronik çarşılarını dolaşıp YouTube videoları çeken biri vardı. İlginç biçimde akıllı telefon ya da robot parçaları satın almak için en iyi yerler hiç dikkat çekmeyen binaların içindeydi ve gerçekten yerel bilgi olmadan bulunacak yerler değildi. Eğer önerildiği gibi bu gerçekten yapılabilirse, gezginlerin böyle yerleri bulmasında inanılmaz yardımcı olurdu. Gerçekten görmek isterim

• Google Maps aramasına böyle bir özellik eklenirse gerçekten çok ilginç olurdu. Google Maps'te bilgi bulmanın yetersiz kaldığını sık sık hissediyorum. Yakın zamanda Gran Canaria'nın güneyinde pour-over kahve satan bir yer aradım ve sonunda sadece bir otelin içinde tek bir yer bulabildim; bulmam 30 dakikamı aldı. Genelde pourover ya da v60 gibi filtre terimleriyle arıyorum ama kafenin açıklamasında veya yorumlarında bunlar açıkça geçmiyorsa bulmak zor oluyor. Müşterilerin çektiği fotoğraflardaki metinler (örneğin menüler) hiç indekslenmiyor gibi görünüyor

  • V60 diye arayınca çoğunlukla Volvo araçları çıkacakmış gibi geliyor ama gerçekte kafelerde bu tür kelimelerin geçtiği kaç fotoğraf olduğunu merak ediyorum

  • Kahveciler bu tür kelimeleri düşünmemişse artık düşünmeleri iyi olabilir. Açıkçası ben de bu siteye yeniden bakacağım gibi duruyor

• Veriyi hazırlayan kişinin GitHub'ını merak ettiğim için yazıyorum. New York verisini analiz etmek için ne kadar işlem kaynağı gerektiğini merak ediyorum. Bunu kendi şehrimde de yapmak isterdim ama bütçemin çok yetersiz kalacağından korkuyorum. Bkz. yz3440 GitHub (Aşağıdaki yorumlar haklı. Aslında endişelenilmesi gereken şey işlem gücünden çok Google Maps API ücretleri. Ücretsiz yöntemlerle yapılsa yazarın bile yıllarını alırdı. Yazarın bütçesini kıskandım)

  • OCR işlem maliyetinin ucuz olacağını tahmin ediyorum. Güçlü bir kişisel PC ile bir gece ya da bir hafta içinde yeterli olur diye düşünüyorum. Sorun Google Maps API kullanım ücretleri. Bir sanat projesi olarak değerlendirilip ücret muafiyeti almadıkça oldukça ağır. Maps Platform fiyatlandırmasına bakın Büyük şehirlerde panorama sayısı çoksa ücretsiz kotanın üstünde binlerce dolara çıkıyor

  • Yazıya göre 8 milyon panorama kullanılmış; sadece Street View API ile bile yaklaşık 30 bin dolara mal olmuş olmalı (statik görsel API'nin çözünürlüğü daha düşük olduğundan muhtemelen 2 kat daha pahalı olurdu). OCR, acele yoksa çok daha ucuz görünür. Örneğin PaddlePaddle sunucusu çalıştıran sıradan bir GPU ile saniyede 4MP işlenebilir. Birkaç bin dolarlık donanımla 3-6 ay çalıştırmak yeterli olabilir (çözünürlüğe ve model boyutuna bağlı olarak)

  • 8 milyon görüntü demek, bir haftaya yayarsanız saniyede 13,2 görüntü demek. Merak ettiğim şey, veriyi Google API kullanarak mı çektiği yoksa Google ile iş birliği içinde mi yaptığı

  • Claude ile hesaplayınca, Taipei'deki tüm sokak görüntülerini gmap api üzerinden 3 m aralıklarla çekmenin yaklaşık 8.000 dolara mal olacağı sonucu çıktı. Pahalı ama imkânsız bir rakam değil

• fuck gibi küfürlerin sansürlenmesi ilginç. Tam hâlini okuyunca beynin gerçekten etkilenip etkilenmediğini bilmiyorum

  • Gerçek fotoğraflarda o kelime bulunabiliyor. Belki StreetView sürümünde ayrıca bir yerde sansür uygulanmıştır, emin değilim

  • Muhtemelen SEO ya da aile dostu politika nedeniyledir (veya ikisi birden). Bu arada, YouTube videolarında ilk 1 dakikada küfür yasağı da var

• Fool diye arayınca OCR hataları çok fazla çıkıyor; örtülme gibi nedenlerden ötürü. Örnek arama sonucu Surgery of the Fool en iyisi

  • fart araması da aynı şekilde ve çok daha komik. fart arama sonuçları Fart bird special bayağı komik. En sevdiğim staff farting only. Ayrıca BECAUSE THE FART NEEDS, Juice Fart, WHOLESALE FARTS da var

• OSINT (açık kaynak istihbaratı) için çok faydalı olabilir. İstihbarat kurumlarının zaten bunun dünya ölçeğindeki bir sürümüne sahip olup olmadığını merak ediyorum

• Gerçekten harika bir proje. Eğer CLIP benzeri embedding'ler de eklenip yalnızca metin değil, insan kavgası, kedi ve köpek, kırmızı Tesla, palyaço, çocuk ve yavru köpek gibi anlam tabanlı vektör araması da yapılabilseydi 10 kat daha havalı olurdu

• İlgili projeler olarak All Text in NYC ve All text in Brooklyn da var

  • Londra sürümü de var, ilgilenenler için paylaşıyorum: Londra publicinsights.uk

• NY Cerebro adlı bir hizmeti hatırlattı. New York genelindeki yüzlerce kamuya açık sokak kamerasında anlam tabanlı arama yapılabiliyor nycerebro.vercel.app (ör. scaffolding araması)

  • Kamuya açık sokak kameralarının çözünürlüğünün bu kadar düşük olmasına şaşırdım. Araç farı yansımaları da eklenince tatmin edici olmuyor

  • Bu hizmet geçmişte NVIDIA ve Vercel hackathon'unda birinci olan projeydi