Project Sistine - MacBook'u 1 dolarlık donanımla dokunmatik ekrana dönüştürme

 (anishathalye.com)
5 puan yazan GN⁺ 29 일 전 | 1 yorum | WhatsApp'ta paylaş
  • MacBook'u yalnızca 1 dolarlık parça ve bilgisayarlı görü teknikleriyle dokunmatik ekran gibi çalışır hale getiren bir prototip proje
  • Dahili web kamerasının önüne küçük bir ayna yerleştirerek ekranı eğik açıdan algılıyor ve parmak ile yansımasının kesişim noktasını dokunuş olarak tespit ediyor
  • Ten rengi filtreleme ve kontur analizi ile dokunma·hover noktalarını hesaplıyor, ardından homografi düzeltmesi ile bunları ekran koordinatlarına eşliyor
  • Tespit edilen girdiler fare olaylarına dönüştürülüyor, böylece mevcut uygulamalarda da anında dokunmatik kullanım mümkün oluyor
  • 480p kamerada da çalışıyor; yüksek çözünürlüklü kamera veya kavisli ayna kullanılırsa algılama alanı genişletilebilen düşük maliyetli bir dokunmatik ekran uygulaması örneği

Project Sistine Genel Bakış

  • MacBook'u dokunmatik ekrana dönüştürmek için yalnızca 1 dolarlık donanım ve basit bilgisayarlı görü teknikleri kullanıyor
    • Yaklaşık 16 saatte 4 kişi tarafından geliştirilen bir proof-of-concept prototip
    • Adı, Sistina Şapeli'ndeki 'Yaratılış' tablosunun yeniden canlandırılmasından esinleniyor

Temel Prensip

  • Ekrana eğik açıyla bakıldığında ışık yansıması nedeniyle parmağın ve yansımasının birlikte görünmesi olgusundan yararlanıyor
    • Parmağın yansımasına temas ettiği anı tespit ederek dokunma olup olmadığını belirliyor
  • Fikir, Kevin'in daha önce geliştirdiği ShinyTouch projesinden alınmış
    • Harici web kamerası kullanan yaklaşım, MacBook dahili web kamerası ve küçük bir ayna ile değiştirilmiş
    • Dahili kameranın önüne küçük bir ayna yerleştirerek ekranın tamamına eğik açıdan bakan bir görüş elde ediyor
    • Kamera görüntüsünde parmak hareketlerini algılayıp dokunma olaylarına dönüştürüyor

Donanım Yapısı

  • Gereken malzemeler küçük ayna, kağıt tabak, kapı menteşesi, sıcak silikon tabancası gibi basit parçalardan oluşuyor
    • Ayna uygun açıda sabitlenerek kameranın tüm ekranı görebilmesi sağlanıyor
    • Sadece bıçak ve sıcak silikon tabancasıyla birkaç dakika içinde monte edilebilecek bir yapı

Parmak Algılama Algoritması

  • Giriş görüntüsünde parmağı ve yansımasını bularak dokunma/hover noktasını hesaplıyor

    • Ten rengi filtreleme ve ikilileştirme → kontur tespiti → iki ana konturun seçimi

      • İki konturun yatay yönde çakışması ve küçük konturun üst tarafta yer alması gerekiyor
      • İki konturun üst ve alt noktalarını birleştiren çizginin orta noktası dokunma/hover noktası olarak belirleniyor
      • İki kontur arasındaki dikey mesafe ile dokunma ve hover ayrımı yapılıyor
      • Sonuç görüntüsünde parmak ve yansıma çizgisi yeşil, sınır kutusu kırmızı, dokunma noktası ise fuşya ile gösteriliyor

Eşleme ve Kalibrasyon

  • Web kamerası koordinatlarını ekran koordinatlarına dönüştürmek için homografi (homography) hesaplanıyor
    • Kullanıcı, ekrandaki belirli noktalara dokunarak kalibrasyon yapıyor
    • Toplanan koordinat çiftlerine dayanarak RANSAC algoritması ile izdüşüm matrisi tahmin ediliyor
    • Kalibrasyondan sonra ekranda kırmızı çizgilerle izdüşüm matrisi görselleştiriliyor, tahmin edilen dokunma noktaları ise mavi noktalar olarak gösteriliyor

Uygulama

  • Prototip, hover ve dokunmayı fare olaylarına dönüştürerek mevcut uygulamaların hemen dokunmatik desteği kazanmasını sağlıyor
    • Kendi uygulamasını geliştirenler, hover yüksekliği gibi ayrıntılı dokunma verilerini de doğrudan kullanabiliyor

Sonuç ve İyileştirme Olasılıkları

  • Project Sistine, 1 dolarlık donanımla bir dizüstünü dokunmatik ekrana dönüştüren deneysel bir uygulama
    • 480p dahili kamerada da çalışıyor; yüksek çözünürlüklü kamera veya kavisli ayna kullanılırsa tüm ekranı algılamak mümkün olabilir
    • Düşük maliyetle pratik bir dokunmatik ekran sistemine dönüşme potansiyeli taşıyor

Kaynak Kodu

  • Sistine prototipi MIT lisanslı açık kaynak olarak yayımlandı

İlgili okumalar

1 yorum

 
GN⁺ 29 일 전
Hacker News yorumları

  • Steve Jobs, 2010'da dikey dokunmatik ekranların sadece etkileyici demolar için olduğunu, pratikte ise kolları hızla yorduğu için ergonomi açısından berbat olduğunu söylemişti
    Bu alıntı Business Insider yazısında yer alıyor

    • 2007'de de “stylus istemeyen kimse yok” değil, “stylus kimsenin istediği bir şey değil” diyerek parmağın en iyi işaretleme aracı olduğunu vurgulamıştı. İronik biçimde 8 yıl sonra Apple Pencil çıktı
    • Aslında “gorilla arm” UX araştırması çok daha eskiye dayanıyor. Microsoft Surface niş bir başarı yakalayıp birçok klona yol açtı; bugünlerde ekran düz yatırıldığında ya da düşük açıyla kullanıldığında dokunmatik oldukça iyi çalışıyor
      Eski ucuz Android stylus telefonları ya da Palm Pilot kopyaları gerçekten berbattı, ama sanatçılar için basınç algılayan stylus hâlâ faydalı bir araç
      (Bu arada “gorilla arm” terimi 1980'lerdeki Jargon File'dan geliyor)
    • Buradaki itiraz, dokunmayı ana arayüz olarak kullanmaya yönelik. Pratikte ise tek bir düğmeye basmak gerektiğinde doğrudan ekrana dokunmak çoğu zaman fareden daha hızlı oluyor. Bir seçenek olarak dokunma harika
    • Ben de iş yerinde dokunmatik+stylus tabanlı bir CAD uygulaması geliştiriyorum ve klavye kısayolları olmasa da çalışma akışı gayet doğal
      Cihazı düz şekilde koyarak ya da döndürerek kullanıyorum; ayrıca Kindle Scribe ve Galaxy Note 10+ da kullanıyorum.
      Apple Sidecar'ı denemek isterim ama bir stylus daha almam gerektiği için kararsızım. Bir gün Apple'ın Newton'ın halefini çıkarmasını umuyorum
    • Apple bu yıl dokunmatik ekranlı bir MacBook çıkarırsa insanların nasıl tepki vereceğini merak ediyorum

  • Bana dokunmatik ekranlı bir MacBook Pro bedava verseler bile istemem. Zaten klavye kısayolları için optimize edilmiş; gidip ekrana basmak için bir neden yok
    İş odaklı kullanımda klavye ve trackpad dokunmaktan çok daha verimli

    • Asıl mesele “dokunmatik ekranlı MacBook'a ihtiyaç var” değil; cam yansımasıyla dokunmayı simüle etmiş olmaları şeklindeki teknik başarı daha ilginç görünüyor
    • İnceleme yapanlar MacBook'ta dokunmatik olmamasını eleştiriyor, ama gerçekte çoğu kişi cihazı dock'a bağlı kullanıyor, dolayısıyla dokunma işe yaramıyor.
      Ana monitör dokunmatik değil, dizüstü ekranı da ikincil ekran olduğu için ona uzanmanın bir anlamı olmuyor. Bu yüzden Touch Bar'ın da başarısız olduğunu düşünüyorum
    • Katlanmayan bir dizüstünde dokunmatik kullanmak, sanki balonun üstüne parmakla resim çizmek gibi tuhaf hissettiriyor
    • Ben de aynı fikirdeyim, ama bir kez dokunma alışkanlığı oluşunca birkaç gün boyunca farkında olmadan MacBook ekranına uzanıyorsun. Bilinçsiz bir beklenti oluşuyor
    • Uzun süre iPad kullandıktan sonra MacBook'a geçince ben de farkında olmadan ekrana dokunmaya çalışıyorum. Muhtemelen bunu sadece ben yapmıyorumdur

  • Bu proje bana eski Johnny Lee Wii-mote deneylerini hatırlattı
    johnnylee.net/projects/wii/

  • Eskiden kullandığım şirket dizüstüsünde dokunmatik ekran vardı ve şaşırtıcı biçimde haftada bir iki kez işe yarıyordu
    Trende yanımdaki kişiye dirsekle çarpmamak için ekrana doğrudan dokunmak daha rahattı ve kaydırma yaparken de bunu parmakla yapmak daha doğal geliyordu
    Ana giriş yöntemi değildi ama ikincil bir giriş seçeneği olarak fena değildi

  • “Cilt tonu filtreleme” ifadesini görünce aklıma soru takıldı. Ölçüt alınan hangi cilt tonu, özellikle de koyu tenlerde ne kadar iyi çalıştığına dair veriyi merak ediyorum

  • Dizüstülerde dokunmatik ekran rahat değil. Şahsen hiç olmamasını tercih ederim

    • Ama kaydırma için dokunma oldukça doğal bir UX sunuyor. iPad'e Magic Keyboard bağlayınca, trackpad ile hassas kontrol yapıp parmakla büyük öğeleri hareket ettirme kombinasyonu harika oluyor
    • Zaten kullanmak istemiyorsan kullanmazsın

  • Gerçekten harika bir bilgisayarlı görü uygulaması. Kodu da paylaştıkları için teşekkürler

  • Basit bir prototip ama ilginç. Işık koşullarına göre algılamanın değişip değişmeyeceğini merak ediyorum — açık havada ya da arkadan aydınlatmada da iyi çalışır mı?

  • “Cilt tonu filtreleme” yerine background subtraction kullanılsaydı daha kararlı olabilirdi diye düşünüyorum. Cilt tonu aydınlatmaya göre fazla değişken

  • Kamerayı ekranın arasına koyup MacBook'u kapatınca ekran kırılacakmış gibi hissettiriyor.
    Mac'leri seviyorum ama donanım o kadar narin ki tedirgin ediyor. Şirket dizüstüsü olunca daha da dikkatli davranıyorum