HN Açık: 6DoF destekleyen açık kaynaklı dijital stylus

D-POINT: Optik-ataletsel izleme kullanan dijital kalem

• D-POINT, 6DoF (6 serbestlik derecesi) girişi gerçekleştirmek için kamera takibi ve ataletsel ölçüm kullanan açık kaynaklı bir dijital stylus.
• Düşük gecikme, basınç algılama ve sub-milimetre doğruluk sunar; tüm düz yüzeylerde kullanılabilir ve tüketici sınıfı web kameralarıyla uyumludur.
• Bu proje, elektrik mühendisliği lisans bitirme tezinin bir parçasıdır; kodun ve tasarım dosyalarının açık kaynak olarak yayımlanmasının başkalarına faydalı olması amaçlanmıştır.

Tasarım

• Stylus'un ana parçaları 3D baskıyla üretilir ve bir kuvvet sensörü, USB-C ile şarj olan bir lityum iyon pil, Bluetooth ve mantık için Arduino tabanlı bir geliştirme kartı içerir.
• Görsel poz kestirimi için stylus'un arka tarafına basılı 8 adet ArUco işaretçisi yerleştirilmiştir.

Görsel poz kestirimi (VPE)

• VPE süreci 4 ana adımdan oluşur:
  1. İşaretçi algılama: OpenCV kullanılarak stylus üzerindeki her ArUco işaretçisinin köşeleri algılanır.
  2. Rolling shutter düzeltmesi: Basit bir 2D hareket modeli kullanılarak rolling shutter'ın gözlemlenen köşe konumları üzerindeki etkisi tahmin edilir ve düzeltilir.
  3. Perspective-n-Point (PnP): Bu köşe konumlarından PnP algoritması kullanılarak stylus'un kameraya göre pozu tahmin edilir.
  4. Koordinat dönüşümü: Kameraya ve çizim yüzeyine göre kalibre edilmiş stylus pozu kullanılarak stylus ucunun çizim yüzeyine göre konumu ve yönü hesaplanır.

Ataletsel füzyon

• Genişletilmiş Kalman filtresi (EKF), VPE tahminleri ile ivmeölçer ve jiroskoptan gelen ataletsel verileri birleştirmek için kullanılır; Rauch-Tung-Striebel (RTS) algoritması ise tahminleri gerçek zamanlı olarak iyileştirmek için kullanılır.
• Kamera karelerindeki zaman gecikmesini hesaba katmak için negatif zaman ölçüm güncelleme algoritması kullanılır.
• EKF, NumPy ve Numba kullanılarak uygulanmıştır; ataletsel ölçümlerin kullanılması, yalnızca kamera kullanımına kıyasla gecikmeyi büyük ölçüde azaltır ve hızlı hareketlerde doğruluğu ile raporlama oranını artırır.

GN⁺ görüşü

• D-POINT, ileri düzey teknoloji ve yenilikçi tasarımıyla dijital stylus'lar için yeni olanaklar ortaya koyuyor.
• Açık kaynak olarak sunulması, teknolojiyle ilgilenen kişilere sistemi özgürce kullanma ve geliştirme fırsatı veriyor.
• Bu teknoloji, tüketici sınıfı web kameralarıyla uyumlu olması ve tüm düz yüzeylerde kullanılabilmesi sayesinde kullanıcı deneyimini iyileştirmede önemli bir rol oynayabilir.

[GN⁺]

Hacker News görüşleri

• Projeye duyulan hayranlık

  "Gerçekten harika bir proje. Sadece hayal ettiğim bir şeyi gerçeğe dönüştürmüş. Elite: Dangerous oynarken HOTAS (elle kullanılan gaz kolu ve joystick) ile pedallar kullanıyordum ve uzay gemisini daha iyi bir şekilde kontrol etmenin mümkün olduğunu düşünüyordum. Elimde tuttuğum bir uzay gemisi modelini hareket ettirdiğimde oyundaki geminin de aynı şekilde hareket etmesini istiyordum. Bu proje bunu mümkün kılabilecek gibi görünüyor. İtiş gücü de diğer elle benzer bir şekilde kontrol edilebilir. Böyle yeni ya da alışılmadık giriş modelleri gerçekten inanılmaz ve bu tür yeteneklerle hayal gücünüzü özgürce kullanabilirsiniz."

• Projenin akademik değeri

  "Bu proje, elektrik mühendisliği lisans bitirme tezinin bir parçasıydı. Lisans öğrencisiymiş! Bu projeyle en yüksek notu almadıysa bu büyük haksızlık olur."

• Web kameralarının geleceğine dair ilginç bir değerlendirme

  "Web kamerası kullanım şekli ilginç. Mevcut tekil yaklaşık 78° FOV web kameralarının yerini çiftli (stereo) balık gözü web kameralarının aldığı bir gelecek olacak mı diye merak ediyorum. Bu tür kameralar yeni UX etkileşimlerini (göz takibi dahil jestler) mümkün kılabilir, yeni çevre birimi etkileşimleri (bu stylus gibi, yarış oyunları için direksiyon gibi) sağlayabilir ve VR varlığı hissi de dahil olmak üzere çok daha esnek web kamerası görüşmeleri için 3D 180° çekimi mümkün kılabilir. Bilgisayar ekranının önündeki tüm 3D alanı bir giriş yöntemi olarak kullanma fikri yaklaşıyor ve web kameralarını kullanma biçimimiz bunun yönünde atılmış bir adım gibi hissettiriyor."

• Rolling shutter telafi tekniğine dair farkındalık

  "Rolling shutter telafisi oldukça havalı ve bunun baştan bir sorun olacağını biliyor muydu, yoksa sistemi kurduktan sonra mı fark etti diye merak ediyorum."

• Giriş aygıtlarına yaratıcı yaklaşım

  "Özellikle birleştirme tekniği etkileyici. Laptop keyboard... hand shape, 3D stylus, touch üzerine düşünürken aklıma birkaç fikir geldi. Düğmeler eklenirse bu bir 3D fareye dönüşebilir ama kamera kapsama alanı sorun olabilir. Dizüstü bilgisayar kasasının büyük kısmı boştur (batarya da ince yapılabilir) ve işaretleyicili bir stylus tutarak yazı yazmak mümkün olabilir. Büyük bir uç, ThinkPad klavyesi üzerinde pürüzsüzce kayabilir ve daha seyrek kuvvet sensörleri ile ek uç işaretleyicileri için alan sağlayabilir. İnce silikon şerit kablolar çok esnek olabilir ve benim için stylus'u bir Arduino'ya bağlamak yeterli olur. Ayrıca, atalet sensörünün metal bir clicker benzeri şeyi nasıl algılayacağını da merak ediyorum."

• 6DOF denetleyicilere duyulan heyecan ve projenin yazılım yönüne övgü

  "6DOF konusunda büyük bir heyecanım var! Donanım ve bilgisayarlı görü tabanlı poz çalışması çok iyi, ama döndürülebilen yazılım yüzeyleri çizmek neredeyse daha da etkileyici. Bu, fiziksel kullanıcı arayüzü denetimiyle birlikte herhangi bir biçimde kullanılabilir; örneğin aynı etki için parmakla kullanılan bir slider gibi. Problem çözme becerileri için harika bir proje gibi görünüyor. Elinize sağlık, bravo!"

• Projeye duyulan hayranlık ve Kalman filtresi kullanımına gerçek bir örnek

  "Çok havalı bir proje. Belgeler faydalı. Kalman filtresi kullanımına dair güzel bir gerçek dünya örneği!"

• Projeye duyulan hayranlık ve bizzat yapmak isteme arzusu

  "Gerçekten etkileyici bir proje! Buna bayıldım, bir gün mutlaka yapmayı denemek isterim."

• Robotik/VR uygulama potansiyeli ve teknik sorular

  "Gerçekten harika! Robotik/VR için de faydalı olabilir. Web kamerasıyla tek el takibi nasıl olur? Soru: basıncı jiroskop + ivmeölçer kullanarak takip etmek mümkün mü? En azından bir 'tap'? Bir başka soru: maliyeti ne kadar? Özellikle basınç sensörünün maliyeti ne?"

• Kamerayla harici takibe duyulan merak ve teknolojiye dair hayıflanma

  "Kamerayla harici takip, aklıma gelmemiş çok iyi bir fikir. Valve/HTC'nin kullandığı lighthouse teknolojisinin ucuz bir kopyasını ortaya koyan iyi bir çalışma olmaması üzücü."