Ağız Tabanlı Touchpad MouthPad, Felçli Hastaların Bilgisayar Kullanmasına Yardımcı Oluyor

 (news.mit.edu)
2 puan yazan GN⁺ 2024-06-15 | 1 yorum | WhatsApp'ta paylaş
  • El kullanımı zor olan kişiler için mevcut sesli yardımcı teknolojiler her zaman uygun değil; Augmental'ın MouthPad ürünü, ağız içi hareketleri akıllı telefon, bilgisayar ve tablet girdisine dönüştürüyor
  • Damakla temas eden basınca duyarlı touchpad ve iki hareket sensörü, dil ve baş jestlerini Bluetooth üzerinden imleç hareketi, kaydırma ve tıklamayla eşliyor
  • Omurilik yaralanması olan kullanıcılar MouthPad'i şimdiden her gün kullanıyor; kuadriplejisi olan bir üniversite öğrencisi de bunu kütüphanede ders çalışmak ve matematiksel ifade yazmak gibi sesin zor olduğu durumlarda kullanıyor
  • Ürün, kullanıcının ağız taramasına dayalı 3D model ile kişiye özel tasarlanıyor; diş hekimliği malzemesinden bir retainer 3D olarak basıldıktan sonra elektronik parçalar ekleniyor
  • Augmental, önümüzdeki bir yıl içinde FDA onayı alarak kullanım alanını tekerlekli sandalye ve robot kol kontrolü ile sigorta geri ödemesine kadar genişletmeyi hedefliyor; daha ince konuşma organı hareketlerini algılayan sonraki sürüm de geliştiriliyor

Ellerini kullanmakta zorlananlar için bir giriş aygıtı

  • Augmental, hareket engeli olan kişilerin kişisel bilişim cihazlarıyla daha doğal etkileşim kurmasına yardımcı olan bir startup
  • İlk ürünü MouthPad, kullanıcının dil ve baş hareketleriyle bilgisayar, akıllı telefon ve tabletleri kontrol etmesini sağlıyor
  • Amaç, ciddi el fonksiyon kaybı olan kişilerin de ellerini kullananlar kadar ustaca telefon veya tablet kullanabilmesi

Ağız içi hareketleri imleç ve tıklamaya dönüştürme biçimi

  • MouthPad'in basınca duyarlı touchpad'i, damakla temas eden konuma yerleştiriliyor
  • Touchpad ve iki hareket sensörü, dil ve baş jestlerini Bluetooth üzerinden gerçek zamanlı giriş sinyaline dönüştürüyor
    • Dili kaydırarak yukarı, aşağı, sola ve sağa kaydırma yapılabiliyor
    • Emme jestiyle sağ tıklama yapılabiliyor
    • Damağa bastırarak sol tıklama yapılabiliyor
  • Dil kontrolü zor olan kullanıcılar salya, sıkma ve diğer jestleri kullanabiliyor
  • Boyun kontrolü daha iyi olan kullanıcılar, head tracking ile ekrandaki imleci hareket ettirebiliyor
  • Augmental, her kullanıcının fiziksel koşullarına uygun bir çok modlu arayüz oluşturmak istiyor

Neden giriş aracı olarak dil seçildi?

  • Dilin konum kontrolünde beynin büyük bir bölgesi görev alıyor
  • Dil 8 kastan oluşuyor ve kas liflerinin büyük bölümü kolay yorulmayan yavaş kasılan liflerden oluşuyor
  • Vega, bu özelliğin bilgisayar etkileşiminde kullanılabileceğini düşünerek ağzı bir giriş aracı olarak denemeye başladı
  • MIT'deki son döneminde, çeşitli sensörler takılmış “lolipop” biçimindeki bir prototiple bunun mümkün olduğunu doğruladı

Gerçek kullanıcılar ve kullanım örnekleri

  • Omurilik yaralanması olan kişiler, MouthPad'i her gün kullanarak tercih ettikleri cihazlarla bağımsız biçimde etkileşim kuruyor
  • Kuadriplejisi olan ve üniversitede matematik ile bilgisayar bilimi okuyan bir kullanıcı, MouthPad ile matematiksel ifadeler yazıyor ve kütüphanede ders çalışıyor
    • Bu tür durumlarda ses tabanlı yardımcı teknolojiler uygun değildi
    • Artık derste not tutmak ve arkadaşlarıyla oyun oynamak için de kullanabiliyor
  • Mevcut kullanıcıların önemli bir kısmında omurilik yaralanması bulunuyor; bazıları ellerini, bazıları ise başlarını hareket ettiremiyor
  • Oyuncular ve programcılar da MouthPad kullanıyor
  • En sık kullanan kullanıcılar günde en fazla 9 saat MouthPad ile etkileşim kuruyor

Kişiye özel üretim yöntemi ve MIT'deki başlangıç

  • Augmental, kullanıcının ağız taramasına dayanarak bir 3D model oluşturuyor ve bu modelden MouthPad tasarımını üretiyor
  • Ekip, diş hekimliği malzemesiyle bir retainer'ı 3D yazdırdıktan sonra elektronik bileşenleri ekliyor
  • Vega, UC Berkeley'de okurken kurucu ortak Corten Singer ile tanıştı, ardından MIT Media Lab'in Fluid Interfaces araştırma grubuna katıldı
  • MIT'de mikrofabrikasyon, sinyal işleme ve elektronik dersleri aldı; çevrimiçi bilgiye erişimi, uykuyu iyileştirmeyi ve duygu düzenlemeyi destekleyen giyilebilir cihazlar geliştirdi
  • Erken geliştirme sürecinde Venture Mentoring Service, MIT I-Corps program ve E14 Fund gibi MIT kaynaklarından yararlandı
  • Augmental, Vega'nın 2019'un sonunda MIT'den mezun olmasıyla resmen kuruldu

Beyin-makine arayüzü yerine seçilen yaklaşım

  • Vega bir dönem beyin-makine arayüzü ile ilgilendi, ancak Neuralink stajının ardından başka bir çözüm aramaya başladı
  • Beyin implantlarının gelecekte insanlara yardımcı olma potansiyeli büyük, ancak geliştirme süresinin uzun olması bir sınırlama
  • Vega, hemen çözüm gerektiren çok sayıda insanla karşılaştı ve MIT'de, beyin implantlarının potansiyelini taşıyıp sınırlamalarından kaçınan bir yaklaşım geliştirmek istedi

FDA onayı ve sonraki sürüm

  • Augmental, önümüzdeki bir yıl içinde ABD'de FDA onayı alarak tekerlekli sandalye ve robot kol kontrolü gibi kullanım senaryolarını desteklemek istiyor
  • FDA onayı, sigorta geri ödemesini mümkün kılarak ürünün erişilebilirliğini artırabilir
  • Şirket, fısıltılara ve iç konuşma organlarının daha ince hareketlerine tepki veren sonraki sürümü geliştiriyor
  • Bu özellik, akciğer fonksiyonunu kaybetmiş ya da hasar görmüş ilk müşteri grubu için önemli
  • Vega, AI ajanları ve ilgili donanımdaki gelişmeleri de olumlu değerlendiriyor; Augmental'ın her zaman kullanılabilir, dayanıklı ve özel bir zekâ arayüzü olmasını istiyor

İlgili okumalar

1 yorum

 
GN⁺ 2024-06-15
Hacker News yorumları

  • Neden 10~15 yıl önce böyle bir şey yoktu? Yardımcı teknolojiler, insanın kendisini doğrudan etkilemeden önce yeterince çok kişi tarafından geliştirilmiyor ya da önemsenmiyor gibi geliyor.

    • Bir üniversite laboratuvarında engelli müzisyenler için yardımcı bir müzik kontrol cihazı geliştiriyoruz. Kısa süredir gördüğüm kadarıyla bu tür projelerin epey büyük bir kısmı araştırma alanından gerçekten sürdürülebilir bir işe dönüşmüyor.
      Fiziksel ve nörolojik özellikler çok çeşitlilik gösterdiği için yardımcı cihazlar çoğu zaman belirli bir kullanıcıya göre özelleştirme, ayarlama ve destek gerektiriyor; bu yüzden de pahalı olma eğilimindeler.
    • Birkaç nedeni var gibi. İlki teknoloji açığı: yardımcı teknolojiye ihtiyaç duymaya başlayan kişi, bunu bizzat geliştirmeye nasıl başlayacağını bilmiyor olabilir. İkincisi bakış açısı farkı: engelsiz bir teknoloji uzmanı olarak sorunu doğru anlamak ve uygun bir şey yapmak zor.
      Üçüncüsü iletişim: ihtiyacı olan kişinin kendi ihtiyacını anlatabilmesi gerekiyor; bu da içgörü ve belli ölçüde teknik beceri gerektirebilir. Sonuncusu para: aylar ya da yıllar harcasa bile para kazandırmama olasılığı yüksek bir projeye kaç kişi kendini adayabilir ki?
    • Göz hareketleriyle yazma: https://www.optikey.org/
      Baş işaretçisiyle yazma: https://www.alimed.com/adjustable-head-pointer.html
      Tek elle yazma: çeşitli klavye düzenleri var https://en.wikipedia.org/wiki/Dvorak_keyboard_layout#Variant...
      Ses tanıma, metinden sese dönüştürme ve Windows erişilebilirlik özellikleri de var. Ürünler gerçekten geliştirilip piyasaya sürüldü; ancak daha çok çalışmaya ihtiyaç var ve bu ürün de sevindirici bir ek seçenek.
    • Yaklaşık 9 yıl önce denemiştim ve çözümü açık kaynak olarak da yayımladım. O dönemde pazarın yeterince büyük olmadığını düşündüğüm için, herkesin araştırma sonuçları üzerine bir şeyler inşa edebilmesi adına açık bırakmaya karar verdim.
      http://pallette.io/instructions.html
    • Doğru. Dünyanın böyle işlemesi üzücü ama MouthPad^’in bu eski kalıbı değiştirebilmesini umuyorum.
      Evrensel tasarım yalnızca uç koşullardaki insanlara değil, herkese fayda sağlar; bu yüzden herkesin ilgilenmesi gerekir. Küçük bir örnek olarak kaldırımlarda rampa/iniş yapılmasının tarihine bakmak yeterli.

  • Bilgisayar kullanımından kaynaklanan aşırı kullanım sakatlanmaları yaşamış herkese yardımcı olabilir gibi. Şiddetli tendinit yüzünden fare ya da trackpad kullanmak çok acı vericiydi; böyle bir cihaz başka bir seçenek olarak olsaydı gerçekten harika olurdu.

    • Neden hâlâ kimsenin ayakla kullanılan fare satmadığını merak ediyorum. İki eliyle yazan sıradan kullanıcılar için de epey pratik olurdu.

  • Yakın zamanda çıkan Vision Pro ve göz izleme de nispeten niş ama erişilebilirliği yüksek bir giriş yöntemi sunuyor. Şimdiden bu bağlamda kullanılıyor.

    “I was having trouble getting around that day,” he said, so he took the day off and did work for his consulting agency, Equal Accessibility, from bed, wearing the Vision Pro, surrounded by screens he controlled with his eyes and a series of custom mouth-sounds that triggered selections. “As I get older, and this happens more often for me,” he said, “I envision myself working virtually with the AVP even more.”
    https://nymag.com/intelligencer/article/apple-vision-pro-dis...

  • Oyunlarda ek kontrol seçeneği olarak kullanmak isterim. Dille nişan almada ustalaşılabilir gibi geliyor. Beyinden dile olan mesafe, beyinden ele olandan daha kısa; acaba tepki süresi de daha hızlı olur mu? Dil kontrolleri e-spora hükmedebilir ;) RGB ağız koruyucular yakında çıkar gibi.

    • RockyNoHands adında bir yayıncı var. Warzone’u tamamen ağzıyla oynuyor.
      Kontrol cihazında, karakteri yönetmek için içine üflediği ya da emdiği tüpler var. Rekabetin yoğun olduğu bir oyunu canlı oynadığını görmek gerçekten etkileyici.
      [0] https://en.wikipedia.org/wiki/RockyNoHands
    • Ortalama bir oyuncunun dil dayanıklılığı ya da dil çevikliği ne seviyededir acaba? Gerçekten işe yarayacak kadar geliştirmek için ne kadar pratik gerekir?
      Bunu iyi kullanmak epey zor olacak gibi.
    • Makaledeki dil faresi fotoğrafı render olabilir ama kabaca 16dpi civarında görünüyor; dünyayı döndürmeye yarayan yardımcı fare olarak uygun olabilir. Çok küçük pikselleri hedeflemek içinse ölçek ayarı gibi bir özelliği olan bir cihaz isterdim.

  • Engellilere yönelik yardımcı teknolojiler, ağızla girişin daha önemli kullanım alanı olsa da aksiyon sporları için oynat, duraklat, sonraki/önceki gibi medya oynatma kontrolleri sunan basit bir Bluetooth ağızlık olsa iyi olurdu

    • Aklıma tam olarak şöyle bir şey geliyor: damağa bir kez dokununca oynat/duraklat, üstteki sol/sağ dişlerin iç tarafına dokununca önceki/sonraki, dili dişlerin iç tarafı boyunca sürükleyince oynatma konumunda gezinme, dili damakta ileri geri sürükleyince ses ayarı
      Oldukça sezgisel olurdu ve şu anda kullandığımız parmak jestlerinden çok daha hassas olacağını düşünüyorum. Endişelendiğim şeyler konfor, yanlış girişler ve konuşmaya etkisi. Yine de diş aksesuarı takan insanlar da var; çok kötü görünmüyor
    • Bu tür kullanım için birkaç örnek verilebilir mi?

  • Keşke brolylegs bunu görecek kadar yaşayabilseydi :( O normal bir kontrolcü kullanıyordu
    Bu arada Microsoft’un da engelli oyuncular için güzel şeyleri var. Adaptive Controller var; ayrıca Byowave ile yakında çıkacak Proteus Controller üzerinde de çalıştı
    https://www.xbox.com/en-US/accessories/controllers/xbox-adap...
    https://www.byowave.com/product/proteus-controller-early-bir...

  • Biraz konu dışı ama klavye/fare katmanının neden daha yaygın yerleşmediğini anlamıyorum. Birkaç yıl önce UHK[1]’yi Kickstarter’da desteklediğimden beri fareyi hiç kullanmıyorum
    Alışmak biraz zaman alıyor ama fareyi klavyeyle kontrol etmek gerçekten harika
    [1] Ultimate Hacking Keyboard

  • İsminin mükemmel olduğundan da bahsetmek gerek. MouthPad, ağzında MouthPad olan birinin “mouse pad” demeye çalışması gibi duyuluyor. Çok güzel

  • Çok uzun zaman önce benzer bir teknoloji hakkında okumuştum. Muhtemelen buydu
    https://www.researchgate.net/publication/224648269_Tongue_dr...