- Google I/O 2023'te duyurulan açık kaynaklı Project Gameface
- Eller serbest bir oyun "faresi" olarak, baş hareketleri ve yüz jestleri kullanılarak bilgisayar imlecinin kontrol edilmesini sağlıyor
- İnsanlar kaşlarını kaldırarak tıklama ve sürükleme yapabiliyor, ağızlarını açarak da imleci hareket ettirebiliyor; böylece oyun erişilebilirliği artıyor
- Bu proje, kas hastalığı nedeniyle kuadripleji yaşayan video oyunu yayıncısı Lance Carr'ın hikâyesinden ilham alarak başlatıldı
- Project Gameface, Lance ile iş birliği içinde gerçeğe dönüştürüldü
Projenin kullanımı
- Artık daha fazla kod açık kaynak olarak yayımlanıyor; böylece geliştiricilerin tüm Android cihazlarını daha erişilebilir hâle getiren uygulamalar geliştirmesi destekleniyor
- Cihazın kamerası üzerinden yüz ifadeleri ve baş hareketleri akıcı biçimde izlenerek sezgisel ve kişiselleştirilmiş kontrollere dönüştürülüyor
- Geliştiriciler artık kullanıcıların yüz ifadeleri, jest boyutu, imleç hızı gibi öğeleri özelleştirerek deneyimi yapılandırabildiği uygulamalar geliştirebiliyor
Android için Project Gameface geliştirirken üç temel ilke
- Engelli bireylere Android cihazları kullanmaları için yeni ve ek bir yöntem sunmak
- Ölçeklenmeyi mümkün kılan, maliyet açısından verimli bir çözüm oluşturmak
- İlk Gameface sürümünden edinilen ders ve rehberliği kullanarak kullanıcı dostu ve özelleştirilebilir bir ürün geliştirmek
Android cihazlarda imleç uygulaması
- Android cihazları çalıştırmak için yeni bir yöntem sunuldu
- Project Gameface hakkında gelen olumlu geri bildirimlere dayanarak, geliştiriciler ve kullanıcıların baş hareketleriyle imleci hareket ettirme ve yüz ifadeleriyle işlemler yapma fikrini çok değerli bulduğunu öğrendiler
- Aynı fikir Android cihazlara yeni bir sanal imleç getirmek için tekrarlandı
- Android erişilebilirlik servisleri kullanılarak yeni bir imleç oluşturuldu ve MediaPipe'ın Face Landmarks Detection API'sinden yararlanılarak imlecin kullanıcının baş hareketlerine göre hareket etmesi programlandı
- API içinde, sol kaşı kaldırma veya ağzı açma gibi 52 yüz jestinin ifade gücünü gösteren 52 adet yüz blendshape değeri bulunuyor
- Bunların bir kısmı kullanılarak çok çeşitli işlevler etkili biçimde eşlenip kontrol ediliyor; böylece özelleştirme ve kullanım için daha geniş olanaklar sunuluyor
- Ayrıca blendshape katsayıları kullanılarak geliştiricilere her bir belirli ifade için farklı eşik değerleri belirleme yeteneği veriliyor; bu da deneyimin özelleştirilmesini sağlıyor
Project Gameface görselleştirmesi
- Android erişilebilirlik servislerinin en iyi özellikleri Project Gameface'e taşındı
- Mobil işlemler
- Windows sürümündeki Project Gameface, kullanıcıların tipik tıklama işlemlerini taklit etmesini sağlıyordu
- Ancak Android'de kullanıcıların gerçekleştirmesi gereken işlevler daha çeşitli
- İşletim sistemine girilen dokunma olayları ile "geri", "çoklu görev geçişi", "ana ekran" gibi global eylem olayları bulunuyor
- Android Accessibility API kullanılarak kullanıcıya hangi işlemlerin sunulabileceğine karar verildi
- Şu anda Android için Project Gameface, GLOBAL_ACTION_HOME, GLOBAL_ACTION_BACK, GLOBAL_ACTION_NOTIFICATIONS, GLOBAL_ACTION_ACCESSIBILITY_ALL_APPS destekliyor
- Kamera akışı
- Kamera akışı, doğru eşik ayarlarının yapılmasına ve jestlerin daha iyi anlaşılmasına olanak vererek kullanıcı deneyimini önemli ölçüde iyileştiriyor
- Ayrıca kullanıcıya, kendi baş hareketlerini ve jestlerini anlamak için kameranın aktif olarak kullanıldığını açıkça gösteriyor
- Kamera akışını yalnızca bir overlay olarak oluşturmak, Android ayarları gibi önemli bölümlere erişimi engelliyordu
- Project Gameface ile birlikte Android erişilebilirlik servisleri kullanılarak kameranın Android ayarları ve diğer önemli bölümlerde de görünür kalması sağlandı
- 'Sürükleme işlevi' gerçekleştirilebiliyor
- Android erişilebilirlik servislerinde, kullanıcının gerçek zamanlı olarak etkileşim kurduğu ekran sürükleme hareketini yapmanın şu anda basit bir yolu yok
- Ancak ürün yükseltilerek sürükleme işlevi eklendi ve kullanıcının başlangıç ile bitiş noktalarını tanımlayabilmesi sağlandı
- Sonuç olarak sürükleme işlemi belirlenen yol boyunca sorunsuz şekilde gerçekleştiriliyor
- Beklentiler ve açıklık
- Project Gameface'in potansiyeli konusunda heyecan duyuluyor ve geliştiricilerle şirketlerin bunu kullanarak yeni deneyimler oluşturması bekleniyor
- Gameface'in kodu artık Github'da açık kaynak olarak yayımlanıyor
Henüz yorum yok.