- Washington Üniversitesi araştırma ekibi, kullanıcının konuşan kişiye yalnızca 3-5 saniye bakmasıyla o konuşmacıyı kaydeden ve gürültülü ortamlarda bile ilgili sesi gerçek zamanlı olarak duymanızı sağlayan Target Speech Hearing sistemini geliştirdi
- Mevcut kulaklıkların her iki yanındaki mikrofonlar ve yerleşik gömülü bilgisayar birlikte çalışıyor; kullanıcı düğmeye basıp konuşmacıya yöneldiğinde makine öğrenimi yazılımı ses örüntülerini öğreniyor
- Kayıt sonrasında dinleyici ya da konuşmacı hareket etse bile sistemi sesi takip etmeyi sürdürüyor; konuşmacı konuştukça eğitim verisi artıyor ve hedef konuşmacıya odaklanma performansı iyileşiyor
- 21 kişiyle yapılan testte katılımcılar, kayıtlı konuşmacının ses netliğini filtrelenmemiş sese kıyasla ortalama neredeyse iki kat daha yüksek değerlendirdi
- Şu anda aynı anda yalnızca bir kişi kaydedilebiliyor ve aynı yönden gelen yüksek sesler karıştığında kayıt zorlaşıyor; bu nedenle earbud ve işitme cihazı genişlemesi gelecekteki bir çalışma olarak duruyor
Target Speech Hearing nasıl çalışıyor
- Washington Üniversitesi'nin Target Speech Hearing sistemi, gürültü engelleyici kulaklıklarda kullanıcının yalnızca belirli bir kişinin sesini seçip duymasını sağlayan bir yapay zeka sistemi
- Kullanıcı, mikrofon takılı mevcut bir kulaklığı takıyor, konuşan kişiye doğru başını çeviriyor ve ardından düğmeye basıyor
- Hedef konuşmacının ses dalgalarının kulaklığın iki yanındaki mikrofonlara aynı anda ulaşması gerekiyor
- Kabul edilen tolerans 16 derece
- Kulaklık, topladığı sinyalleri yerleşik gömülü bilgisayara gönderiyor ve makine öğrenimi yazılımı istenen konuşmacının ses örüntülerini öğreniyor
- Kayıt tamamlandıktan sonra sistem çevredeki diğer sesleri azaltıyor ve yalnızca kayıtlı konuşmacının sesini gerçek zamanlı oynatıyor
- Dinleyici ve konuşmacı hareket etse bile kayıtlı sesi takip etmeyi sürdürüyor
- Konuşmacı konuşmaya devam ettikçe eğitim verisi artıyor ve sistem hedef konuşmacıya daha iyi odaklanabiliyor
- Araştırma ekibi sonuçları 14 Mayıs'ta ACM CHI Conference on Human Factors in Computing Systems kapsamında sundu
- Kavram kanıtlama cihazının kodu LookOnceToHear adresinde açık olarak yayımlandı
- Bu sistem henüz ticari bir ürün değil
Deney sonuçları ve mevcut sınırlamalar
- 21 kişiyle yapılan testte katılımcılar, kayıtlı konuşmacının netliğini filtrelenmemiş sese kıyasla ortalama neredeyse iki kat daha yüksek değerlendirdi
- Bu çalışma, kullanıcının duymak istediği ses kategorisini seçtiğinde geri kalan çevre seslerini kaldıran önceki semantic hearing araştırmasını temel alıyor
- Önceki sistem, kuş ya da insan sesi gibi belirli ses sınıflarını seçme yöntemine dayanıyordu
- TSH, ses kategorisine değil tek bir kayıtlı konuşmacıya odaklanıyor
- Şu anda TSH aynı anda yalnızca bir konuşmacıyı kaydedebiliyor
- Hedef konuşmacıyla aynı yönden başka yüksek bir ses gelirse konuşmacı kaydedilemiyor
- Kullanıcı ses kalitesinden memnun kalmazsa, aynı konuşmacı için kayıt sürecini yeniden çalıştırarak netliği artırabiliyor
- Araştırma ekibi gelecekte sistemi earbud ve işitme cihazına genişletmeyi planlıyor
1 yorum
Hacker News yorumları
Boyutu küçük kulak tıkacı kadar küçülürse, işitme engeli olmayan biri olarak ben de kullanmak isterim
En azından teşhis açısından işitme engelim olmadığı söylendi; ama test yöntemi mi pek iyi değil, ben normalim de diğer insanlar iyi duyuyormuş gibi yapmayı benden daha mı iyi beceriyor, artık kafam karışıyor
Arkadaşlarla ya da buluşmalarda ister istemez gürültülü restoranlara veya barlara gidiliyor; duyamadığım için tekrar etmelerini istediğimde aynı alçak sesle tekrarlayıp yine duyamamak giderek daha sinir bozucu oluyor
Şakaları ya da laf arasında söylenenleri kaçırmak daha da kötü; “Neye gülüyorsunuz, duymadım, üç kez falan tekrar eder misiniz?” gibi bir duruma dönüşüyor
Ama gittiğim her odyolog işitmemin normal olduğunu söyledi; sonunda büyük metropol bölgesindeki en iyi uzman olduğu söylenen kişiye 1 yıl bekleyerek randevu aldım
Tüm gün süren testlerden sonra uzman “iyi haber, kötü haber ve hem iyi hem kötü haber” olduğunu söyledi; iyi haber, işitmemin 5 yaşındaki bir çocuk seviyesinde, çok iyi olmasıydı; kötü haber ise fazla iyi duyduğum için sesleri ayırt edemememdi
Sorun işitmemin kötüleşmesi değil, beynimin sesleri ayırma yeteneğinin azalmasıymış; hem iyi hem kötü haber de eninde sonunda herkes gibi işitmemin zayıflayacağı, bu yüzden birkaç yıl boyunca kamusal alanlarda daha iyi duyabileceğim anlamına geliyormuş
Bu sorunun daha da kötüleşmesinin nedenlerinden birinin, restoran ve kamusal alan tasarımcılarının artık ses ortamını önemsememesi olduğunu düşünüyorum
Son 15 yılda açılan barların çoğu çimento zeminli, neredeyse hiç ses emilimi yok ve kulaklar çınlamıyorsa eğlenceli vakit geçirilmiyor varsayımıyla tasarlanmış gibi
Kelimenin tam anlamıyla sohbeti sürdüremediğim için artık böyle yerlere gitmiyorum
Bunu bir cihazla çözmektense sorunu olduğu gibi görüp “Hiçbir şey duymadım, muhtemelen siz de duymadınız. Bu aptalca, çıkalım” gibi geleneksel bir yöntemle çözmeyi öneririm
Bu tür yerler çoğu zaman sürekli bağırmazsanız ya da çevreye duyarsız değilseniz acı çekeceğiniz şekilde tasarlanmış oluyor
İnsanların neden oralara gidip üstüne para harcadığını bilmiyorum; bana para verseler bile gitmem sanırım
Birbirimizin sınırlarına saygı duymayı yapay zeka cihazlarıyla ikame etmek istemem
Kulaklarınızı açık bırakarak kulaklıktan gelen sesi duyabiliyorsunuz; kalabalık bir yerde telefon görüşmesi yaparken olduğu gibi daha net duymanız gerekirse parmağınızla kulağınızı kapatmanız yeterli
O zaman kulağın içinde hoparlör kabini benzeri bir etki oluşuyor, kemik iletimli ses kalitesi daha dolgun hale geliyor ve dış gürültü de kesiliyor
Tam kulaklık kalitesi gerekirse kulak tıkacı takabilirsiniz; ayrıca küçükler ve göze daha az çarpıyorlar
Mükemmel değil ama “kulakları açık bırakıp kulaklığı dinleme”den “sesi engelleyip kulaklığı çok net duyma”ya yalnızca parmak veya kulak tıkacıyla yumuşakça geçebilmek hoşuma gidiyor
Yanına bir shotgun mikrofon takılırsa gerçekten harika olur. Dar yönelim açısına sahip mikrofonlara böyle deniyorsa tabii
https://www.flareaudio.com/pages/earhd
Dudaklar görünürse, dudak okuyamasam bile konuşmayı çok daha doğru yorumlamama yardımcı oluyor
Bunu her araştırdığımda otizm ya da ADHD ile bağlantısına çıkıyordu; 2008’de henüz tanı almamış olduğum için bu düşünceyi biraz görmezden gelmiştim
Şimdi AuDHD tanım var
HN okurlarının bilmesi gereken şey, işitme cihazlarının ne kadar pahalı ve kötü olduğudur
Fiyatlara bakarsanız, temel düzeyde “sesi yükselten” işitme cihazlarının bile inanılmaz pahalı olduğunu görürsünüz
Daha da kötüsü, kulağa müdahale ettikleri için işitmeyi “yönlendirme” yeteneğinizi kaybetmeniz kolaydır
Yani başka konuşmaları, gürültüleri vb. filtrelemek zorlaşır
Facebook’un pratik ve kitlesel bir AR bulma umuduyla muhtemelen boşa yakın bir işe milyarlarca dolar akıtırken ortaya çıkan iyi yan ürünlerden biri https://www.projectaria.com/glasses/
AR tarzı hareketleri denemek için nispeten ucuz bir platform; göz takibi, mikrofon dizisi ve ön kamera içerdiğinden, yönlendirilebilir bir mikrofona oldukça kolay dönüştürülebilir
Benim Phonak işitme cihazlarım programları bir ölçüde otomatik olarak değiştiriyor, eşlik eden uygulamayla ince ayar da yapılabiliyor
Gürültülü ortamlarda bile bir dereceye kadar işe yarıyor ve sohbet edebiliyorum; bu, yaklaşık 10 yıl önceki işitme cihazlarıyla imkânsız olurdu, bu yüzden gerçekten minnettarım
Bir çiftinin fiyatı yaklaşık 2000 dolar ve neyse ki ulusal sağlık sistemi tarafından karşılanıyor; yaklaşık 5 yılda bir sadece 50 dolar ödüyorum. Elbette bunu vergilerle de ödemiş oluyoruz
“AI” ilerlemeleriyle, basit yükseltme ve filtrelemenin ötesine geçip gürültülü ortamlarda sesleri ayırıp güçlendirebilmesini veya yeniden oluşturabilmesini umuyorum
Öte yandan kafelerde, restoranlarda ve barlarda müziği giderek daha yüksek çalma modasının bitmesini isterim. Özellikle işitme kaybı olanlar için, ama başkaları için de bir erişilebilirlik kâbusu
0: https://www.socialstyrelsen.se/en/about-us/healthcare-for-vi...
1: https://www.vox.com/2018/4/18/17168504/restaurants-noise-lev...
Küçük bir kartel arzı kontrol ediyor; bu da daha iyi teknolojiyle rekabet etmek yerine yalnızca kârı maksimize etmeye teşvik yaratıyor
(0) https://www.thebignewsletter.com/p/silencing-the-competition...
Böylece size iyi uyan, en ucuz ve güvenilir işitme cihazını edinebilirsiniz
Aksi halde duyu kaybı nedeniyle yukarıda bahsedilen dikkat filtreleme sorunu ortaya çıkmaya başlar
İşitmeniz kötüleşmeye başladıktan sonra işitme düzeltmesini ne kadar uzun süre ertelerseniz, bunu yeniden telafi etmek için o kadar karmaşık ve pahalı işitme cihazlarına ihtiyaç duyarsınız
Çünkü pahalı işitme cihazları, duyu kaybından önce beynin ve işitsel korteksin yaptığı işi beceriksizce yaklaşık olarak taklit eder
Bir dakika, işitme testi randevusu almam gerekiyor
O hayattayken aile etkinliklerinde veya kamusal alanlarda onunla konuşurken benzer bir şey yapmayı düşündüğüm olmuştu
Pahalı olmasının nedeni muhtemelen medikal/sağlık şirketleriyle ilişkiler ve mevzuata uyumun maliyetleri artırması
Örneğin aynı ekran bile tıbbi tesislerde kullanım sertifikası alınca birkaç kat pahalılaşabiliyor
Benim Widex işitme cihazlarım mükemmel. Normal durumlarda ses kalitesi harika
Tek gerçek şikâyetim tamamen su geçirmez olmamaları; yağmurlu günlerde dışarı çıkarken biraz önceden plan yapmam gerekiyor
İşitme engelli biri olarak bu özellik gerçekten gökten gelen bir armağan gibi
Böyle bir özellik mümkün olan en kısa sürede işitme cihazlarına entegre edilmeli. Sus, yok aslında konuşmaya devam et, parasını öderim
Kişiye özel sesler seçilebilirse, bunlar konuşma tanımaya aktarılıp gerçek sohbetlere altyazı eklenebilir. İşitme daha da kötüleştiğinde veya hiç olmadığında faydalı olur
Ancak buluta gidip gelme gecikmesi kullanışlılığı ciddi ölçüde azaltabilir ya da tamamen işe yaramaz hâle getirebilir; bu yüzden yerelde işleyebilen mobil cihazlara gerçekten ihtiyaç var
Üretimi durduruldu ama yenilenmiş ürünler bulunabiliyor
Giyilebilir gözlükler bahsedilen kullanım senaryosu için oldukça umut verici; çünkü biriyle konuşurken kulaklık takmanın hacimli ve kaba görünebilen hissinden kaçınılabiliyor
Bunun daha gelişmiş bir biçimi benim tinnitus sorunuma da epey yardımcı olabilir gibi geliyor
Tek bir kişi konuştuğunda, alçak sesle konuşsa veya uzakta olsa bile iyi duyuyorum; ama birden fazla kişi konuştuğunda ya da müzik olduğunda hiçbir şey duyamıyorum
Gürültülü bir barda oturduğumda en yakındaki iki kişi dışında kim ne diyor duymak neredeyse imkânsız
Normal ortamlardaki konuşmalarda genelde sorun yok
Bu yüzden baktığım kişinin konuşmasını güçlendiren bir özellik gerçekten harika olurdu
Apple AirPods’ta zaten ortama ve moda tepki veren ses ayarı özellikleri var; telefonu konuşan kişinin önüne koyarsanız belirli bir sesi güçlendirmeyi de destekliyor
Bu araştırmadaki gibi yönlü ses güçlendirme doğrudan AirPods içinde desteklenirse, gürültülü yerlerde sosyal etkileşimler için çok büyük fayda sağlar
Kod: https://github.com/vb000/LookOnceToHear
Ters yönde kullanımda ticari başarı şansı daha yüksek görünüyor
Bir partide sinir bozucu bir sesle aşırı yüksek konuşan o tek kişiyi sessize alabildiğinizi hayal edin
Konserlerde insanlar kulaklarını mahvetmemek için sık sık kulak tıkacı takıyor; bunu, konser sesini ve aile/arkadaş seslerini bırakıp geri kalanını filtreleyen kulak içi kulaklıklarla değiştirdiğinizi hayal edin
Ses seviyesini de ayarlayıp, eşiniz konuştuğunda yalnızca onun sesini diğer seslerin üstüne çıkaran; kalabalık gürültüsünü atmosfer için bırakan ama çevredeki insanların sıradan konuşmalarını kaldıran bir sistem gibi
Makine öğrenmesi veya yapay zeka tarafında uzman değilim ama mevcut teknolojiyle imkânsız bir şey olmadığını anlıyorum
Batarya ve güç sınırlamaları olurdu, ama konser için başın arkasından geçen bir bantla sabitlenen ve düşse bile kaybolmayan bir kulaklık da mantıklı olur
“Senin sesini” öğrenmesi gerekir, ama Alexa bunu 10 saniyede yapabiliyorsa bir telefon uygulaması da yapabilir
Sinema salonları için 200 euronun altında çıkarsa hemen alırım, hatta tekrar sinemaya gitmeye bile başlayabilirim
İnsanlar partilerde kulaklık mı takıyor?
Böyle birini filtrelemenin bir yolu olsaydı kesinlikle minnettar olurdum
Eskiden Sonos’ta çalışıyordum; bugünkü uygulama güncellemesi felaketinden ve kulaklık lansmanından çok önceydi
İlk iptal edilen kulaklık ürünü geliştirme denemesinde, buna benzer şekilde aktif gürültü engelleme yonga seti üzerinden belirli bir kişinin sesini seçici olarak geçirme konsept özelliğini değerlendirmiştik
DSP tarafındaki kişilerin tam olarak nasıl bir yaklaşım kullandığını hatırlamıyorum. Ben aktif gürültü engelleme donanımına daha yakındım
Ancak pratikte ayırabildikleri tek şey kullanıcının kendi sesiydi; bunun nedeni de o sinyalin diğer tüm seslerden daha güçlü olmasıydı
Bu gerçekten harika. Kulaklıklarla daha ne tür ilginç şeyler yapılabileceğini merak ediyorum
Aktif gürültü engelleme yonga setleri inanılmaz güçlü ve bence bu kapasitenin tam olarak kullanılmasına daha çok var
Hâlâ uygun bir ürün bulamadım
Dinleyici tarafındaki gürültü engelleme, izolasyon ve aktif gürültü engelleme ile çözülmüş gibi; ama karşı tarafa yalnızca benim sesimi ayırıp gürültüyü keserek gerçek uzaktan çalışmayı mümkün kılacak bir donanım-yazılım kombinasyonu çıksa gerçekten harika olurdu
Sonos ürünlerinde genel olarak temel işlev sorunları var; örneğin Wi‑Fi kesilip geri geldiğinde yeniden bağlanamıyorlar, arada Wi‑Fi kanalı değiştiyse özellikle kötü oluyor
“Teknik” çözüm fişi çekip yeniden başlatmak, onu da uzaktan yapamıyorsunuz
Wi‑Fi’a bağlıyken ve Sonos’un Spotify Connect’i saçma derecede hatalı olduğu için yeniden başlatmak istediğinizde bile bunu yapamıyorsunuz
esp veya benzer TI modülü gibi şeylerle bile Wi‑Fi bağlantısını koruyup her zaman yeniden bağlanmasını sağlamak mümkünken, Sonos firmware geliştiricilerinin böyle temel bir şeyi yapması bu kadar mı zor?
Hâlâ hedef konuşmacıyla aynı konumda rakip ses veya başka bir ses olmaması koşuluna dayanıyor
Açık kaynak kod https://github.com/vb000/LookOnceToHear adresinde, makale ise https://arxiv.org/abs/2405.06289 adresinde
Bu yüzden birçok popüler bilim yazısındaki gibi tamamen uzak bir şey olmayabilir
Biri bağımsız olarak çalıştırabilirse sonuçları duymak isterim
Kalabalık bir odada birinin konuşmasını duymakta zorlanıyorum; sanırım zihnim tüm sesleri yakalamaya çalıştığı için. Bu benim için gerçekten çok yardımcı olabilir. Muhtemelen ADHD yüzünden
Konuştuğum kişinin sesi dışındaki diğer sesleri ciddi biçimde azaltmanın bir yolu olsaydı harika olurdu
Umarım AirPods’un bir gün bunu yapabilmesi sadece zaman meselesidir
Böyle bir özellik benim için nimet olurdu
Küçük bip seslerini dinlediğiniz işitme testlerinde iyi çıkıyorum, ama özellikle kalabalık ortamlarda insanların ne söylediğini işlemekte büyük zorluk yaşıyorum
Babamda da aynı sorun var
İhtiyacım olduğunu bilmediğim potansiyel bir özellik
Evde sürekli aktif gürültü engellemeli kulaklık takıyorum; partnerimin sesini otomatik olarak geçirirse gerçekten çok kullanışlı olur
Muhtemelen partnerim olmazdı, ama belki de…
Partnerinizin sesinin zayıf gelmesi ve kulağa pek ulaşmaması muhtemelen kulaklığın pasif izolasyonu yüzündendir
Ya da sadece dinlediğiniz müzik sesi maskeliyor olabilir
Aktif gürültü engellemenin partnerinizin sesini engellemesi ancak o sesin arka plan gürültüsüne benzer perde ve şiddette karışıp beyaz gürültü ya da renkli gürültü gibi hale gelmesi ve aktif gürültü engellemenin bu bütününü bastırabilmesi durumunda olur