Ask HN: Tarayıcılar dahili sesi mikrofon girişinden nasıl ayırıyor?

• Chrome ve Chromium’da Google Meet görüşmesi sekmesi ile YouTube oynatma sekmesi aynı anda kullanıldığında, YouTube’un dahili sesinin Google Meet’in mikrofon girişine gitmediği gözlemleniyor
• Aynı işlem farklı tarayıcılara bölündüğünde, örneğin Google Meet Chrome’da açıkken YouTube Chromium’da oynatılırsa, bu tür bir ses ayrımı gerçekleşmiyor
• Chromium açık kaynak olduğundan, bu davranışı ele alan kod tabanındaki konum veya uygulama biçimine dair teknik ipuçları aranıyor

[GN⁺]

Hacker News yorumu

• Müziği sesten kaldırmak için ses yakalama ve oynatma arasındaki gecikmeyi karşılaştırma yöntemi

  • Müzik, mikrofon ile hoparlör arasındaki gecikme bulunup karşılaştırılarak kaldırılır
  • Tek bir süreç içinde, birkaç yüz milisaniye boyunca çalınan içerik tutulur ve korelasyon bulunarak mikrofon girişiyle karşılaştırılıp kaldırılır
  • Birbiriyle ilgisiz süreçler arasında ise OS bir capture API sağlar ya da loopback stream kullanılarak kaldırma yapılabilir
  • Böyle bir yöntem yoksa, ses çıkışı doğrudan karıştırılarak kaldırılır

• Acoustic Echo Cancellation (AEC)

  • WebRTC'ye dahil olan Chrome içinde uygulanır
  • Hoparlörden çıkan sesi mikrofon girişinden mümkün olduğunca kaldırmak için FIR filtresi kullanır
  • Chromium kaynak kodunda CHROME_WIDE_ECHO_CANCELLATION derleme bayrağını aratarak ilgili bilgileri bulabilirsiniz

• Chrome'un eşzamanlı kayıt ve oynatma sorunu

  • Chrome, aynı anda kayıt ve oynatmayı iyi yönetemiyor
  • Sorunu açıkça gösteren bir site var: chrome-please-fix-your-audio.xyz

• Acoustic Echo Cancellation'ın yaygın sorunu

  • Sinyal işlemede sık görülen bir problemdir
  • Telefon gibi basit cihazlarda da ortaya çıkar

• Google Meet'in kaynak ayırma teknolojisi

  • Konuşmayı konuşma dışı seslerden ayırmak ve diğer konuşmacıları da ayırmak için sinir ağları kullanır
  • 2021'den beri yarı denetimli öğrenme yöntemleri geliştikçe teknoloji büyük ölçüde iyileşti

• Eko gideriminin yan etkileri

  • Tarayıcı, çalmakta olan sesi bilir ve mikrofon girişiyle korelasyonunu bularak kaldırır
  • Kulaklık kullanılmıyorsa geri beslemeyi bastırmak için bu gereklidir

• Chrome ve Chromium'un dahili ses engelleme özelliği

  • Google Meet görüşmesi sırasında başka bir sekmede YouTube videosu oynatılsa bile Meet bunu algılamaz
  • Chromium açık kaynak olduğu için teknik ayrıntılar kod içinde incelenebilir

• Eko giderme algoritmalarının ilginç yanı

  • Harici hoparlörler bilgisayar mikrofonundan biraz uzağa yerleştirildiğinde algoritma hatalı çalışabilir

• Toplantılarda eko gideriminin gerekliliği

  • Toplantı verisinin yeniden geri beslenmemesi için gereklidir
  • PulseAudio ve Pipewire'da eko giderme modülleri vardır