HN sorusu: Tarayıcı mikrofon girişinden dahili sesi nasıl izole ediyor?

• Chrome ve Chromium'da ilginç bir özellik keşfedildi

  • Dahili sesi mikrofon girişinden ayıran bir özellik var
  • Örneğin, bir sekmede Google Meet görüşmesi yaparken başka bir sekmede YouTube videosunu maksimum seste oynattığınızda, videonun sesi Google Meet'e iletilmiyor
  • Başka tarayıcılar kullanıldığında (ör. Google Meet Chrome'da, YouTube Chromium'da) bu ayrım gerçekleşmiyor

• Chrome ve Chromium'un bu ses ayrımını nasıl uyguladığı merak ediliyor

  • Chromium açık kaynak olduğundan, bu özelliği işleyen kod tabanının belirli bölümünü bilmek isteniyor
  • Teknik ayrıntılar veya içgörüler paylaşılırsa memnun olunacağı belirtiliyor

GN⁺ özeti

• Bu yazı, Chrome ve Chromium'un ses ayrıştırma özelliğine dair ilginç bir keşfi ele alıyor
• Bu özellik, özellikle aynı anda birden fazla iş yapılırken kullanıcı deneyimini iyileştiren önemli bir unsur
• Açık kaynak olan Chromium'un kod tabanı üzerinden teknik uygulamayı anlama fırsatı sunuyor
• Benzer özellikler sunan başka tarayıcılar veya yazılımlar olup olmadığını araştırmaya değer

[GN⁺]

Hacker News yorumu

• Müziği sesten kaldırmak için ses yakalama ve oynatma arasındaki gecikmeyi karşılaştırma yöntemi

  • Müzik, mikrofon ile hoparlör arasındaki gecikme bulunup karşılaştırılarak kaldırılır
  • Tek bir süreç içinde, birkaç yüz milisaniye boyunca çalınan içerik tutulur ve korelasyon bulunarak mikrofon girişiyle karşılaştırılıp kaldırılır
  • Birbiriyle ilgisiz süreçler arasında ise OS bir capture API sağlar ya da loopback stream kullanılarak kaldırma yapılabilir
  • Böyle bir yöntem yoksa, ses çıkışı doğrudan karıştırılarak kaldırılır

• Acoustic Echo Cancellation (AEC)

  • WebRTC'ye dahil olan Chrome içinde uygulanır
  • Hoparlörden çıkan sesi mikrofon girişinden mümkün olduğunca kaldırmak için FIR filtresi kullanır
  • Chromium kaynak kodunda CHROME_WIDE_ECHO_CANCELLATION derleme bayrağını aratarak ilgili bilgileri bulabilirsiniz

• Chrome'un eşzamanlı kayıt ve oynatma sorunu

  • Chrome, aynı anda kayıt ve oynatmayı iyi yönetemiyor
  • Sorunu açıkça gösteren bir site var: chrome-please-fix-your-audio.xyz

• Acoustic Echo Cancellation'ın yaygın sorunu

  • Sinyal işlemede sık görülen bir problemdir
  • Telefon gibi basit cihazlarda da ortaya çıkar

• Google Meet'in kaynak ayırma teknolojisi

  • Konuşmayı konuşma dışı seslerden ayırmak ve diğer konuşmacıları da ayırmak için sinir ağları kullanır
  • 2021'den beri yarı denetimli öğrenme yöntemleri geliştikçe teknoloji büyük ölçüde iyileşti

• Eko gideriminin yan etkileri

  • Tarayıcı, çalmakta olan sesi bilir ve mikrofon girişiyle korelasyonunu bularak kaldırır
  • Kulaklık kullanılmıyorsa geri beslemeyi bastırmak için bu gereklidir

• Chrome ve Chromium'un dahili ses engelleme özelliği

  • Google Meet görüşmesi sırasında başka bir sekmede YouTube videosu oynatılsa bile Meet bunu algılamaz
  • Chromium açık kaynak olduğu için teknik ayrıntılar kod içinde incelenebilir

• Eko giderme algoritmalarının ilginç yanı

  • Harici hoparlörler bilgisayar mikrofonundan biraz uzağa yerleştirildiğinde algoritma hatalı çalışabilir

• Toplantılarda eko gideriminin gerekliliği

  • Toplantı verisinin yeniden geri beslenmemesi için gereklidir
  • PulseAudio ve Pipewire'da eko giderme modülleri vardır