Triforce - Apple Silicon dizüstü bilgisayarlar için beamformer

• Triforce, Apple Silicon dizüstü bilgisayarların mikrofon dizisi için Minimum Variance Distortionless Response uyarlamalı beamformer uygular
• Desteklenen modeller: M1 ve üzeri MacBook Pro/Air modelleri
• Yukarıdaki Apple Silicon dizüstü bilgisayarlarda üçgen veya doğrusal şekilde dizilmiş mikrofonlar bulunur
• Apple, arka plan gürültüsünden istenen sinyali ayırmaya çalışmak için kullanıcı alanında uyarlamalı beamformer uygular
• Beamforming olmadan dizi fazla hassas ve çok yönlü olduğundan kullanışlı değildir
• macOS dışında da işe yarar biçimde kullanmak için bir beamformer gerekir
• Desteklenen model listesi
  • MacBook Pro 13" (M1/M2)
  • MacBook Air 13" (M1/M2)
  • MacBook Pro 14" (M1 Pro/Max, M2 Pro/Max)
  • MacBook Pro 16" (M1 Pro/Max, M2 Pro/Max)
  • MacBook Air 15" (M2)

Beklentileri yönetme

• DSP ile ilgili konularda, özellikle geniş bant uyarlamalı beamforming hakkında erişilebilir literatür bulmak oldukça zordur
• Bu proje, birinci sınıf mühendislik matematiği düzeyindeki bilgi ile web sayfaları ve PDF'lerden edinilen ilkelere dayanarak yapılmış bir beamformer denemesidir
• Şu anda Apple'ın uygulamasını aşmasının beklenmemesi gerekir
• İyileştirme için yamalar her zaman memnuniyetle karşılanır

Bilinen sınırlamalar

• nalgebra, açık SIMD optimizasyonu yapmaz ve LLVM otomatik vektörleştirmesine dayanır
• Matris matematiği rutinlerinin performansı ve verimliliği iyi değildir
• Ek hesaplama yükü nedeniyle geniş bant ayrıştırma yapılmaz
• SIMD/NEON desteği olmadan gerçek zamanlı ses eklentisi olarak kullanmak için fazla yavaştır
• Çıktı yalnızca mono destekler
• Stereo çıktıyı taklit etmek için gereken ek matris işlemleri hesaplama açısından fazla maliyetlidir

[GN⁺]

Hacker News görüşleri

• 20 yıl önce, Toshiba Tablet PC dönüştürülebilir modelinde beamforming mikrofon dizisi vardı. Yazılımla kayıt yönü seçilebiliyordu

  • Derslerde faydalıydı; beam profesöre doğru ayarlanıp kayıt alınabiliyordu
  • O zamandan beri bu tür bir özellik görmedim

• Yarım kalmış yüksek lisans tezim, akıllı telefonların mikrofonlarını kullanarak hoparlörleri 3D uzayda konumlandırma ve ayırma konusundaydı

  • Cihazlar arasında örnekleme hızları biraz farklı oluyor
  • Tüketici sınıfı mikrofonların spektral özellikleri çeşitlilik gösteriyor
  • Ses her yerden yansıyor; özellikle beton duvarlarda bu daha belirgin
  • Arabalar, kolay erişilebilen yankısız odalara benziyor
  • Gaussian'ın Fourier dönüşümü de Gaussian'dır; bu da frekans tahmini için faydalıdır

• Apple Silicon Mac'lerde Linux çalıştırmanın çok fazla çalışma gerektirdiğini fark ettim

  • Yerleşik mikrofonlar neredeyse hiç kullanılmıyor
  • Apple'da her şey o kadar da basit değil

• Ucuz dizüstü bilgisayar donanımında bile yazılımsal DSP teknikleriyle şaşırtıcı sonuçlar alınabiliyor

  • Asahi'nin ses çalışmaları genel dizüstü bilgisayarlara da uygulanabilir
  • Bankstown bass harmonic synthesis eklentisi ve convolution EQ kullanarak etkileyici sonuçlar elde ettim

• SIMD optimizasyonu için faer düşünülebilir

  • pulp kütüphanesi deneyimim iyi değildi, ama amaç esas olarak lineer cebir işlemlerini hızlandırmaksa iyi çalışacaktır
  • Rust SIMD hakkında blog yazıları ve podcast'ler planlanıyor

• Apple Silicon dizüstü bilgisayarlardaki mikrofon dizisi hakkında soru

  • M2/M3 modellerinde benzer bir mikrofon dizisi olup olmadığını ya da henüz test edilip edilmediğini merak ediyorum
  • Linux ve macOS'ta desteklenip desteklenmediği de soru işareti

• Apple, hoparlörlerde olduğu gibi mikrofonlarda da konuya gereğinden fazla karmaşık yaklaşıyor gibi görünüyor

  • Bir MBP kullanıcısı olarak hoparlör uygulamasından etkilendim
  • Sürücü dizilimi dışında bilgim yok, ama küçük hoparlörlerden performans almak için çeşitli hileler kullanıyor gibiler

• Son Asahi Linux ilerleme raporu üzerine genel bir tartışma

  • PDM mikrofonlar çok yönlü ve çok hassas
  • Beamforming gerekli
  • Hoparlör çıkışı için yapılan önceki çalışma mikrofon girişine yeniden kullanıldı
  • PipeWire ve WirePlumber sayesinde mikrofon için DSP zinciri kurmak kolay oldu

• Bunun, diğer üreticilerin de kolayca mikrofon dizileri kurabilmesi için uygulanmasını isterdim