Apple SpeechAnalyzer API’si: Whisper ve önceki API ile karşılaştırmalı benchmark

 (get-inscribe.com)
1 puan yazan GN⁺ 4 시간 전 | 1 yorum | WhatsApp'ta paylaş
  • Apple M2 Pro üzerinde 5.559 LibriSpeech ses kaydı aynı production koduyla işlendiğinde, SpeechAnalyzer temiz seste %2,12, gürültülü seste %4,56 kelime hata oranıyla (WER) test edilen tüm motorlardan daha doğru çıktı
  • Mevcut SFSpeechRecognizer için WER sırasıyla %9,02 ve %16,25’ti; yeni API aynı seslerde hataları 3,5~4 kat azaltırken noktalama ve büyük/küçük harf kullanımını da uyguluyor
  • SpeechAnalyzer, Whisper Small’dan daha doğru ve yaklaşık 3 kat daha hızlıydı, ancak destek kapsamı yaklaşık 30 locale ve OS 26+ Apple platformlarıyla sınırlı
  • Tüm motorlar M2 Pro’da gerçek zamandan yaklaşık 12~40 kat hızlı çalışarak 1 saatlik içeriği 1,5~5 dakikada işledi; ancak geliştirme işleriyle paralel yürütülen bir ortam olduğu için motor bazında kesin hızlar açıklanmadı
  • Şu anda iPhone veya Mac’te İngilizceyi cihaz üzerinde yazıya döküyorsanız SpeechAnalyzer öncelikli seçenek olabilir; Inscribe da varsayılan ayarını desteklenen dillerde SpeechAnalyzer, diğerlerinde Whisper kullanacak şekilde değiştirdi

Doğruluk benchmark sonuçları

  • Kelime hata oranı (WER), motorun kelimeleri yanlış değiştirme, atlama veya yeni kelime uydurma oranıdır; ne kadar düşükse doğruluk o kadar yüksektir
  • Tüm motorlar Apple M2 Pro 32GB ve macOS 26.5.1 üzerinde tamamen cihaz üzerinde çalıştırıldı
  • LibriSpeech’in iki değerlendirme veri kümesi kullanıldı
    • test-clean: temiz şekilde okunmuş 2.620 ses kaydı
    • test-other: daha zor ve daha gürültülü 2.939 ses kaydı
  • Motor bazında WER ve model boyutları şöyle
    • Apple SpeechAnalyzer: test-clean %2,12, test-other %4,56, sistem modeli
    • Whisper Small: %3,74, %7,95, yaklaşık 460MB
    • Whisper Base: %5,42, %12,51, yaklaşık 140MB
    • Whisper Tiny: %7,88, %17,04, yaklaşık 40MB
    • Apple SFSpeechRecognizer: %9,02, %16,25, sistem modeli
  • Apple, iOS 26 ve macOS 26’da SFSpeechRecognizer’ı SpeechAnalyzer·SpeechTranscriber ile değiştirdi, ancak doğruluk rakamları yayımlamadı
  • Inscribe, iki Apple motorunu ve üç Whisper modelini birlikte sunduğu için aynı bilgisayar, ses ve production kod yolu üzerinde beş motor karşılaştırılabildi

SFSpeechRecognizer’dan geçiş yapmak için nedenler

  • SpeechAnalyzer aynı seslerde WER’i eski API’ye göre 3,5~4 kat düşürdü
    • Temiz ses: %9,02’den %2,12’ye düştü
    • Gürültülü ses: %16,25’ten %4,56’ya düştü
  • Sadece doğrulukta değil, noktalama ve büyük/küçük harf uygulanmış metin üreterek mevcut motora göre daha düzenli sonuç veriyor
  • Aynı 1 saatlik içeriği yazıya dökerken, eski API’de yanlış tanınan kelime sayısı SpeechAnalyzer’a kıyasla yaklaşık 4 kat artıyor
  • Sesli komutlardan daha uzun sesleri işleyen uygulamalar için yalnızca doğruluk farkı bile migrasyon için yeterli gerekçe sunuyor

SpeechAnalyzer ile Whisper arasında seçim kriterleri

  • SpeechAnalyzer, iki veri kümesinde de test edilenler arasındaki en büyük Whisper modeli olan Whisper Small’dan daha düşük WER kaydetti
  • Sesin her 1 saniyesi için hesaplama süresi de Whisper Small’ın yaklaşık üçte biri olduğundan hem doğrulukta hem hızda öne geçti
  • İngilizce Apple donanımında işlendiğinde, test edilebilir cihaz üzeri motorlar arasında en güçlü sonucu SpeechAnalyzer gösterdi
  • Whisper’ın iki avantajı kalıyor
    • SpeechTranscriber yaklaşık 30 locale desteklerken, Whisper çok daha fazla dili destekliyor
    • OS 26+ Apple platformlarıyla sınırlı değil; birçok ortamda çalışabiliyor
  • Inscribe’ın Auto motoru, ölçüm sonuçlarına göre desteklenen dillerde SpeechAnalyzer, diğer dillerde ise öncelikle Whisper kullanılacak şekilde değiştirildi

İşleme hızı ve ölçüm kısıtları

  • Beş motorun tamamı M2 Pro’da gerçek zamandan yaklaşık 12~40 kat hızlı çalıştı
  • 1 saatlik ses, cihaz üzerinde yaklaşık 1,5~5 dakikada yazıya dökülebildi
  • SpeechAnalyzer, Whisper Small’dan yaklaşık 3 kat daha hızlıyken daha düşük WER kaydetti
  • Doğruluk ölçümü sırasında aynı bilgisayarda geliştirme işleri de çalıştığı için motor bazında işleme sürelerine gürültü karıştı
    • Bu iş yükü WER’i etkilemedi
    • Kesin motor bazlı hız tablosu, özel ve boşta bir ortamda yeniden ölçüldükten sonra eklenecek

Tekrarlanabilirlik ve açık veriler

  • Whisper ölçümleri OpenAI’ın yayımladığı LibriSpeech sonuçlarına yakın olduğundan benchmark harness’inin tutarlılığı doğrulanabildi
    • Whisper Tiny test-clean: ölçüm %7,88, OpenAI %7,6, fark +0,28 yüzde puanı
    • Whisper Base test-clean: %5,42, %5,0, +0,42 yüzde puanı
    • Whisper Small test-clean: %3,74, %3,4, +0,34 yüzde puanı
    • Whisper Tiny test-other: %17,04, %16,9, +0,14 yüzde puanı
    • Whisper Base test-other: %12,51, %12,4, +0,11 yüzde puanı
    • Whisper Small test-other: %7,95, %7,6, +0,35 yüzde puanı
  • Tüm ölçümlerin az farkla yüksek çıkmasının nedeni daha katı metin normalleştirici ve CoreML quantization’dır
  • Aynı korpus, normalleştirici ve puanlayıcı Apple motorlarına da uygulandığı için, Whisper sonuçlarıyla uyum Apple ölçümlerini doğrulamak için temel oluşturdu
  • Cümle bazlı tanıma sonuçları, referans metinleri ve cümle bazlı WER yayımlanarak farklı normalleştirme yöntemleriyle yeniden puanlama yapılabilir

WER ölçüm yöntemi ve cihaz üzeri doğrulama

  • Her motor, deneysel ayarlarla değil Inscribe kullanıcılarının gerçekte kullandığı production kod yolu ve buffering ayarlarıyla çalıştırıldı
  • LibriSpeech referans metinleri büyük harfli, noktalamasız ve sayıları kelime olarak yazılmıştır; modern motorlar ise noktalama ve rakamlarla çıktı üretir
    • Her iki metne de büyük/küçük harf, noktalama, sayıların kelimeye dönüştürülmesi ve kısaltmaları işleyen aynı normalleştirici uygulandı
    • Okunaklı biçim üreten motorların dezavantajlı olmaması için metinler olduğu gibi puanlanmadı; OpenAI’ın İngilizce normalleştirme yöntemi izlendi
  • Kısa cümlelerin aşırı temsil edilmemesi için cümle bazlı WER ortalaması yerine toplam hata sayısının toplam referans kelime sayısına bölündüğü korpus WER kullanıldı
  • SFSpeechRecognizer varsayılan olarak sesi Apple sunucularına gönderebildiğinden cihaz üzeri tanıma zorunlu tutuldu
    • Buluta otomatik geçiş olursa karşılaştırma geçersiz olacağından harness çalışmayı reddedecek şekilde yapılandırıldı
    • Bu aynı zamanda gizlilik odaklı bir üründe 5.559 ses kaydını sunucuya yüklememek için alınmış bir önlemdi
  • Sonuç döndürülmeyen durumlar da gizlenmedi; ilgili cümlenin WER’i %100 olarak hesaplandı
    • Toplam 27.795 transkripsiyon içinde bir kez yaşandı ve SFSpeechRecognizer’ın test-other vakasıydı

Benchmark’ta bulunan ürün hatası

  • Inscribe’ın Apple motoru dosya içe aktarma özelliği sesi SpeechAnalyzer’a iletiyor ve giriş akışını kapatıyordu, ancak finalizeAndFinishThroughEndOfInput() çağrısını yapmıyordu
  • Bu çağrı olmadığında analizör nihai sonucu iletmediği için dosya içe aktarma süresiz olarak takılı kalıyordu
  • Auto ayarı daha önce Whisper’ı önceliklendirdiğinden bu hata fark edilmemişti
  • Benchmark sürecinde sorun tespit edildi ve düzeltme aynı gün dağıtıldı

Sınırlar ve gerçek kullanım kapsamı

  • Yalnızca İngilizce okunmuş konuşma değerlendirildiği için sonuçlar, Whisper’ın desteklediği ancak SpeechTranscriber’ın desteklemediği 100’den fazla dile uygulanamaz
  • LibriSpeech karşılaştırılabilir standart bir korpustur, ancak toplantı sesi değildir
    • Aksanlı konuşma, uzaktan kaydedilmiş ses ve birden fazla konuşmacılı toplantılar sonraki değerlendirme konusudur
  • Ölçümler yalnızca bir M2 Pro ve macOS 26.5.1 üzerinde yapıldı
    • Doğruluğun diğer Apple Silicon’larda da korunması beklenir, ancak hız çipe göre değişir
  • Whisper, Inscribe’ın gerçekte sunduğu WhisperKit CoreML quantization modeli ile çalıştırıldı
    • Referans GPU implementasyonu biraz farklı sonuçlar verebilir; OpenAI’ın yayımladığı değerlerle farklar tekrarlanabilirlik tablosuna yansıtılmıştır
  • Şu anda iPhone veya Mac’te İngilizce yazıya döküyorsanız, işletim sistemine yerleşik SpeechAnalyzer ölçümlerde en doğru cihaz üzeri seçenekti
  • Inscribe, desteklenen dillerde SpeechAnalyzer’ı, diğerlerinde Whisper’ı kullanır; tüm işlemleri cihaz içinde yapar ve sesi yüklemez

İlgili okumalar

1 yorum

 
GN⁺ 4 시간 전
Hacker News görüşleri

  • Whisper uygun bir karşılaştırma ölçütü değil; bugün Nvidia’nın Nemotron·Parakeet’i, Mistral’ın Voxtral’ı, Cohere Transcribe gibi daha iyi güncel modeller var.
    Öte yandan Whisper’ı basitçe saran ücretli uygulamaların önemli bir kısmı darbe alacak gibi görünüyor. Apple, macOS için Sesli Notlar uygulaması gibi yerel bir GUI çıkarırsa, bugünlerde vibe coding ile yapılan wrapper uygulamaların çoğu gereksiz hale gelecek gibi.

    • Bu test yalnızca İngilizceyi değerlendirmiş, ancak diğer modellerin güçlü yanı, dili önceden belirtmeden birden fazla dili tanıyabilmeleri. Günlük olarak üç dilde dikte yaparken üç ayrı kısayol tuşu koymak gerekmiyor.
    • Parakeet’in gerçekten son teknoloji bir model olup olmadığı tartışılır. Biri kekeler ve “m-m-m-map” derse Parakeet bunu aynen “m m m map” diye yazıya döküyor; kullanım amacına göre bu bir avantaj da olabilir, dezavantaj da. Whisper bunu yapmıyor; Cohere Transcribe ise epey hoşuma gitti.
    • Apple’ın Voice Memos uygulaması zaten macOS 15 ve iOS 18’den beri otomatik transkripsiyonu destekliyor.
    • Bu modeller arasında 1 milyardan az parametreye sahip olan yalnızca Parakeet; Apple modelinden daha iyi görünüyor ama yerleşik değil. Gecikme ve verimlilik açısından nasıl karşılaştırılacağını merak ediyorum.
    • Apple klavyesindeki berbat sesle giriş özelliğini de değiştirmesini umuyorum. Katlanması gerçekten zor bir yazılım.

  • Mac’te kayıt için Willow’u öneririm. İçeriği düzenlerken neredeyse anında işliyor; benim için “kusursuz transkripsiyondan daha iyi” seviyede. Superwhisper’ı da sevmiştim ama aradaki fark büyük olduğu için Willow’a geçtim.
    Daha ne kadar iyileşebilir diye düşündürecek kadar başarılı; konuşma tanıma ya çözülmüş ya da en geç 5 yıl içinde çözülecek bir problem gibi görünüyor. Bu alandaki şirketlerin uzun vadede ayakta kalıp kalamayacağını bilmiyorum ama tüketiciler için harika; 2030’daki Apple SpeechAnalyzer yeterince iyi hale gelirse üçüncü taraf yazılıma ihtiyaç kalmayacak gibi.

  • Ana kullanım alanım olan matematik dersi altyazısı üretiminde Whisper-Large-V2 ile karşılaştırdım; çok daha hızlıydı, doğruluğu ise biraz daha düşüktü. Gerçek zamanlı transkripsiyon için yeterince kullanılabilir, ama altyazıları anında üretmem gerekmediğinden bir süre daha Whisper kullanmayı düşünüyorum.

    • Yarım yıldır geliştirdiğim podcast uygulamasında kullanıyorum ve gerçekten çok hızlı. Sesi birden fazla parçaya bölüp eşzamanlı çözümleme akışı sınırını aşmayacak şekilde çalıştırınca muazzam hızlara ulaşıyor; parça sınırlarında bazı kısımlar kaybolsa bile podcast kullanımı için yeterli.
      iPhone 17 Pro’da 1 saatlik sesi 1 dakikada işliyor.
    • Daha hızlı ama kalitesi daha düşükse, daha küçük Whisper modelleriyle karşılaştırmak daha doğru olmaz mı diye düşünüyorum.

  • Voxtral ile karşılaştırmak daha uygun olur. Benim toplantı transkripsiyonlarımda, açık ya da kapalı modeller arasında bu kadar düşük kısaltma hata oranı (AER) veren başka model olmadı; işte kullandığım her tür teknik terimi de anlıyor ya da çıkarım yapıyor ve neredeyse düzeltme gerektirmiyor. Whisper feci derecede kötüydü.

    • Bu yüzden Apple ürünlerinde genelde otomatik düzeltmeyi kapatıyorum. Geliştirilmiş ses modelinden temkinli şekilde umutluyum, ama teknik jargonları yaygın kelimelere “düzeltmesinden” endişe ediyorum.

  • Whisper small·tiny·base neredeyse 4 yıllık modeller ve Whisper v2 ya da v3’te de güncellenmediler; artık daha iyi karşılaştırma hedefleri olması gerekmez mi diye düşünüyorum.

    • Seçenek çok; https://artificialanalysis.ai/speech-to-text/non-streaming adresinde yalnızca streaming desteği ve açık ağırlıklar gibi ölçütlerle bile arama ve filtreleme yapılabiliyor. Şu anda Voxtral ve Nvidia Nemotron en iyi görünüyor.
    • Model sayısı çok fazla; yakın zamanda aklımda kalanlardan Parakeet, bağımsız hafif bir implementasyonunun da çıkmasıyla dikkat çekti.

  • Etkileyici. Apple 27’de modeli iyileştirdiğini söylediğine göre beta sürüm ölçüm sonuçlarını da merak ediyorum.

  • Bu, 1 yıllık normal iPhone 17’de Pro olmadığı gerekçesiyle çalıştırılamayan yeni dikte motoru mu?

  • Spokenly’yi Nvidia modeliyle ve yalnızca çevrimdışı modda kullanıyorum. Tüm işlem yerelde yapılıyor ve tamamen ücretsiz; kesinlikle öneririm.

  • Whisper large ve large v3 turbo da benchmark’a dahil edilse iyi olur. Eski MacBook’larda bile sorunsuz çalışıyor, gerçek zaman katsayısı (RTF) 1’in altında ve otomatik konuşma tanıma sıralamalarının aksine gerçek dikte kullanımında Parakeet ailesinden çok daha doğru.

    • Birkaç gün önce çıkan MOSS-Transcribe-Diarize’ı denemenizi öneririm. Bu Whisper modellerinden daha iyi sonuç veriyor; çok hızlı, küçük ve gürültülü seslere de daha uygun.

  • Whisper large v3 turbo en yeni iPhone’larda bile yerelde iyi çalışıyor; karşılaştırmaya dahil edilmemiş olması tuhaf.