oTranscribe: Ücretsiz açık kaynaklı sesli röportaj transkripsiyon aracı

 (otranscribe.com)
2 puan yazan GN⁺ 2024-08-10 | 3 yorum | WhatsApp'ta paylaş
  • oTranscribe, kaydedilmiş röportajları yazıya dökerken medya oynatıcı ile belge düzenleyici arasında gidip gelme zahmetini azaltan ücretsiz bir web uygulamasıdır
  • Tek ekranda oynatma ve yazma işlemlerini yönetir; yalnızca klavyeyle duraklatma·geri sarma·ileri sarma denetimleri yapılabilir
  • Transkripsiyona etkileşimli zaman damgaları ekleyerek belirli bir ana doğrudan gidilebilir; çalışma içeriği tarayıcı depolamasına her saniye otomatik kaydedilir
  • Ses dosyaları ve transkripsiyonlar bilgisayarın dışına çıkmayan özel bir yöntemle işlenir; Markdown, düz metin ve Google Docs olarak dışa aktarılabilir
  • mp3/ogg/webm/wav ses ve mp4/ogg/webm video destekler, ancak masaüstü bilgisayarda kullanım akışını esas alır

Tek ekranda tamamlanan transkripsiyon akışı

  • oTranscribe, kaydedilmiş röportajları yazıya dökmek için ücretsiz bir web uygulamasıdır
  • Yalnızca masaüstü bilgisayarlarda kullanılabilir
  • QuickTime ile Word arasında gidip gelmeden çalışmak için transkripsiyon girişi ve medya oynatmayı aynı ekranda yönetir
  • Klavye kısayollarıyla oynatma ve biçimlendirme denetlenebilir
    • ESC ile oynat/duraklat
    • Klavyeyle duraklatma, geri sarma, ileri sarma ve hız ayarı
    • Ctrl+J ile geçerli zaman damgasını ekleme
    • Ctrl+I ile italik, Ctrl+B ile kalın biçimlendirme uygulama
  • Transkripsiyon içindeki etkileşimli zaman damgasına tıklanınca ilgili ana gidilebilir

Dosya işleme, kaydetme ve dışa aktarma

  • Ses dosyaları ve transkripsiyonlar bilgisayarın dışına çıkmayan özel bir yöntemle işlenir
  • Çalışma içeriği tarayıcı depolamasına her saniye otomatik kaydedilir
  • Transkripsiyon geçmişi her 5 dakikada bir kopya olarak kaydedilir ve en fazla 100 yedek tutulur
  • Ctrl+S ile istenildiğinde elle kaydedilebilir

  • Desteklenen biçimler

    • Ses: mp3, ogg, webm, wav
    • Video: mp4, ogg, webm
    • Video dosyaları entegre oynatıcıda oynatılabilir
    • YouTube video URL'si girme özelliği vardır

  • Dışa aktarma

    • Markdown .md
    • Düz metin .txt
    • oTranscribe biçimi
    • Google Docs
    • oTranscribe, MIT lisanslı açık kaynaklı bir projedir
    • Yardım için Help sayfasına bakılabilir

İlgili okumalar

3 yorum

 
xguru 2024-08-11

Hımm? Tarayıcıda bunun nasıl mümkün olduğunu merak etmiştim ama.. meğer yapay zeka olmadan, sadece dinleyip elle yazıya geçirmeye yarayan bir araçmış.
Son zamanlarda Whisper ile Korece tanıma da oldukça iyi çalışıyor; illa böyle bir şey kullanmak için özel bir neden var mı ki..
 
znjadong 2024-08-14

Konuşmacı sayısı fazla olduğunda, telaffuz net olmadığında ya da kayıt kalitesi düşük olduğunda yapay zekadan yardım almak zor olabilir. Ayrıca bazen sadece 'yeterince iyi' çalışmasından daha yüksek bir kaliteye ihtiyaç duyulur.
 
GN⁺ 2024-08-10
Hacker News yorumları

  • Bu hafta birden fazla konuşmacının olduğu bir röportajı konuşmacı ayrıştırmalı transkripsiyon yapmam gerektiği için https://github.com/MahmoudAshraf97/whisper-diarization kullandım; çok iyi çalıştı.
    Kesintisiz her konuşma parçasına konuşmacı numarası eklenmiş bir dosya ve altyazıda kullanılabilecek gibi görünen zaman damgalı bir dosya olmak üzere ikisini de üretiyor.

    • Spectropic [1] adlı barındırılan Whisper konuşmacı ayrıştırma API’sini bir platform gibi kullanarak iyi sonuçlar aldım.
      M1’de whisper-diarization kurup kullanmaktan daha ucuz, çok daha kolay ve hızlıydı. Audiogest [2], Spectropic üzerine kurulmuş bir web hizmeti; henüz denemedim.
      İlgili biri değilim, sadece memnun bir müşteriyim; bir hata raporundan sonra bu araçları yapan tek kişilik geliştirici gibi görünen kişiyle iyi bir e-posta sohbetim olmuştu.
      [1] https://spectropic.ai/
      [2] https://audiogest.app/
    • Eski ve pek bilinmeyen yabancı filmlere ya da yabancı Telegram/Twitter kanallarında bulduğum kısa videolara Whisper ile sık sık altyazı ekliyorum.
      Çeviri için GPT ile birlikte kullanınca oldukça iyi oluyor.
      Yeterli (V)RAM’iniz varsa yerelde de mümkün, ama genelde boşta kaynak olmadığı için OpenAI API’yi tercih ediyorum. Çeşitli Llama türevleri GPT-4 kalitesine ulaşamıyor.
      Yalnızca Whisper gerekiyorsa ve çeviri gerekmiyorsa yerelde çalıştırmak da gayet gerçekçi; yüksek kaliteli Whisper bile 4GB (V)RAM’e sığıyor.
    • OpenAI Whisper’ın sorunu, yalnızca CPU’lu makinelerde çok yavaş olması.
      Whisper.CPP, Whisper’a göre çok hızlı; keşke onun üzerinde daha iyi konuşmacı ayrıştırma özellikleri geliştirilse.
    • whisper-dia’da bazen çözemediğim garip sorunlar vardı; kişisel olarak whisperX bana daha uygun geldi: https://github.com/m-bain/whisperX
    • Geleneksel olarak çok karmaşık ve zor olan makine öğrenimi problemlerinin, yapay zeka sayesinde giderek genel amaçlı birer ürün gibi hale gelmesi ilginç.
      Transkripsiyon, makine çevirisi, OCR, görüntü tanıma gibi şeyler buna örnek.

  • Biraz belirsiz olabilir ama OTranscribe, otomatik bir konuşmadan metne dönüştürme aracı değil; manuel transkripsiyona yardımcı olan bir UI.
    Yani burada yapay zeka yok.

    • Evet, manuel transkripsiyon desteği için tasarlanmış bir araç.

  • Kayıt sırasında kelime düzeyinde gerçek zamanlı transkripsiyon yapan, tamamen yerelde çalışan ve nispeten güncel açık kaynak yerel modeller kullanan açık kaynak/ücretli uygulama/shareware/freeware var mı?
    Şu anda gerçek zamanlı toplantı transkripsiyonu için otter.ai kullanıyorum. Çoklu görev yaparken bana soru geldiğinde son birkaç saniyenin transkriptine göz atıp hemen konuya yetişebildiğim için iyi, ama kusursuz değil; bazen gerçek zamanlı hizmette transkripsiyon gecikmesi epey yüksek oluyor ve internet bağlantısı da gerekiyor.
    Buna karşılık Whisper tabanlı uygulamaların çoğu ve en son baktığımda whisper.cpp demo kodu, tüm kaydı tek seferde vermeyi gerektiriyordu. Apple’ın dikte framework’üne vb. dayanan başka şeyler de var, ama mevcut işlevleri biraz eski kalmış durumda.
    Gerçekten kullandığınız bir şey var mı merak ediyorum.

    • İşitmem iyi olmadığı için farklı bir ihtiyaçtan dolayı, tamamen yerelde kelime düzeyinde gerçek zamanlı transkripsiyon yapan yerel öncelikli bir çözümü kendim yaptım.
      Toplantıları, röportajları vb. transkribe ederken her gün kullandığım araç bu. Tüm veriler kendi makinemde kaldığı için iş toplantılarını transkribe ederken de gizlilik konusunda endişelenmeme gerek kalmıyor.
      Otter.ai kadar hızlı, ancak kullanıcı deneyimi ve hız açısından kesinlikle iyileştirme alanı var. Yine de yalnızca Apple silicon’lı MacBook’larda çalışıyor.
      İlgilenirsen e-postayla konuşabiliriz (HN profilime bak).
    • Android/GrapheneOS üzerinde Transcribro[0] kullanıyorum.
      Özgür ve açık kaynak yazılım, tamamen yerelde çalışıyor. Kelime düzeyinde gerçek zamanlı değil, ama işleme başlamak için tüm sesin yüklenmesini beklemek gerekmiyor. Pixel 5a’da kullanıyorum; yani çok güçlü bir donanım da değil.
      Yazmak istemediğimde Telegram üzerinden Linux makineme mesaj göndermek için bile kullanacak kadar iyi çalışıyor. Çok zarif olmayan bir hack, ama işi görüyor.
      Linux’a özgü bir alternatif bulmak ya da Waydroid’de çalıştırmayı denemek için birkaç saat harcadım, ama bunun kadar iyi çalışan bir şey bulamadım; bu yüzden “pürüzsüzlük”ün “yeterince kullanılabilir”in düşmanı olmasına izin vermemeye karar verdim.
      [0] https://github.com/soupslurpr/Transcribro
    • Google Pixel telefonlarda bu özellik var ve çok iyi çalışıyor.
    • oTranscribe+ [0] kodlamasına yardım etmiştim; istediğinize benzer bir iş yapıyor.
      ElectronJS ve o zamanki oTranscribe sürümünü kullanan bir masaüstü uygulaması; web sürümü ve PWA [1] da var.
      O dönemde dil modeli olarak BSC’nin (Barcelona Supercomputing Center) modeli kullanılıyordu; transkripsiyon ise Vosk [2] tabanlı olarak WASM’de yapılıyordu.
      [0] https://github.com/projecte-aina/oTranscribe-plus
      [1] https://otranscribe.bsc.es/
      [2] https://github.com/alphacep/vosk-api
    • Mümkün. WhisperKit’in TestFlight uygulaması Apple Silicon’da üçünü de destekliyor: https://www.takeargmax.com/blog/whisperkit
      Konuşmacı ayrıştırma da olsa iyi olurdu, ama upstream Whisper’a eklenmesini bekliyorum: https://github.com/argmaxinc/WhisperKit/issues/31

  • Yapay zeka entegrasyonu olmaması biraz şaşırtıcı
    Yayın kalitesinde sonuç istiyorsanız, yapay zeka çıktısının da hâlâ düzeltme ve kalite kontrolünden geçmesi gerekir. Kimin ne zaman konuştuğunu işaretlemek ya da en azından Whisper’ın yapamadığı konuşmacı tanımlamasını yapmak, alışılmadık soyadlarını düzeltmek vb. gerekir
    Bu yüzden yapay zeka kullananların da düzeltme/son rötuş/redaksiyon için iyi bir araca ihtiyacı var; bu da desteksiz transkripsiyon araçlarına benzer bir şey olacak gibi

    • Bu araç çok uzun zaman önce, eski bir WSJ Graphics muhabiri olan ve şimdi Datawrapper’da çalışan Elliot Bentley tarafından yapılmış
      Şu anda Muckrock tarafından işletiliyor ve bir süredir değişiklik yapılmadı
      Bu yüzden böyle bir entegrasyon yok. O dönemde bu teknolojinin kendisi yoktu

  • FAQ’ya göre, “oTranscribe sesi otomatik olarak metne dönüştürür mü?” sorusunun yanıtı “hayır”
    oTranscribe, ses transkripsiyonu denen el işini çok daha az zahmetli hâle getirir, ama transkripsiyonu yine sizin yapmanız gerekir

  • Şu anda Aiko’nun ücretsiz iOS uygulamasını kullanıyorum; OpenAI’nin Whisper modeliyle çevrimdışı transkripsiyon yapıyor
    Şimdiye kadar oldukça iyi çalıştı ve SRT, TXT, CSV, JSON, zaman damgalı metin gibi formatlarda dışa aktarabiliyor
    https://sindresorhus.com/aiko

  • Ses/video dosyalarının transkripsiyonuna ihtiyacınız varsa benim hizmetim TurboScribe’ı https://turboscribe.ai/ da istediğiniz zaman deneyebilirsiniz
    Günde 3 dosyaya kadar, dosya başına 30 dakika sınırıyla %100 ücretsiz; ücretli plan sınırsız ve dosya başına 10 saate kadar transkripsiyon yapıyor
    Konuşmacı tanıma, yaygın dışa aktarma formatları (TXT, DOCX, PDF, SRT, CSV) ve transkripsiyon üzerinde çalışmaya yönelik yapay zeka araçlarını da destekliyor

    • TurboScribe’ın ücretli planıyla iyi sonuçlar aldım ve bir hizmet olarak sunulmasını seviyorum
      Genelde birden fazla konuşmacının yer aldığı 2-3 saatlik video kayıtları için kullanıyorum; dışa aktarmadan önce temizleme yapmaya yarayan düzenleme araçları faydalı
    • İyi görünüyor. Bir API’si var mı ya da yayımlama planınız var mı, merak ediyorum

  • Şu anda en iyi multimodal LLM olabilecek Gemini-1.5-Pro-Experiment-0801’in transkripsiyonu ne kadar iyi yaptığını merak ettiğim için, bugün yayımlanan Ezra Klein ve Nancy Pelosi röportajının 5 dakikasını yazıya döktürdüm
    Sonuç burada: https://www.gally.net/temp/20240809geminitranscription/index...
    Küçük noktalama ve büyük/küçük harf sorunları dışında Gemini’nin transkripsiyonu neredeyse kusursuz görünüyordu. Yanlış duymuş gibi olduğu yalnızca bir iki kelime vardı; ben kendim yazıya dökseydim muhtemelen bundan daha fazla hata yapardım
    Özellikle “And then he comes up with "weird," which becomes viral and the rest, and here he is.” kısmı dikkatimi çekti
    Gemini, konuşmacının Walz’un kullandığı kelimenin kendisine atıfta bulunduğunu doğru biçimde göstermek için “weird” kelimesini nasıl tırnak içine aldı? Politico’ya göre Walz’un bu bağlamda medyada bu kelimeyi ilk kullanışı 23 Temmuz’du
    https://www.politico.com/news/2024/07/26/trump-vance-weird-0...

    • Tırnak işaretlerinin bile iyi işlenmiş olmasındaki etkileyici sonuçta muhtemelen iki etken rol oynamış olabilir: işitsel ipuçları ve tırnak işaretleri olmazsa cümlenin dilbilgisel olarak tuhaflaşıp anlamının oturmaması
      Sadece tahmin yürütüyorum ama LLM’lerin ya da diğer konuşma tanıma sistemlerinin tek tek kelimeleri ve noktalama işaretlerini belirlemek için cümle bağlamından yararlanması büyük olasılık; bu da bunun iyi denk geldiği bir örnek gibi görünüyor
      İnsanların dinlemesi de benzer. Bağlam varsa, çok mırıldanarak ya da hızlı konuşulsa bile kelimeleri anlayabiliyoruz
      Sonuçta kelimeleri değil, öbekleri duyuyoruz denebilir
    • Modelin tırnak işaretlerinin etrafındaki dilsel ipuçlarını yakalaması büyük olasılık
      Ses ya da video dosyası varsa, transkripsiyonda noktalama işaretlerini nasıl koyduğunu görmek için onu bizim yapay zeka video düzenleyicimize yüklemek isterim

  • Tarayıcıda Whisper ve WASM ile video/ses dosyalarını yazıya döküp .txt, .srt, .vtt dosyaları alabileceğiniz bir transkripsiyon aracı da var
    İleride Whisper Turbo desteği de mümkün olabilir
    https://video2srt.ccextractor.org/
    Not: Bu proje üzerinde çalışıyorum

  • Bunu çok kullanıyorum. İyi, basit ve gerekli araçlar — yani oynatma hızı ayarı ile kolay duraklatma/oynatma — dışında hiçbir fazlası yok
    “ıı”, “şey” gibi seslerle 40 sayfa üretip sonra tekrar ayıklayıp düzenlemem gereken otomatik transkripsiyon araçlarına göre bunu çok daha fazla tercih ederim

    • Transkripsiyonu bir LLM’e verip ıı, şey gibi dolgu ifadelerini temizletmek olmaz mı?