BrainGPT, düşünceleri metne dönüştürüyor
(iflscience.com)- University of Technology Sydney araştırmacıları, EEG beyin dalgaları tek başına kullanılarak sessizce okunan cümleleri ekrandaki metne dönüştüren invaziv olmayan bir brain-to-text teknolojisini tanıttı
- Yapay zeka modeli DeWave, beyin implantı veya MRI olmadan çalışıyor; kullanıcılar beyin aktivitesini kaydeden bir EEG başlığı takıyor
- EEG, implant tabanlı sinyallere göre daha gürültülü olsa da BLEU ölçütünde yaklaşık 0.4 elde etti ve isimlerden ziyade fiil eşleştirmede daha iyi sonuçlar gösterdi
- “the author” ifadesinin “the man” olarak değişmesi gibi hatalar ortaya çıkıyor; bu da doğru kelimeden çok anlamca yakın kelimeleri seçme sınırlamasına işaret ediyor
- Araştırmacılar doğruluğu 0.9 seviyesine çıkarabileceklerini düşünüyor; sonuçlar NeurIPS'te paylaşıldı ancak ArXiV ön baskısı henüz hakem değerlendirmesinden geçmedi
Yalnızca EEG ile cümle okuma deneyi
- University of Technology Sydney bünyesindeki GrapheneX-UTS Human-centric Artificial Intelligence Centre araştırmacıları, ham EEG dalga biçimlerini doğrudan dile dönüştüren bir yöntemi denedi
- Ching-Ten Lin, bunun brain-to-text çeviri sürecine ayrık kodlama (discrete encoding) tekniğinin entegre edildiği ilk örnek olduğunu belirtti
- Katılımcılar metin pasajlarını sessizce okudu ve yapay zeka modeli DeWave, yalnızca beyin dalgalarını girdi olarak alıp kelimeleri ekranda gösterdi
- Bu sonuç, yapay zeka ve makine öğrenimi araştırmacılarının yıllık konferansı olan NeurIPS conference kapsamında spotlight makale olarak seçildi
İnvaziv olmayan yöntemin avantajları ve mevcut sınırlar
- Mevcut brain signal-to-language teknolojilerinden farklı olarak bu yöntemde beyin implantı veya MRI cihazı gerekmiyor
- eye-tracking yazılımı gibi ek girdiler olmadan da kullanılabiliyor
- Araştırmacılar, başka cihazlarla birlikte kullanılan bir yaklaşımın da mümkün olduğunu düşünüyor
- Kullanıcının yalnızca EEG ile beyin aktivitesini kaydeden bir başlık takması yeterli
- EEG sinyalleri, implantlardan elde edilen verilere göre daha gürültülü
- BLEU algoritmasına göre puan yaklaşık 0.4 seviyesinde
- Yiqun Duan, modelin isimlerden çok fiil eşleştirmede daha başarılı olduğunu açıkladı
- İsimlerde, “the author” yerine “the man” örneğinde olduğu gibi, tam çeviri yerine eş anlamlı ya da anlamca yakın kelimeler üretme eğilimi görüldü
- Araştırmacılar, beynin kelimeleri işlerken anlamca benzer sözcüklerin benzer beyin dalgası örüntüleri oluşturabileceğini düşünüyor
- Gelecekteki doğruluk hedefi 0.9
- 0.9, geleneksel dil çeviri programlarıyla karşılaştırılabilecek bir seviye
- Deneye 29 kişi katıldı; bu sayının, farklı kod çözme teknikleri üzerine yapılan birçok deneyden en az bir basamak daha yüksek olduğu belirtiliyor
- Sonuçlar NeurIPS'te paylaşıldı ve ön baskı ArXiV üzerinde yer alıyor
- Henüz hakem değerlendirmesinden geçmedi
1 yorum
Hacker News yorumları
Beyin-bilgisayar arayüzü alanında doktora yaptım; EEG ve implante elektrotlarla çalıştım.
BCI araştırmalarının önemli bir bölümü, felçli hastaların yeniden iletişim kurabilmesine yardımcı olmaya odaklanıyor.
Ne yazık ki EEG, Faraday kafesi olan bir laboratuvar, günler/haftalar süren gürültü temizleme, göz hareketi artefaktlarının giderilmesi gibi koşulların dışında iyi bir iletişim hızı sağlayacak kadar yeterli sinyal-gürültü oranı sunamıyor.
Bu, kafatasının dışına çıkan beynin elektrik alanlarının zayıflamasından kaynaklanan fiziksel bir sınır; aşılması kolay değil. Örneğin ticari “zihin okuma” oyuncakları aslında baş ve göz kası sinyallerine dayanarak çalışıyor.
İmplante elektrotlar daha iyi sinyal veriyor ama ticari olarak uygulanabilir hale gelmeleri için hâlâ birkaç iterasyon gerekiyor. Aylar geçince beyin elektrotların çevresinde yara dokusu oluşturuyor ve sinyal düşüyor; beyin ameliyatının kendisi de elbette epey riskli.
İnsanlar üzerinde test için devlet onayı gerektiğinden iterasyon döngüleri de çok yavaş. Felçli bir arkadaşım yalnızca gözlerini hareket ettirebiliyor olsaydı kesinlikle göz izleme teknolojisine odaklanırdım. Duyduğum tüm BCI’ları açık ara geride bırakıyor.
Ayrıca makalede denildiği gibi iyi yapay zeka algoritmalarının çok fazla gürültüyü filtrelemeye ya da yorumlamaya yardımcı olabileceğini düşünüp düşünmediğini de merak ediyorum.
Örneğin metal dedektöründen geçmek ya da telefonuma dokunmak gibi.
Beklendiği gibi en büyük gürültü kaynaklarından biri, prize takılı bir telefona dokunmaktı.
EEG için Faraday bere gibi bir şeyin gerçekten işe yarayabileceğini düşünüyorum; buna yardımcı bir birinci şahıs video kaydı da eklenirse doktorlar çok fazla gürültüyü filtreleyebilir gibi görünüyor.
Bu makalenin kendisi, algoritmalar iyileştikçe EEG’nin sinyal-gürültü oranı sorununun iyileşebileceğine dair oldukça güçlü bir kanıt gibi görünüyor.
Sanırım hastanın omurga tarafındaki sinirleri hasarlıydı. Umut verici bir gelişme gibi görünüyordu; ne düşündüğünü merak ediyorum.
https://actu.epfl.ch/news/thought-controlled-walking-again-a...
Klavyeli bir odanın ses kaydından ne yazıldığını geri çıkarmak gibi, derin öğrenmenin gürültü içindeki sinyali yeniden ortaya çıkarma yeteneğini hafife almamak gerekir.
En büyük zorluk, sinyalle ilişkilendirilmiş EEG verisi üretmenin maliyetinin görece yüksek olması olabilir. Bu yüzden bilinen nesnelere bakan ya da onları işleyen insanların yüz milyonlarca saatlik verisini modele beslemek pek olacak gibi değil.
Buna karşılık göz izleme verisi, yeni tüketici donanımlarının temel bir bileşeni haline geldikçe yakında muazzam ölçüde artacak.
Doğru yanıt: Bob attended the University of Texas at Austin where he graduated, Phi Beta Kappa with a Bachelor’s degree in Latin American Studies in 1973, taking only two and a half years to complete his work, and obtaining generally excel- lent grades
Tahmin: was the University of California at Austin in where he studied in Beta Kappa in a degree of degree in history American Studies in 1975. and a one classes a half years to complete the degree. and was a excellent grades
Vay canına, bu 70’ler-80’lerdeki ilkel konuşmadan metne dönüştürme sistemlerine benziyor. Beyin arayüzleri hızla bilimkurgu alanından çıkıp gerçeğe dönüşüyor. Bunu hâlâ nasıl karşılamam gerektiğinden emin değilim.
Gerçek sonuçlar Table 3’te ve çok daha kötü.
Yani TTS modelinin kişinin “düşündüğüne” inandığı şeye ilişkin aşağıdan yukarı işleme ile, o ana kadarki konuşma verildiğinde dilbilgisi modelinin ortalama bir insanın “sonra söyleyeceğine” inandığı şeye ilişkin yukarıdan aşağı işleme arasında denge bulması. Tıpkı gerçek neokorteks gibi.
Düşününce, kişinin yazıya dökülmüş konuşmalarından oluşan bir derlem varsa LLM’i buna göre eğitmek de mümkün. Bu da “bu kişinin bu noktada ne söyleyeceğini” tahmin etme işlevine neredeyse tam olarak karşılık gelir.
Hatta AMPAR ve NMDAR etkilerinin elektriksel sonuçlarını okuyabilecek ek EEG ped konumları bile bulunabilir gibi geliyor. Böylece kişinin o anda kendi içindeki yukarıdan aşağı konuşma modeline ne kadar dayandığı, yoksa daha önce hiç düşünmediği tuhaf ve yeni cümleler kurmak için içsel aşağıdan yukarı işleme mi kullandığı ayırt edilebilir; bu bilgiyle TTS modeli ile LLM’in çıktıya etkisinin ağırlıkları ayarlanabilir.
Birinin olabildiğince çok gözetim yapan “ücretsiz” bir BCI çıkaracağı kesin.
https://www.youtube.com/watch?v=OSV7cxma6_s
“Tüm bu teknolojilerin hayal edilemez bir hızla geliştiği bir ortamda, takip edilmesi gereken fütürist Peter Diamandis düşünme biçiminizi sarsacak ve sağlık ömrüne dair yeni olasılıkları ve fırsatları hayal etmenizi sağlayacak.”
“Beyin sinyallerini dile çevirebilen ilk teknoloji değil, ancak şimdiye kadar çıkanlar içinde ne beyin implantı ne de ciddi MRI ekipmanına erişim gerektirmeyen tek teknoloji” denilen bir bölüm var.
10-20 yıl sonra sensör teknolojisi yeterince gelişip şapka takma ihtiyacı bile ortadan kalkarsa, kamusal alanlarda düşüncelerinin okunmayacağına dair makul bir beklentin olamayacağını söyleyen insanlar çıkar mı merak ediyorum.
Gözetim teknolojileri genel olarak normalleşme eğiliminde oluyor; bunun nereye kadar gidebileceğine dair pratik bir sınır var mı, onu da merak ediyorum.
10 yıldan da uzun süre önce Target’ın sadakat programı algoritmasının, alışveriş değişikliklerindeki korelasyonlara —örneğin kokulu mumdan kokusuz muma geçmek gibi— bakarak bir gencin hamile olduğunu ailesine söylemeden önce anladığına dair bir hikâye vardı.
Sosyal medya, CCTV’de yüz ve bakış takibi, telefon jiroskop verileri, satın alma kayıtları, arama geçmişi ve bağlantılı tanıdıklarının aynı verileri alınabiliyorsa, yeterince geniş bir karşılaştırma veri kümesiyle her türlü gizli sır ortaya çıkarılabilir.
“Telefonum konuşmalarımı dinliyor” korkusuna benziyor. Aslında dinlemiyor; ama daha çok kaygılanılması gereken şey, en başta kulak misafiri olmadan da sonunda ne söyleyeceğini çok isabetli biçimde çıkarabilmesi.
Çok büyük beklentiye girmiyorum.
Bu hem çok etkileyici ve faydalı hem de korkunç.
Herkes hemen sorgulama için zihin okumayı düşündü, peki ya öz değerlendirme? Kendimizi tamamen nesnel biçimde analiz edemediğimiz için çeşitli eğitim ve terapi biçimleri var.
Kendi düşünce örüntülerini kafanın dışında analiz edebilseydin her türlü iyileştirme mümkün olabilirdi. Hangi eğitim tekniğinin gerçekten en etkili olduğunu bulmak, ne zaman en çok ya da en az odaklandığını nesnel olarak görmek, kaygılı düşüncelerin ne zaman başladığını ve neyin tetiklediğini tam olarak saptamak mümkün olurdu.
En önemlisi de bunu kişisel olarak, partnerinle ya da bir grup içinde seçici biçimde yapabilirsin.
Ayrıca bugün bile fMRI beyin taramalı yalan dedektörü olarak kullanılabiliyor. Ancak bunun meşruiyetine dair hâlâ pek çok soru var.
https://scholarship.law.columbia.edu/cgi/viewcontent.cgi?art...
Zor olan yalnızca öz değerlendirme değil; daha sonra analiz etmek için üzerine düşüneceğin şeyi hatırlayıp olayı kayda geçirmen gerekmesi. Doğruluğuna güvenilebildiği varsayımıyla mümkün.
Bu konudaki etik açık evren büyüklüğündeyken doğrudan avantajlara geçilebilmesi şaşırtıcı.
Ama belki de teknoloji iyimserlerinin doğası budur.
14 yıl önceki DARPA Silent Talk aklıma geldi.
Hedefi, “sinir sinyali analizi yoluyla savaş alanında sesli konuşma olmadan kullanıcılar arasında iletişimi mümkün kılmak”tı.
https://www.engadget.com/2009-05-14-darpa-working-on-silent-...
Bu hem çok etkileyici ve faydalı hem de korkunç.
İnme hastalarına yardımcı olabilecek gibi görünüyor; ama aynı zamanda filtrelenmemiş düşünceleri dışarı aktarabileceğini ve sorun çıkarabileceğini hayal ediyorum.
Neuralink varsa sorun yok. Düşünce izlerini doğrudan yüklemen yeterli.
Yanlış düşüncelerin olsa bile endişelenmene gerek yok. Zihin durumunu değiştiren rehabilitasyon okulları var.
Mutlu olman gerektiğini unutma. Üzülmek yasak.
Şimdilik salt okunur, peki yazma tarafı nasıl olur?
Bu, gerçek hayattaki Matrix gibi yeni olasılıkların da kapısını açabilir.
Bu arada Lightspeed Briefs’i duydun mu?
Elbette araştırmanın kendisi harika ve faydalı olacak. Sadece uzun vadede siyasi kötüye kullanım potansiyeli inanılmaz derecede büyük.
Kilitli kalma sendromu hastaları için hayal etmesi zor ölçüde olumlu bir fayda; ama aynı zamanda “Torment Nexus icat etmeyi bırakın artık!” dedirten bir hikâye.
Büyük bir şeyi kaçırmıyorsam, deneğin kelimeyi bir kâğıda yazıp daha sonra sonuçla karşılaştırdığı kör kontrollü bir gösterim ikna edici olurdu.
Ne yazık ki makaledeki gösterim, profesyonel bir sihirbazın ya da mentalistin de yapabileceği bir şeye benziyordu.
Beyin arayüzlerine yaklaşıyor olduğumuz doğru olabilir, ama bu örnekte bir tuhaflık var.
Diyelim ki birkaç yıl sonra biri “kötü düşünceleri” algılayan bir havaalanı tarayıcısı icat etti. Ama doğrulamanın bir yolu yok, yanlış pozitif/yanlış negatif sonuçlar için de kimse sorumluluk almıyor. Sonuç, operatör ne derse o.
Yeterince insan buna karşı çıkmayacak kadar kabullenirse, hatta tespit edilen kişilere saldırırsa, gerçeğin ne olduğu önemli olmaz. Bu sadece insanların birlikte katıldığı sempatik büyü ritüeline dönüşür. Yakın geçmişte de benzer dinamiklere sahip örnekler varmış gibi geliyor.
Sözel olmayan düşüncenin de mümkün olup olmayacağını merak ediyorum.
Gündelik etkinliklerle ilişkilendirilmiş bir sinyal veri kümesine dayanarak bir köpeğin ne düşündüğünü ya da rüya gördüğünü anlayamaz mıyız?
Bedensel olarak yaşanan deneyimlerin temsillerini çıktı olarak üretmek, doğru biçimde oluşturulması ve yorumlanması zor bir mesele gibi görünüyor. Yine de bedensel deneyimlerle bağlantılı sinyal veri kümeleri, görsel-dil modelleri kullanılarak dilsel açıklamalarla daha kolay ve sağlam şekilde etiketlenebilir olabilir.
Böylece köpek zihni okuma modeli bu dilsel açıklamaları tahmin edip çıktı olarak verebilir.
Evcil köpeğinizin hangi parka gitmek istediğini, bir hastalığın ya da yaralanmanın ince erken belirtilerini hissedip hissetmediğini, hangi ödül mamasını aldırmak istediğini somut olarak bilebildiğinizi hayal edin.
Bu arada bu makalenin kullandığı temel modelde bir kod hatası var; bu da temel çizgi sonuçlarının şişmesine neden olmuş.
Şu anda sorunu araştırıyorlar.
https://github.com/duanyiqun/DeWave/issues/1
Korkunç çıkarımlarını bir kenara bırakırsak, bu çok havalı bir şeyi mümkün kılıyor: çift yönlü telepatik iletişim.
Mesajı düşünür ve “gönder”meyi düşünürsünüz; ardından yanıtı kulaklıktan duyarsınız. Buna ses klonlama da eklenirse mesajı gönderen kişinin sesiyle alabilirsiniz.
Dışarıdan bakan biri için tamamen sessiz ve görünmezdir.
Bu sistemin donanımını bir tür dönüştürücü olarak kullanmanın sonuçlarını çok merak ediyorum. Yani buradaki makine öğrenmesi modelini hedef metinden geriye doğru çalıştırıp, ortaya çıkan alt düzey elektrik sinyallerini transkraniyal doğru akım uyarımı sinyali olarak EEG pedleri üzerinden geri vermek.
Bunun sonucunda kişi o metni kendi iç sesiyle sözel bir düşünce olarak “duyarsa” gerçekten ilginç olurdu.
O zamanlar GameBoy Color dünyadaki en havalı şeydi.
PsOne’daki Tomb Raider yüksek çözünürlüklü gibi görünüyordu; yüksek çözünürlük diye bir şey de yoktu ve oyunların zirvesine ulaştığımızı düşünüyordum.
Apple Pro One bilgisayarı mekânsallaştırmaya çalışıyor, biz de telepatiyi havalı buluyoruz.
Ormanda koşarken ya da tüplü dalış yaparken yalnızca zihnimle 10’ar saniyelik aralıklarla kod yazabilmek güzel olurdu.
Başka birinin zihninde oluşturduğu resmi alıp önümde belirmesini sağlamak ve çevremdekilerle “Hey, Julia’nın yaptığı şeye bakın” diye paylaşabilmek güzel olurdu.
Aslında bu, zaten olan şeyin tam olarak aynısı; sadece daha anlık bir biçimi. Akıllı telefonu zihinle, ekranı da çevreyle değiştirince o gelecek dünyaya girmiş oluyorsunuz.
Eğer yeni olduğu için havalı görünüyorsa, yeniden delikli kartlarla kod yazmak ya da terminalde ed ile satır girmek de havalı sayılmaz mı?
Birkaç yıl önce DAW ile müzik üretiminden 70–84 dönemi 10 sentezleyici ve teyp makinesine geçtim; çok daha havalıydı ve geri dönmeyi düşünmüyorum.
Ama eskisi kadar hızlı mı üretiyorum? Hayır.
Zihnim ve sanal yüzen ekranlardan başka bir şey olmadan kod yazmak istememin, yeniliğin verdiği birkaç günlük havalılık dışında tek bir nedeni var.
Daha az çalışmak istiyorum; daha doğrusu iş yerinde daha az bulunmak istiyorum.
Ama gerçekte benden daha fazla iş üretmem istenecek. Sırf zihnin gücüyle, etrafımda 5-6 sanal ekran açıkken çalışmak zorunlu hale gelecek.
Ve hepsi bu. Bir başka yeni icat havalı görünene kadar.
Örneğin istemsizce araya giren düşünceler, kafada dönüp duran şarkılar, sırlar gibi şeyler.
Bu teknolojinin istenmeyen sonuçları hayal gücünü aşacaktır.