EEG ile doğrulanan beynin iki konuşma akışını eşzamanlı kodlaması

• Normal işitmeye sahip 24 yetişkinin EEG'si analiz edildiğinde, dikkat başka yöne çevrilirken yeni konuşmacıya yönelik sinirsel takibin, mevcut konuşmacıdan kopmadan önce başladığı ve iki konuşmanın kısa süreliğine eşzamanlı temsil edildiği görüldü
• İki konuşmacının ses zarfı ile kelime başlangıcı ve tahmin bilgileri zamansal yanıt fonksiyonu (TRF) ile modellendi; 1 saniyelik kod çözme penceresinde bile dikkat edilen konuşmacı şans düzeyinin anlamlı biçimde üzerinde doğrulukla ayırt edildi
• Yeni konuşmacıya yönelik katılım, mevcut konuşmacıdan kopmadan anlamlı derecede daha erken başladı ve bitti; bu katılım-kopma asimetrisi 1, 2, 4, 8 ve 16 saniyelik kaydırmalı pencerelerde de korundu
• Dikkat değişiminden sonra EEG alfa bandı gücü azaldı; en düşük nokta, konuşma kodlama geçiş noktasından daha geç ortaya çıkarak yeni konuşmacıyı takip etme ile dinleme çabası arasındaki zamansal ilişkiyi gösterdi
• Mistral-7B-v0.1 ile dört sözcüksel bağlam stratejisi karşılaştırıldığında, önceki bağlamı atan Reset modelinin entropisi EEG'yi en iyi öngördü; ancak bundan insanların da bağlamı sıfırladığı kesin olarak çıkarılamaz

---

Araştırma sorusu ve deney tasarımı

• Birden fazla kişinin konuştuğu ortamlarda bir konuşmacıya dikkati sürdürürken başka bir konuşmacıya hızla geçmek gerekir; ancak önceki nörofizyoloji çalışmaları çoğunlukla sürekli dikkat üzerine odaklanmıştı
• Dikkat değişimi, mevcut konuşmacıya yönelik sinirsel takibin azalması olan kopma (disengagement) ve yeni konuşmacı takibinin artması olan katılım (engagement) olarak ikiye ayrılarak bu iki sürecin zamansal ilişkisi incelendi
• Çalışmaya 18-39 yaşlarında, normal işitmeye sahip, ana dili İngilizce olan 24 kişi katıldı; nörolojik veya psikiyatrik hastalık öyküleri yoktu ve görmeleri normal ya da düzeltilmişti
• 1,5 m yarıçaplı dairesel bir düzende 6 hoparlör yerleştirildi
  • Ön sol ve sağ ±30° konumlarında farklı TED Talk konuşmaları ayrı ayrı 60 dB SPL seviyesinde çalındı
  • Arkadaki 4 hoparlörde, her biri 4 kişinin karışımından oluşan 16 konuşmacılı babble gürültüsü 54 dB SPL seviyesinde çalınarak ön plan-arka plan SNR değeri 3 dB olarak ayarlandı
• Katılımcılar 180 saniyelik 20 deneme yaptı ve ekrandaki ok yönlendirmelerine göre her denemede sol ve sağ konuşmacılar arasında 6 kez dikkat değiştirdi
  • Sürekli dikkat bölümleri yarı rastgele aralıklarla oluşturuldu
  • Ön plan uyaranlarında 20 erkek ve 20 kadın konuşmacıdan oluşan 40 TED Talk kullanıldı
  • Her denemeden sonra içerik kontrolü, tercih edilen konuşmacı ve geçiş zorluğu sorularını yanıtladılar

Davranış sonuçları ve dikkat kod çözümü

• Teknik bir sorun nedeniyle bir kişinin davranış verisi eksik kaldı; 23 kişi üzerinden hesaplanan içerik sorularındaki ortalama doğruluk %86,3 oldu
• Sol ses tercih oranı ortalama %49,79 ile dengeliydi; geçiş zorluğu 1-5 puan arasında ortalama 3,1 idi
• 64 kanallı EEG 512 Hz'de kaydedildi, ön işlemeden sonra 64 Hz'e aşağı örneklendi; konuşma ile EEG arasındaki gecikmeli doğrusal ilişki zamansal yanıt fonksiyonu (TRF) ile modellendi
• Ters yönlü TRF ile EEG'den dikkat edilen konuşmanın ses zarfı yeniden oluşturuldu ve sol-sağ konuşmalarla korelasyonları karşılaştırıldı
  • 1, 2, 4, 8, 16 ve 32 saniyelik kod çözme pencereleri kullanıldı
  • Pencere uzadıkça sınıflandırma performansı yükseldi; ancak 1 saniyelik pencere dahil tüm koşullar, etiketlerin 100 kez rastgeleleştirilmesiyle elde edilen şans dağılımının 95. yüzdelik diliminden anlamlı biçimde yüksekti
• Dinamik geçiş koşullarında da EEG'den ses zarfı yeniden oluşturularak dikkat edilen konuşmacı kararlı biçimde izlenebildi

Yeni konuşmacıya katılım, mevcut konuşmacıdan kopmadan daha hızlı

• İleri yönlü çok değişkenli TRF'ye ses zarfı, kelime başlangıcı ve kelime surprisal değeri dahil edildi; gerçek EEG ile öngörülen EEG arasındaki korelasyon kaydırmalı pencereyle hesaplandı
• Geçiş öncesinde mevcut konuşmacının konuşması daha güçlü takip edildi; geçiş sonrasında yeni konuşmacı takibi güçlenerek görsel dikkat yönergesiyle uyumlu hale geldi
• Geçiş öncesi ve sonrasında %50'yi aşan güvenilir dikkat yanlılığı gösteren 21 kişi zaman analizinde kullanıldı
  • Hariç tutulan katılımcılarda kopma ve katılımın başlangıç-bitiş noktaları tahmin edilemedi
  • Hariç tutulan 3 kişinin dahil edildiği sonraki analizlerde de katılımın daha erken olduğu nitel örüntü korundu, ancak istatistiksel anlamlılık ortadan kalktı
• Katılımcı bazında EEG öngörü korelasyonlarına parça parça doğrusal regresyon uygulanarak kopma ve katılımın başlangıç-bitiş noktaları tahmin edildi
  • 4 saniyelik pencerede yeni konuşmacıya katılım, mevcut konuşmacıdan kopmadan anlamlı biçimde daha erken başladı
  • Katılımın bitişi de kopmanın bitişinden anlamlı biçimde daha erkendi
• 1, 2, 4, 8 ve 16 saniyelik pencereler birlikte analiz edildiğinde de katılım-kopma asimetrisi korundu
  • Pencere uzadıkça tahmin edilen geçiş süresi uzadı
  • Kaydırmalı pencerenin zamansal yumuşatması geçişi uzatabilir, ancak iki süreç arasındaki asimetrinin kendisini oluşturmaz
• Yeni konuşmacı takibinin, mevcut konuşmacı takibindeki azalmadan önce belirdiği kısa aralıkta iki konuşma akışı sinirsel olarak eşzamanlı temsil edilir

Alfa bandı ve dinleme çabası

• Dikkat geçişi çevresindeki 8-12 Hz alfa bandı olay ilişkili spektral güç değişimi (ERSP) dinleme çabasının göstergesi olarak kullanıldı
• Geçiş sırasında alfa gücü oksipital-parietal bölgede anlamlı biçimde azaldı; geçiş sinyalinden yaklaşık 4,5 saniye sonra büyük bir düşüş ölçüldü
• 4 saniyelik pencerede alfa ERSP'nin en düşük noktası, iki konuşmacının EEG öngörü korelasyonlarının kesiştiği kodlama geçiş noktasından anlamlı biçimde daha geçti
  • Farklı pencere uzunluklarında da aynı sıralama korundu
  • Alfa en düşük noktası, yeni konuşmacıya katılımın tamamlandığı zamanla kabaca örtüşüyordu ve mevcut konuşmacıdan kopmanın tamamlanmasından daha önceydi
• Bu zamansal ilişki, alfa gücünün yeni konuşmacıya yeniden odaklanma çabasıyla, yeni dikkat dağıtıcı konuşmacının aktif biçimde bastırılmasıyla veya iki sürecin birleşimiyle ilişkili olabileceğini açık bırakıyor
• Yeni akışın akustik ve dilsel bağlamı yeterince biriktiğinde takip kolaylaşarak bilişsel kaynaklar serbest kalabilir; ancak geçiş zorluğuna göre ek doğrulama gerekir

Dört sözcüksel bağlam modeli

• Dikkat hedefi değiştiğinde sözcük tahmininde kullanılan anlamsal bağlam da değiştiğinden, Mistral-7B-v0.1 ile kelime surprisal değeri ve entropi hesaplandı
  • Surprisal, mevcut kelimenin önceki bağlama göre ne kadar beklenmedik olduğunu gösterir
  • Entropi, bir sonraki kelime tahminindeki belirsizliği gösterir
• Dört bağlam biriktirme stratejisi karşılaştırıldı
  • Oracle: Mevcut konuşmacının önceki tüm ifadelerini, dikkat edilip edilmediğine bakmadan kullanır ve geçişi tanımaz
  • Speaker-Specific: Aynı konuşmacının yalnızca önceki dikkat bölümlerini kullanır
  • Attention: Konuşmacıdan bağımsız olarak daha önce dikkat edilen tüm bölümleri kullanır
  • Reset: Geçiş öncesi tüm bağlamı atar ve yalnızca mevcut dikkat bölümünde yeni bağlam biriktirir
• Geçişten hemen sonra Reset modelinin entropisi en çok sıçradı, ardından kelimeler devam ettikçe azaldı
  • Attention ve Speaker-Specific birbirine benzerdi ve daha kararlıydı
  • Geçişi tanımayan Oracle'da geçiş öncesi ve sonrası değişim neredeyse yoktu
  • Genel ortalamada Reset entropisi Oracle'dan yüksek, Attention ve Speaker-Specific'ten düşük orta bir seviyedeydi

Reset modelinin EEG öngörü sonuçları

• Yalnızca akustik özellikleri kullanan temel TRF ile karşılaştırıldığında, entropi eklenen Speaker-Specific, Attention ve Reset modelleri anlamlı öngörü iyileşmesi gösterdi; ancak Oracle iyileşmedi
• Surprisal kullanıldığında da Oracle dışındaki üç modelde anlamsal bilgi kodlaması doğrulandı
• Beklentinin aksine entropi tabanlı Reset modeli, Oracle, Speaker-Specific ve Attention'a göre EEG öngörü korelasyonunda anlamlı biçimde daha yüksekti
  • 350-550 ms TRF-N400 genliği Reset'te diğer üç modelden daha düşüktü
• Surprisal tabanlı analizde Reset, Oracle'dan yüksekti; ancak diğer modeller arası karşılaştırmalar anlamlı değildi ve TRF-N400 genliğinde de anlamlı fark yoktu
• Entropinin gelecek kelimelerin belirsizliğini yansıtması, surprisal'ın ise halihazırda ortaya çıkan kelimelere yanıt vermesi sonucu etkilemiş olabilir
  • Katılımcılar geçiş sinyalini alarak başka bir konuşmanın geleceğini bekliyordu; ancak LLM sinyal almadığından insan ve model surprisal değerleri uyuşmayabilir
  • Mistral yalnızca bir sonraki kelime tahmini için optimize edilmiştir; nörofizyolojik geçerlilik hedeflemez
• Sonuçlar, geçiş sırasında insanların sözcüksel bağlamı sıfırlayabileceği olasılığıyla uyumludur; ancak insanların ve LLM'lerin konuşma süreksizliğini tamamen farklı biçimde işlemiş olma olasılığı da sürer

Sınırlamalar ve kullanım olasılıkları

• Kaydırmalı pencereyle hesaplanan katılım-kopma zamanları pencere uzunluğuna bağlı olduğundan, mutlak sinirsel işlem süresi olarak değil, süreçler arası göreli zaman olarak yorumlanmalıdır
• Yönergeli geçiş görevi gerçek konuşmalardan daha az doğaldır ve dikkat dağıtıcı konuşmaları izlemeye yönelttiği için sürekli dikkat görevlerinden farklı stratejiler oluşturabilir
• Asimetri; bilişsel yük, yaş, bilişsel yetenek, işitme sorunları, konuşma içeriğine ilgi, geçiş sıklığı ve görev özelliklerine göre değişebilir
• Önceki bağlamı tamamen atmak yerine, hikâyenin ana fikri gibi soyut biçimde özetleyip koruma olasılığı da vardır
  • Cümle tahmini için optimize edilmiş Large Concept Model veya kısa token bağlamı ile geçmiş özetleri birleştiren modeller karşılaştırılabilir
• Konuşmaya göre kodlama değişimlerini ayrıştırma yöntemi, basit dikkat sınıflandırmasından daha ayrıntılıdır; bilişsel kontrollü işitme cihazı araştırmalarında ve yaş-işitme grupları karşılaştırmalarında kullanılabilir
• Ön işlenmiş EEG, analiz dosyaları, kod ve konuşma uyaranları Zenodo üzerinde yayımlanmıştır

[GN⁺]

Hacker News yorumları

• Richard Feynman’ın zihninde 60 saniye sayarken aynı anda neler yapabildiğini denediği hikâyeyi hatırlatıyor. Feynman sayarken okuyabiliyor ama konuşamıyordu; John Tukey ise tersine konuşabiliyor ama okuyamıyordu.
  Bunun nedeni Tukey’nin sayıları sayarken bir şeridi görselleştirmesi, Feynman’ın ise içinden konuşmasıydı. Aynı sayı sayma eyleminde bile insanların zihinsel süreçleri farklı olabiliyor; sayarken neyi yapıp neyi yapamadıklarını gözlemleyerek bunun nesnel olarak doğrulanabileceği sonucuna varılıyor.
  Feynman, denklemlerdeki harfleri renkler olarak gören kendisiyle öğrencilerin Bessel fonksiyonlarını bütünüyle farklı algılama olasılığını da düşünmüştü.
  https://calteches.library.caltech.edu/3591/1/Feynman.pdf

  • Kızımı uyuturken onu kucağımda tutup şarkı söyleyerek 300 adım sayardım; iç monolog yerine sayıları görselleştirince şarkı söylemek ve sayı saymak aynı anda mümkün oluyordu. Yine de daha fazla odaklanma gerekiyordu; artık kendi başına uyuyan kızıma bakınca bazen o günleri özlüyorum.
  • Yazı okumadığım sürece, pek odaklanmadan da sesli kitabın içeriğini takip edebiliyorum. Okurken iç seslendirme yaptığım için sesli kitapla okumayı aynı anda yapamıyor gibiyim; hızlı okumaktansa her kelimeyi tek tek hissederek okumayı tercih ediyorum.
  • Bunun, sol ve sağ beyin yarımkürelerinin farklı bilişsel işlevlerden ve karşı tarafın beden hareketlerinden sorumlu olması ve korpus kallozum üzerinden iletişim kurmasıyla ilgili görünüyor. Korpus kallozumu kesilmiş ayrık beyin hastalarında iki yarımküre bazen bağımsız davranabiliyor; Michael Gazzaniga ve Roger Sperry’nin deneylerinde bu görülebilir.
    Feynman’ın deneyi, herkesin geliştirdiği içsel işleme yöntemlerinin dışarıdan doğrulanabileceğini gösteriyor; matematik sembollerini renkli hissetmesi de sağ beynin, sol beynin mantık problemlerine özgün tanımlayıcılar atamasının sonucu olabilir diye düşünüyorum.
  • Müzik dinlediğimde çalışamıyor ya da okuyup odaklanamıyorum; bunun aynı nedenden mi, yoksa müziğin tüm dikkati üzerine çekmesinden mi kaynaklandığını merak ediyorum.
  • Çocuğa ninni söylerken okumak çok kolay, ama zihnimde sayı sayarken konuşmaya çalışınca duvara çarpmış gibi imkânsızdı.

• Bir masal kitabını yüksek sesle okurken bambaşka düşünceleri sürdürebiliyorum. Ancak diğer düşüncedeki kelimelerle değiştirerek okumak gibi hataların okumaya sızdığı zamanlar oluyor.

  • Fizikçi olan babam kitap okurken uykuya dalmaya başladığında masal birden anlamsızlaşır, zor fizik terimleriyle dolardı; bunu hemen anlardık.
  • Her akşam çocuğuma kitap okurken yaklaşık 15 dakika başka bir problemi düşünebiliyorum, ama o haldeyken olay örgüsünü takip edemiyorum. Çocuk “Baba, bisikleti neden çaldın?” diye sorduğu anda tüm kamuflaj çöküyor.
  • Çocuklara Enid Blyton kitapları da dahil onlarca kitap okurken aynı anda işi ya da ev işlerini düşünebiliyorum. Birkaç dakika boyunca okuduklarımı hiç takip edemeyip baştan başlamam gerekiyor; göz ve ağızdan oluşan fonolojik döngü yolu, bellek-işleme-yürütücü biliş yolundan bağımsız çalışıyor gibi.
  • Okulda ders kitaplarını sırayla okurken yalnızca sese ve noktalama işaretlerine uygun tonlamaya odaklanırdım. Paragraf bitince içeriği anlamak için sessizce yeniden okumam gerekirdi; bugün de karmaşık bir metni anlayarak yüksek sesle okumak için iki işleme akışını da kullanmam gerekiyor.
  • Başka düşüncelere daha fazla bilişsel kaynak ayırdığımda, okumak için hiç çaba göstermediğim hâlde yüksek sesle okumaya devam ettiğimi fark ettiğim oluyor.

• Pilot ve telsiz iletişim sorumlusu olarak her zaman iki ses akışını aynı anda işleyebildiğim için şaşırtıcı bir sonuç değil.

  • Kontrol merkezi ve TRACON’daki kontrolörler, iki kulakla birden birden fazla frekansı izlerken bir pilot başka frekanstaki iletişimin üstüne konuşsa bile bunu işlemek zorunda. Devir teslim sırasında iç iletişimi de yürütmeleri gerekiyor; ayrıca konuşulanlar hafta sonu barbeküsü muhabbeti değil, METAR düzeyinde bilgi yoğunluğu taşıyor.
  • Öğretmen olarak bazen birden fazla çocukla aynı anda konuştuğum oluyor. Derin odak gerekmiyorsa mümkün, ama yorucu olduğu için olabildiğince kaçınıyorum.
  • Kulaklıkta birden çok sesin merkezde ya da mono olarak üst üste mi duyulduğunu, yoksa sol kulak ve sağ kulak arasında ayrıldığını merak ediyorum.

• Çeşitli farkındalık pratikleri, iç sesi susturmak için dikkati aynı anda iki yere vermeye çalışıyor gibi. George Gurdjieff’in The Fourth Way öğretisinde ve P. D. Ouspensky’nin kayıtlarında, iki nesneye odaklanıp dikkat akışını doyuma ulaştırınca meditasyona benzer bir bilinç değişiminin ortaya çıktığı anlatılır.
  https://en.wikipedia.org/wiki/In_Search_of_the_Miraculous

  • Belki de füg dinlemek bu yüzden bu kadar keyiflidir.

• Üniversite yıllarında partilerde birden fazla sohbete aynı anda katılır, gruplar arasında gidip gelirdim. Yetenekli olduğumdan değil; etraftaki tüm konuşmaları duyduğum ve birkaç grupta ilginç şeyler konuşulunca hiçbirini kaçırmak istemediğim için sürekli sohbetler arasında mekik dokuyordum.

• Birden fazla duyusal akışı işleyemeseydik, arka plandaki tehlikeleri izleyemez ya da bağlam değiştirme yapamazdık. Bilinçli deneyim ile arka planda gerçekleşen işleme farklı şeylerdir.

  • Birden fazla akışı işlemek ile aynı anda sürekli işlemek farklıdır. Tek çekirdekli bir CPU’nun birden çok iş parçacığını idare etmesi gibi, A ile B arasında kısa kısa gidip gelen zaman paylaşımlı bir yaklaşımla da ilki mümkündür.
    Beynin birden çok akışı gerçekten eşzamanlı olarak sürekli işleyip kodladığına dair kanıt, çoklu görev yürütmenin kesin mekanizmasını anlamamızı sağlar; bu yüzden sonuç bariz görünse bile araştırmaya değer.
  • Burada ele alınan şey genel çoklu duyusal işleme değil, birden çok ses akışının işlenmesi.
  • Bir metnin anlamını kavramak ile bir sinyalden tehlikeyi ayırt etmek, işlemenin nitel düzeyi açısından da farklıdır.

• Bunun zaten iyi bilinen bir gerçek olduğunu sanıyordum. Benim sorunum, başkalarının sözlerini görmezden gelememek; biriyle konuşurken bile çevredeki konuşmaları tek kelimesini kaçırmadan duyuyorum.

• Apollo görev kontrol ekibi, birden fazla konuşma akışını aynı anda işlemek üzere eğitilmişti; ama bunu kapatamadıkları için kokteyl partilerinin onlar için kâbusa dönüştüğü meşhurdur.

  • Havalimanı kontrolörleri ile demiryolu ve metroda benzer görevlerde çalışanların da aynı zorluğu yaşama olasılığı yüksek.
  • Akrabalarla yemek yediğimizde herkes aynı anda konuşur ve çoğu kişi iki sohbete birden katılır. Üniversite nedeniyle evden ayrılan kız kardeşim bu alışkanlığı yeniden bırakmak için haftalar harcadı; ziyaretleri sırasında yemek masasında hiç konuşmazdı.
  • Bu anekdotun kaynağını doğrulayacak bir bağlantı merak ediyorum.

• Pythagoras’ın efsanevi süper güçlerinden biri, iki şehirde aynı anda ortaya çıkıp ders vermesi anlamındaki bilokasyon idi. Sosyal ortamlarda birden fazla sohbete aynı anda katıldığım her seferinde Pythagoras aklıma geliyor.

• Animasyon ile ses ilk kez birleştirildiğinde, sarkaç tam uca ulaştığı anda “tık” sesi çalındığında insanlar sesin geç geldiğini hissediyordu. Bunun, dikkati bir uyarandan diğerine aktarmanın yaklaşık 1/16 saniye sürmesinden kaynaklandığı söylenir.
  Zaman algısına ilişkin başka gözlemler https://en.wikipedia.org/wiki/Time_perception adresinde görülebilir.

  • Sesin kendisinin yayılma hızı da yavaştır.
  • Gerçek bir saatin tik tak sesi zaten sarkaç uca ulaşmadan önce çıkar.