BrainBind: Beyin Sinyalleri ve Video İçeriği Birleştiriliyor

Araştırmacılar, beyin görüntüleme teknolojilerinin sinema izlerken nasıl tepki verdiğini anlamak için yeni bir yöntem geliştirdi. BrainBind adlı sistem, EEG (elektroensefalogram) ve fMRI (fonksiyonel manyetik rezonans görüntüleme) ölçümlerini uzun form video gömmelerine eşliyor, yani beyin sinyallerini video içeriğinin anlamsal temsillerine bağlıyor.

EEG ve fMRI farklı ölçeklerde çalışır: EEG zamansal çözünürlükte güçlü, fMRI ise mekansal detayda üstün. Geçmiş çalışmalar çoğunlukla statik görseller veya kısa kliplerle bu modaliteleri ayrı ayrı inceledi. BrainBind'in farkı, her iki sinyali aynı anda, gerçek film izleme sırasında kaydediyor ve bu paylaşılan uyarıcıyı ortak referans olarak kullanıyor.

CineBrain veri seti üzerinde test edilen sistem, farklı konfigürasyonlarda değerlendirildi. Omni modeli fMRI verilerini en iyi organize etti (MRR = 23.82), Joint-Dual ise en yüksek etiket farkında R@1 skorunu elde etti (%13.52). Sonuçlar, fMRI'ın adaylar arasında daha güçlü ayrım yaptığını, EEG'nin ise tamamlayıcı bilgi sağladığını gösteriyor.

Bu çalışma, beyin-bilgisayar arayüzleri ve nöral kod çözme sistemlerinin geliştirilmesine katkı sağlayabilir. Özellikle doğal ortamlarda beyin aktivitesini anlamak, nörorobilim ve yapay zeka kesişiminde yeni kapılar açıyor.