arXiv:2607.20720v1 q-bio.NC

연속 EEG에서 서사 이해의 지표로서 전환 관련 전위

Transition-Related Potentials as Markers of Narrative Comprehension in Continuous EEG

Bálint Csanády, Péter Vedres, Kristóf Zsolt Makó, Orsolya Papp-Zipernovszky, Márta Volosin, Dávid Apagyi, András Lukács, András Bálint Kovács, Zoltan Nadasdy

제출 2026-07-22

한국어 초록

뇌전도(EEG)를 뇌 연구에 활용하는 잠재력은 본질적인 노이즈와 두피 전반에 퍼지는 뇌 발생 활동의 확산 투사에 의해 근본적으로 제한된다. 표준 사건 관련 전위(ERP) 패러다임은 반복적인 독립 시행에 의존함으로써 이 한계를 해결하지만, 자연주의적 실험 조건에서 벗어나는 대가를 치른다. 보다 자연주의적인 대안으로, 참가자들이 짧은 영화를 시청하는 동안 연속 EEG를 수집하고 급격한 영화적 전환(컷)에 정렬된 전위를 추출했다. 이러한 전환 관련 전위(TRP)가 상당한 정보 처리와 연관된 표준적인 ERP 유사 시간적 구조를 보인다는 것을 입증한다. 일관된 영화와 컷 이후 감각 입력이 일치하는 장면 무작위 재배열 버전을 비교함으로써, 이러한 반응이 서사적 맥락에 의해 체계적으로 형성됨을 발견했다. 이어서 컷 관련 EEG 시그니처가 소형 심층 신경망(DNN)을 사용하여 집단 평균 연속 기록에서 직접 복원될 수 있음을 보인다. 검출기는 영화와 피험자 집단에 걸쳐 일반화되었으며, 결과 TRP는 수동으로 주석 처리된 컷에서 관찰된 주요 맥락 의존적 효과를 재현했다. 이러한 결과는 서사적 맥락이 EEG 반응에 측정 가능한 시그니처를 남기며, 이 시그니처가 연속 기록에서 직접 검출될 수 있고, 이러한 검출이 시청자가 영화 서사를 처리하고 이해하는 방식을 분석하는 반자동화 프레임워크를 제공함을 나타낸다. 여기에 제시된 방법이 다른 형태의 연속 자극에 대한 EEG 반응을 분석하도록 적용될 수 있으며, 자연스러운 인간 경험에 더 가까운 실험 조건을 탐구하는 일반적 도구를 제공할 수 있다고 제안한다.

원문 초록

Harnessing the potential of electroencephalography (EEG) for brain research is fundamentally limited by intrinsic noise and the diffuse projection of brain-generated activity over the scalp. The standard event-related potential (ERP) paradigm addresses this limitation by relying on repeated independent trials, albeit at the cost of moving away from naturalistic experimental conditions. As a more naturalistic alternative, we collected continuous EEG while participants watched short films and extracted potentials aligned to sharp cinematic transitions (cuts). We demonstrate that such transition-related potentials (TRPs) exhibit canonical ERP-like temporal structure associated with significant information processing. By comparing coherent films with scene-scrambled versions containing matched post-cut sensory input, we find that these responses are systematically shaped by narrative context. We then show that the cut-related EEG signature can be recovered directly from group-averaged continuous recordings with a compact deep neural network (DNN). The detector generalized across films and subject groups, and the resulting TRPs reproduced the main context-dependent effects observed for manually annotated cuts. These results indicate that narrative context leaves a measurable signature in EEG responses, that this signature can be detected directly in continuous recordings, and that such detections provide a semi-automated framework for analyzing how viewers process and understand film narratives. We propose that the method outlined here can be adapted to parse EEG responses to other forms of continuous stimulation, providing a general tool for probing experimental conditions that are closer to natural human experience.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.20720v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24324v1cs.AI공통 태그 Time Series Analysis, EEG

Brain-Token Learning: 장기 EEG 시퀀스 모델링을 위한 미세상태 기반 토큰화 및 다중 스케일 상호작용

Brain-Token Learning: Microstate-Based Tokenization and Multi-Scale Interaction for Long-Horizon EEG Sequence Modeling

뇌전도(EEG)는 동적인 뇌 활동을 파악할 수 있는 비침습적 창을 제공하지만, 장기(long-horizon) EEG 시퀀스를 모델링하는 것은 높은 시간적 복잡도, 피험자 간의 상당한 변동성, 생물학적으로 유의미한 시퀀스 표현의 부재로 인해 여전히 어려운 과제로 남아 있습니다. 고정 윈도우 및 패치 기반 표현과 같은 기존의 토큰화(tokenization) 전략은 인위적인 시간적 경계에 따라 EEG 신호를 이산화하므로, 본질적인 뇌 상태 역학을 훼손할 수 있습니다. 본 연구에서는 장기 EEG 시퀀스 모델링을 위해 뇌 토큰화(Brain Tokenization)를 도입한 신경과학 기반 프레임워크인 Brain-Token Learning을 제안합니다. Brain Tokenization은 EEG 신호를 사전 정의된 시간 세그먼트로 분할하는 대신, 반복되는 미세상태(microstate)에서 파생된 뇌 토큰(token)의 시퀀스로 표현하며, 각 토큰은 가변적인 시간적 지속 기간을 갖는 준안정적(quasi-stable) 대규모 뇌 상태에 대응합니다. 이러한 생물학적 근거를 둔 토큰을 기반으로, 저자들은 전역적 뇌 상태 문맥과 국소적 미세상태 전이를 공동으로 포착하기 위해 잠재 상태 집약(Latent State Aggregation) 및 상태 전이 모델링(State Transition Modeling)으로 구성된 다중 스케일 토큰 상호작용 모듈을 추가로 개발합니다. 저자들은 새로 수집된 장기 NeuroLong 데이터셋(dataset)과 4개의 정서적 또는 임상적 EEG 데이터셋(SEED, DEAP, MDD, NSSI)을 포함한 5개의 이종 EEG 데이터셋에서 Brain-Token을 평가(evaluation)합니다. 광범위한 실험을 통해 Brain-Token이 다양한 EEG 시나리오 전반에서 기존의 CNN/LSTM 아키텍처, 트랜스포머(Transformer) 기반 모델, 도메인 적응 기법들을 일관되게 능가함을 입증합니다. 추가 분석을 통해 강건하고 해석 가능한 EEG 표현을 학습(training)하는 데 있어 미세상태 기반 토큰화 및 다중 스케일 상호작용의 효과를 검증합니다. 이러한 결과는 Brain-Token이 장기 EEG 시퀀스 모델링을 위한 생물학적 근거를 갖춘 토큰화 패러다임임을 확립합니다.

arXiv:2607.23077v1cs.AI공통 태그 Time Series Analysis, Video Understanding

깊이보다 구조: 다중 개체 추론을 위한 단일 블록 시공간 트랜스포머

Structure over Depth: A Single-Block Spatio-Temporal Transformer for Multi-Entity Reasoning

다중 개체 시계열 데이터를 모델링하려면 개체, 시간, 그리고 이들 간 상호작용에 걸친 의존성을 포착해야 한다. 트랜스포머 기반 접근법은 좋은 성능을 보이지만, 이러한 이질적인 의존성을 암묵적으로 학습하기 위해 깊은 레이어 스택에 의존하는 경우가 많아 계산 비용이 증가한다. 우리는 구조적 관점에서 이 문제를 재검토하고, 다중 개체 시공간 역학을 세 가지 상호작용 유형으로 분해한다: 개체 간 공간적 상호작용, 시간에 걸친 시간적 상호작용, 두 영역을 결합하는 교차 상호작용. 우리는 단일 단계 내에서 세 가지를 모두 명시적으로 모델링하는 구조화된 시공간 트랜스포머 블록을 제안한다. 이 블록은 병렬 공간 및 시간 셀프-어텐션(self-attention)을 사용하고, 이어서 양방향 교차 어텐션(cross-attention)을 수행하며, 학습 가능한 게이트 융합(gated fusion)을 통해 출력을 결합한다. 이러한 상보적 관점을 직접 인코딩함으로써, 모델은 깊은 적층의 필요성을 줄인다. 우리는 비디오 기반 그룹 활동 인식, 스켈레톤 기반 인간 상호작용 분석, 웨어러블 센서 기반 활동 인식에서 이 접근법을 평가한다. 단순함에도 불구하고, 단일 구조화 트랜스포머 블록은 1.76M 파라미터만으로 더 깊은 아키텍처와 동등하거나 그를 능가한다. 결과는 기존 모델의 깊이가 부분적으로 암묵적이고 얽힌 상호작용 모델링을 보상하는 반면, 명시적 분해가 더 효율적이고 투명한 대안을 제공함을 시사한다. 더 넓게 보면, 이 연구는 구조 우선 설계 원칙을 뒷받침한다: 표현력 있는 다중 개체 시공간 추론은 깊이에 의존하기보다 상호작용 구조를 드러냄으로써 창발할 수 있다.

arXiv:2607.21384v1cs.AI공통 태그 Time Series Analysis, EEG

일반화 가능한 EEG 표현 학습을 위한 멀티모달 사전학습

Multimodal Pretraining for Generalizable EEG Representation Learning

간질(epilepsy)에 사용되는 뇌전도(EEG) 모델은 특정 데이터셋과 태스크에 한정되는 경우가 많다. 이러한 제한적 접근은 서로 다른 데이터셋이나 다양한 상황에 모델을 적용하기 어렵게 만들 수 있다. 그러나 파운데이션 모델(foundation model)과 자기지도 학습(self-supervised learning)에 관한 최근 연구들은, 적응 가능한 EEG 백본(backbone)이 다양한 EEG 관련 태스크를 지원할 수 있음을 시사한다. 본 연구에서는 Mamba 아키텍처 기반의 원시 신호 인코더, 시-주파수(time-frequency) 데이터용 Vision Transformer(ViT) 스타일 인코더, 텍스트용 경량 인코더를 공유 임베딩 공간 내에서 결합한 멀티모달 EEG 파운데이션 모델을 개발했다. 사전학습 과정은 마스크드 모델링(masked modeling), 교차 뷰(cross-view) 대조 정렬(contrastive alignment), 시간적 일관성 손실(temporal consistency loss) 등 여러 혁신적 기법에 기반한다. 이러한 방법들은 레이블 데이터 없이 풍부하고 발작(seizure) 관련 표현을 생성하도록 설계되었다. 사전학습된 모델의 효과와 일반화 성능을 평가하기 위해 표준 CHB-MIT 발작 검출 벤치마크와 추가 발작 검출 데이터셋에서 파인튜닝(fine-tuning)을 수행하고, 다양한 모델 변형을 비교하는 광범위한 실험을 진행했다. 표준 CHB-MIT 분할(split)에서 최고의 단일 모델은 AUROC 0.874를, 앙상블 변형은 AUROC 0.878을 달성하여 이 벤치마크에서 최첨단(state-of-the-art) 성능을 나타냈다. 표준 train-test 분할 외에도, 기존 EEG 발작 모델링 연구에서 드물게 보고되는 leave-one-subject-out(LOSO) 프로토콜 하에서 성능을 평가했으며, 이는 환자 독립적(patient-independent) 발작 검출의 어려움을 부각한다. 19명의 피험자에 걸친 평균 LOSO 균형 정확도(balanced accuracy)는 0.558이었다. 데이터셋과 평가 설정 전반에 걸쳐, 우리의 멀티모달 파운데이션 모델은 견고한 발작 검출과 새로운 발작 검출 시나리오로의 간편한 적응을 가능하게 했으며, 해석 가능한 발작 국소화(seizure localization)도 지원했다.

arXiv:2607.23132v2cs.CV공통 태그 Video Understanding

DispatchRAG: 교통사고 영상으로부터 실세계 프로토콜에 기반한 긴급 출동 결정의 그라운딩

DispatchRAG: Grounding Emergency Dispatch Decisions in Real-World Protocols from Traffic Accident Video

교통사고 상황의 심각도를 평가하는 것은 어떤 응급 서비스를 출동시킬지 결정하는 데 중요하다. 보행자 사고에서 구급차 출동을 놓치는 것은 사망으로 이어질 수 있는 치명적인 문제이다. 최근 시각-언어 모델(VLM)은 사고 추론을 위한 유망한 도구이나, 많은 VLM이 실제 사고 대응 프로토콜에 기반하지 않아 사고 심각도 평가에 그대로 사용하기 어렵다. 본 논문은 실제 일본의 교통사고 대응 프로토콜에 기반한 의사결정 지원 프레임워크 DispatchRAG를 제안하며, 이는 응급 상황에서 VLM을 사용해 적절한 응급 대응 권고를 생성함으로써 응급 출동 요원을 지원하도록 설계되었다. RAG 기반 검색 메커니즘으로 가장 관련성 높은 사고 프로토콜을 검색하고, LLM 기반 추론기로 가장 적절한 대응을 제안한다. 평가를 지원하기 위해, MM-AU 데이터셋을 바탕으로 일본의 사고 대응 프로토콜에 따른 사고 평가와 응급 대응을 담은 포괄적 데이터셋인 Accident Dispatch Dataset을 소개한다. 이 데이터셋에서 프레임워크를 검증한 결과, 기준 VLM과 비교하여 다양한 사고 시나리오 전반에서 강한 성능을 보였으며, 이는 자율주행차와 인간 출동 요원이 자신과 인근의 사고에 더 빠르게 대응하도록 도울 수 있는 의사결정 지원 도구의 가능성을 시사한다.

arXiv:2610.10850v2cs.LG공통 태그 Time Series Analysis

유사한 예측 적합도와 상이한 잠재 동역학: 뇌 질환 맞춤형 모델에서 학습된 동역학적 구조 특성화

Similar Predictive Fit but Different Latent Dynamics: Characterizing Learned Dynamical Structure in Personalized Models of Brain Disorders

AI 모델이 임상 의사결정 및 맞춤형 치료로 나아감에 따라, 모델이 무엇을 학습하는지 이해하는 것은 단순한 예측 정확도를 넘어 매우 중요합니다. 본 연구에서는 예측 적합도가 유사하더라도 개인화된 잠재 동역학(latent dynamics)이 임상적으로 연관된 차이를 드러내는지 조사합니다. Temple University EEG Corpus(TUEG)로 사전학습된 경량 CNN-트랜스포머(Transformer) 뇌파(EEG) 파운데이션 모델을 사용하여 세그먼트 수준의 표현을 추출합니다. Temple University Epilepsy Corpus(TUEP)를 활용하여 표현들을 공유 잠재 상태 공간으로 매핑하고, 각 피험자에게 독립적으로 희소 다항 로지스틱 전이 분포(mLTD)를 적합하여 개인화된 전이 의존성 그래프 $W_n$을 얻습니다. 분석 대상은 $n{=}198$명의 피험자(뇌전증 99명 / 비뇌전증 99명)입니다. $k{=}4$에서 뇌전증 피험자는 훨씬 더 조밀한 학습된 의존성 구조를 나타내며($p{=}1.1\times10^{-7}$), $k{=}6$에서도 동일한 패턴을 보입니다(19.90 대 13.46; $p{=}5.2\times10^{-5}$). 그래프 유래 특징들은 5-겹 피험자별 교차 검증(cross-validation) 하에서 중간 수준의 집단 구별 능력을 제공합니다($k{=}4$에서 AUROC 0.68; $k{=}6$에서 0.65). 대조적으로, 홀드아웃 로그 가능도(log-likelihood)는 $k{=}4$에서 두 집단 간에 거의 동일하며($-0.992$ 대 $-0.991$; $p{=}0.95$), 다음 상태 예측 역시 유사하게 일치합니다(AUROC 0.855 대 0.861; $p{=}0.54$). 따라서 유사한 예측 적합도가 유사한 학습 동역학을 의미하지는 않습니다. 즉, 개인화된 모델이 학습한 내부 동역학 구조에는 상당한 차이가 있더라도, 두 집단은 대등한 수준으로 예측 가능할 수 있습니다. 이러한 차이는 개인화된 임상 모델에서 예측 성능과 함께 학습된 구조를 평가해야 할 필요성을 시사합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.