심층 학습 해석 가능성 맵을 활용하여 사이버멀미 불편감과 일관되게 연관된 EEG 패턴 규명
Uncovering EEG Patterns Consistently Associated with Cybersickness Discomfort Using Deep Learning Interpretability Maps
한국어 초록
가상현실(VR) 헤드 마운트 디스플레이를 사용할 때 사이버멀미(cybersickness)라 불리는 멀미와 유사한 불편한 감각이 발생할 수 있습니다. 사이버멀미는 VR 기술의 폭넓은 활용을 저해하는 요인입니다. 뇌전도(EEG)로 기록된 뇌 활동은 비침습적으로 사이버멀미 및 이로 인한 불편감을 감지하는 데 활용될 수 있습니다. 이를 완화하기 위한 개입을 수행하려면 전체 뇌 데이터에서 사이버멀미 불편감과 관련된 유의미한 신호를 추출할 수 있는 머신러닝 알고리즘이 필요합니다. 본 연구에서는 신경망과 해석 가능성 맵(interpretability maps) 기반의 프레임워크를 구축하여, EEG 데이터에서 사이버멀미 관련 불편감을 분류(classification)하는 데 가장 유용한 특징이 무엇인지 규명했습니다. 두 개의 서로 다른 청각 사건 관련 전위(ERP) 사이버멀미 사용자 연구에서 수집된 뇌 데이터를 활용하여, 불편감 분류에 가장 중요한 시공간적 EEG 특징(센서 위치 및 시간 단계)을 추출했습니다. 첫 번째 데이터셋(n=29)의 경우, 여러 무작위 시드에 걸쳐 세 가지 서로 다른 신경망으로 프레임워크를 120회 실행한 결과, 모델(model)들은 사이버멀미 불편감을 겪는 대상자의 EEG 데이터인지를 판별하는 데 좌측 전두엽, 정중앙, 우측 두정엽 부위의 두피 위치가 가장 유용하다고 일관되게 지목했습니다. 두 번째 데이터셋(n=36)에서도 유사한 위치가 특정되었으며, 이는 시간, VR 자극, 참가자 표본 전반에 걸쳐 본 연구 결과의 데이터셋 간 일반화 가능성을 보여줍니다. 추출된 ERP 시간 윈도우의 초기 구간인 자극 제시 후 약 80~260밀리초 사이는 두 데이터셋 모두에서 모델 분류에 중요한 구간으로 표시되었습니다. 이러한 결과는 향후 EEG를 활용한 사이버멀미 관련(및 잠재적으로 다른 유형의) 불편감 분류에 어떤 특징들을 활용할 수 있는지 명확히 밝히는 데 기여합니다. 프로젝트 웹페이지: https://eeg-discomfort-nnilc.github.io/.
원문 초록
Uncomfortable sensations similar to motion sickness, called cybersickness, can develop when using Virtual Reality (VR) head-mounted displays. Cybersickness poses a hindrance to greater use of VR technology. Brain activity recorded using electroencephalogram (EEG) can be used to unintrusively detect cybersickness and the discomfort it causes. To intervene for mitigation, machine learning algorithms that can extract meaningful signals related to cybersickness discomfort from the rest of the brain data will be required. In this work, we determined which features in EEG data were most helpful for classifying cybersickness-related discomfort by building a framework with neural networks and interpretability maps. Using brain data from two separate auditory event-related potential (ERP) cybersickness user studies, we extracted which spatio-temporal EEG features (from sensor locations and time steps) were most important for discomfort classification. For the first dataset (n=29), across 120 runs of our framework with three different neural networks over multiple random seeds, the models consistently pointed to scalp locations in left frontal, midline central, and right parietal areas as most helpful in determining if EEG data belonged to someone who was experiencing cybersickness discomfort. Similar locations were also tagged in a second dataset (n=36), showing cross-dataset generalizability of our findings across time, VR stimulus, and participant sample. Early periods in the extracted ERP time windows, approximately between 80 and 260 milliseconds post-stimulus, were marked as important for model classification in both datasets. These results help clarify which tagged features can be used for cybersickness-related (and potentially other types of) discomfort classification with EEG in the future. Project webpage at: https://eeg-discomfort-nnilc.github.io/.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
운동 상상 전기뇌파의 피험자 간 분류를 위한 베이지안 완전 풀링
Bayesian Complete-Pooling in Cross-Subject Classification for Motor Imagery Electroencephalogram
EEG 신호와 CNN을 이용한 rTMS 우울증 치료 결과 예측
Predicting the Outcome of rTMS Depression Therapy using EEG Signals and CNN
반복 경두개 자기 자극(repetitive transcranial magnetic stimulation, rTMS)은 주요 우울 장애(Major Depressive Disorder, MDD)에 대한 비침습적 치료법이다. 본 연구에서는 EEG 신호를 표현하기 위해 두 가지 시간-주파수 방법을 사용하여 이미지를 생성한다: 유클리드 거리를 포함한 푸리에-베셀 급수 전개(Fourier-Bessel Series Expansion with Euclidean Distance, FBSE-ED)와 이산 웨이블릿 변환(Discrete Wavelet Transform, DWT). 우리는 rTMS 우울증 치료 결과를 예측하는 효율적인 심층 학습 분류기를 제안한다. 본 연구에서는 결과의 바이어스를 피하기 위해 10-fold 교차 검증 전략을 사용하여 사설 rTMS 데이터베이스로 경량 맞춤형 합성곱 신경망(Convolutional Neural Network, CNN)을 학습한다. 결과는 FBSE-ED 표현이 93.60%의 최고 분류 정확도를 달성하여 전통적인 시간-주파수 기법(DWT)을 능가함을 보여준다. 또한 FBSE-ED 이미지 표현 기법을 적용한 제안 아키텍처는 더 복잡한 EEG 특화 심층 학습 모델(EEGNet, DeepConvNet, SleepEEGNet)보다 3.62-10.72%, 사전학습 모델(Xception, DenseNet201, MobileNetV2)보다 23.03-27.35% 더 우수한 성능을 보인다. 추가 실험을 위해 또 다른 사설 rTMS 데이터베이스를 테스트 데이터베이스로 활용하여 제안 모델의 견고성을 입증한다. 우리 결과는 고급 신호 분해와 심층 학습의 통합이 rTMS 치료 반응의 조기 예측을 촉진하고 보다 표적화된 임상 의사결정을 지원할 수 있음을 시사한다. 제안 프레임워크는 해석 가능하고 계산 효율적이며, 실제 지역 정신과 클리닉 배포에 적합하다.
허공에 서명하여 잠금 해제: 포인트-복셀 크로스 어텐션 네트워크 기반 가상 및 증강 현실 인증 인터페이스
Sign in the Air to Unlock: An Interface for authentication in Virtual and Augmented Reality Powered by Point-Voxel Cross-Attention Network
가상 및 증강 현실(VR/AR)과 같은 몰입형 기술의 급격한 발전과 현대 생활 다양한 영역으로의 통합은 안전하고 직관적이며 체화된 상호작용과 호환되는 인증 인터페이스를 필요로 한다. 비밀번호, PIN, 기기 기반 로그인과 같은 전통적인 방식은 몰입감을 깨뜨리고 외부 하드웨어에 의존한다. 손 제스처, 시선 추적, 뇌전도(EEG) 기반 방식과 같은 최근의 3D 특화 행동 기반 접근법은 유망한 대안을 제시하지만, 전용 센서를 필요로 하거나 자연스러운 움직임을 제한하는 경우가 많아 동적 환경에서의 사용성이 떨어진다. 본 논문에서는 사용자가 3D 공간에서 자연스럽게 서명함으로써 인증할 수 있는 공중 서명 인터페이스인 Sign in the Air to Unlock을 제안한다. 이는 친숙하고 개인적이며 재현 가능한 제스처를 활용한다. 이 인터페이스를 구현하기 위해, 3D 궤적으로부터 지역적 동작 다이나믹스와 전역적 공간 구조를 통합적으로 모델링하는 포인트-복셀 크로스 어텐션 네트워크(PV-Net)를 설계하였다. 모델은 두 가지 데이터셋에서 평가되었다: 공개 DeepAirSig 데이터셋(40명 사용자의 서명 1,800개)과 Meta Quest 2를 활용한 몰입형 VR 환경에서 수집된 새로운 데이터셋인 ImmAirSig(22명 사용자의 샘플 880개). PV-Net은 DeepAirSig에서 Equal Error Rate 2.5%, ImmAirSig에서 분류 정확도 76%를 달성하였다. 이러한 결과는 몰입형 환경에서 보안과 자연스러운 상호작용을 융합하는 원활하고 사용자 중심적인 인증을 위한 3D 행동 기반 인터페이스의 잠재력을 보여준다.
Interpretable Concept-Guided Polynomial Tabular Kolmogorov-Arnold Network for EEG-Based Mild Cognitive Impairment Detection
수작업 특징에서 기능적 엣지 학습으로: EEG 발작 탐지 프레임워크의 진화
From Handcrafted Features to Functional Edge Learning: Evolution of EEG Seizure Detection Frameworks
뇌전도(EEG) 분석은 여전히 간질 진단 및 발작 탐지의 임상적 금표준이다. 심층 학습(DL)이 자동화된 EEG 해석을 크게 발전시켰지만, 통제된 실험 환경에서 일상적인 임상 배포로의 전환은 근본적인 아키텍처 결함으로 인해 심각한 병목을 겪고 있다. 표준 DL 모델은 임상적 해석 가능성이 부족한 불투명한 블랙박스로 작동하며, 균형 잡힌 대량의 주석 데이터를 요구하고, 자원이 제한된 웨어러블 또는 이식형 신경조절 장치와 호환되지 않는 높은 계산 비용을 수반한다. 본 논문은 이러한 지배적인 한계에 대한 포괄적인 검토를 제시하고, EEG 기반 발작 탐지를 위한 새로운 패러다임으로 Kolmogorov-Arnold Networks(KAN)를 탐구한다. 전통적인 뉴런의 고정된 활성화 함수를 네트워크 연결을 따라 유연하고 학습 가능한 함수로 대체함으로써, KAN은 예측 정확도와 수학적 투명성 사이의 핵심 격차를 메운다. 우리는 KAN 아키텍처가 탁월한 매개변수 효율성, 의사의 신뢰를 위한 내재적 해석 가능성, 데이터 부족 상황에서의 견고한 성능을 제공함으로써 전통적인 DL 기반 모델의 단점을 어떻게 해결하는지 체계적으로 분석한다. 궁극적으로, 본 리뷰는 KAN을 단순한 점진적 알고리즘 업데이트가 아니라, 차세대의 환자 맞춤형이며 철저히 투명한 임상 EEG 모니터링 시스템을 실현하는 데 필요한 근본적인 패러다임 전환으로 확립한다.
약물 내성 간질에서 발작성 영역 식별을 위한 파운데이션 모델
Foundation Models for Epileptogenic Zone Identification in Drug-Resistant Epilepsy
약물 내성 간질에서 절제 수술 후 발작 없음(seizure freedom)을 달성하려면 발작성 영역(epileptogenic zone, EZ)을 정확히 식별하는 것이 필수적이지만, 발작 없음 비율은 여전히 50% 미만이다. 우리는 입체 뇌전두(stereo-electroencephalography, sEEG)를 이용한 EZ 식별을 위한 이중 파운데이션 모델 시스템 EpiiSLM을 개발했으며, Montreal Neurological Institute & Hospital의 sEEG 기록 104,990분으로 신호 파운데이션 모델을 학습하고, 수술 결과와 관계없이 모든 기록을 활용하며 비발작성 신호를 기준으로 EZ 바이오마커 추출을 수행했다. 언어 파운데이션 모델은 sEEG에서 파생된 출력을 다중양식 임상 정보와 통합하여 해석 가능한 예측을 생성한다. 환자 1명 제외(leave-one-patient-out) 평가에서 EpiiSLM은 접점(contact) 수준 양성 예측도(positive predictive value, PPV) 0.978을 달성했으며, 발작 개시 영역(seizure onset zone, SOZ)-as-EZ 기준선을 15.1% (p < 0.05) 능가했고 영역(region) 수준 정확도 100%를 기록했다. 외부 데이터셋에서는 접점 수준 PPV 0.857을 달성했다. EpiiSLM은 발작 간(interictal) 수면 데이터 하룻밤만 필요하므로, 침습적 sEEG 모니터링 기간 단축과 수술 결과 개선의 잠재력을 시사한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
30 pages, 6 figures. 19 pages, 18 figures in appendix